🤖 AI

CockpitHAT: Dependency-Graph-Driven Hierarchical Attribution for Embodied Multi-Agent Cockpits

본 논문은 의존성 그래프, 다채널 증거, 그리고 안전 인지 평가를 활용하여 임바디드 멀티 에이전트 콕핏 시스템의 프로세스 수준 실패를 효과적으로 진단하는 계층적 귀속 프레임워크인 CockpitHAT을 소개하며, 이는 공개된 벤치마크와 새로 출시된 벤치마크 모두에서 기존의 텍스트 전용 방식보다 우수한 성능을 보여준다.

원저자: Wei Wang, Shuanghe Liu, Zhu Zhuo, Jiaqi Zhong, Xiaozhao Zhao, Xiaojie Zuo, Jie Su

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Wei Wang, Shuanghe Liu, Zhu Zhuo, Jiaqi Zhong, Xiaozhao Zhao, Xiaojie Zuo, Jie Su

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 로봇 팀이 협력하여 자동차를 운전하는 모습을 지켜보고 있다고 상상해 보세요. 그들은 서로 대화하고, 지도를 확인하며, 언제 스티어링 휠을 돌릴지 결정합니다. 이것이 바로 **멀티 에이전트 시스템(multi-agent systems)**의 세계입니다. 즉, 여러 AI "에이전트"들이 문제를 해결하기 위해 협력하는 그룹이죠. 하지만 여기에 까다로운 문제가 있습니다. 때때로 로봇들이 최종 목적지는 제대로 맞히지만, 그곳에 도달하기 위해 끔찍하고 위험한 경로를 택할 때가 있습니다. 예를 들어, 물웅덩이를 피하려고 벽에 부딪힐 뻔하거나, 농담을 잘못 이해해서 헤드라이트를 꺼버리는 식입니다. 이를 **"정확성 붕괴(Correctness Collapse)"**라고 부릅니다. 이는 마치 학생이 수학 시험에서 정답은 맞혔지만, 풀이 과정을 보니 덧셈하는 법조차 잊어버린 것과 같습니다. 자동차에서는 단순히 정답을 맞히는 것만으로는 부족합니다. 과정 또한 안전해야 합니다.

이를 해결하기 위해 과학자들은 탐정 놀이를 해야 합니다. 그들은 로봇들의 대화를 살펴보고, 정확히 누가, 언제 실수를 저질렀는지 알아내야 합니다. 이를 **속성 분석(attribution)**이라고 합니다. 보통 탐정들은 대화 기록(chat logs)을 읽습니다. 하지만 자동차에서는 로봇들이 엔진, GPS, 센서와도 대화를 나눕니다. 만약 로봇이 "문제없음"이라고 말하는데 엔진에 불이 붙고 있다면, 대화 기록만으로는 진실을 알 수 없습니다. 단어, 자동차의 상태, 그리고 환경이라는 전체 그림을 모두 살펴봐야 합니다. 이 논문은 자동차의 자율 주행이나 스마트 어시스턴트를 위해 이 모든 단서들을 동시에 살피는 새로운 탐정 기법을 소개합니다.

탐정의 새로운 도구 상자: CockpitHAT

ByteDance의 연구진은 자동차 콕핏(cockpit)에서의 "정확성 붕괴" 문제를 해결하기 위해 CockpitHAT이라는 새로운 시스템을 구축했습니다. 그들은 기존의 탐정 방식이 너무 단순하다는 것을 깨달았습니다. 기존 방식은 대화를 하나의 텍스트 줄로 보고, 실수 직전에 일어난 일이 원인이라고 가정했습니다. 하지만 복잡한 로봇 팀에서는 충돌의 원인이 열 단계 전에 발생했을 수도 있고, 로봇들이 나눈 대화가 아니라 자동차가 브레이크에 보낸 신호 속에 숨겨져 있을 수도 있습니다.

의존성 지도: 시계가 아닌 흔적을 따라가기
우유를 누가 쏟았는지 알아내려고 한다고 상상해 보세요. 만약 단순히 우유가 떨어질 때 테이블 옆에 서 있던 사람만 본다면, 엉뚱한 사람을 범인으로 지목할 수도 있습니다. 아마도 우유를 엎지른 사람은 5분 전에 이미 일을 저질렀고, 지금 그 자리에 서 있는 사람은 그저 우연히 그곳에 있었을 뿐일지도 모릅니다.

CockpitHAT은 단순한 타임라인 대신 **의존성 그래프(Dependency Graph)**를 사용합니다. 이것은 시계가 아니라 "원인과 결과"의 연결을 보여주는 지도와 같습니다. 시스템은 다음과 같이 묻습니다: "이 행동이 저 이전의 행동에 의존했는가?" 만약 로봇 A가 명령을 보냈고 로봇 B가 그것을 사용했다면, 두 로봇이 서로 다른 시간에 대화했더라도 이들은 연결되어 있습니다. 반면 두 로봇이 날씨에 대해 떠들었을 뿐 자동차의 브레이크에 아무런 영향을 주지 않았다면, 비록 1초 간격으로 대화했더라도 지도상에서는 멀리 떨어져 있게 됩니다. 시간을 기준으로 하는 것이 아니라 이러한 연결 관계(지도상에서 행동들이 얼마나 "가까운지")를 기준으로 조사를 나누어 분석함으로써, CockpitHAT은 진짜 범인을 훨씬 더 잘 찾아낼 수 있습니다.

"엠보디드(Embodied)" 어댑터: 자동차의 심장 박동 소리 듣기
기존 방식의 가장 큰 문제는 로봇의 목소리만 듣는다는 점입니다. 하지만 자동차에서 "목소리"는 단어뿐만이 아닙니다. 속도계, 엔진 온도, 그리고 지난 주행의 기억 또한 목소리입니다.

CockpitHAT은 특별한 **엠보디드 채널 어댑터(Embodied Channel Adapter)**를 추가합니다. 이것은 대화뿐만 아니라 자동차의 대시보드 경고등과 운전자의 초조함까지 듣는 통역사라고 상상해 보세요. 만약 로봇이 "이상 없음"이라고 말하는데 자동차 센서가 보행자를 감지한다면, 이 어댑터는 즉시 이를 표시합니다. 이 어댑터는 위험한 신호를 조사 최전선으로 끌어올려, 안전 경고가 기록의 깊은 곳에 파묻히지 않도록 보장합니다. 즉, 안전 위반을 가장 중요한 단서로 취급하여, 발생 시점과 상관없이 조사 순위의 맨 앞으로 가져옵니다.

안전을 우선시하는 배심원단
단서가 수집되면, CockpitHAT은 단 하나의 답만을 고르지 않습니다. 이 시스템은 무엇이 일어났는지 투표하기 위해 4명의 AI 분석가 패널을 사용합니다. 이들 중 한 명은 오직 위험을 찾는 데 집중하는 전담 "안전 전문가"입니다. 만약 그룹이 실수가 경미한 것인지 아니면 생명을 위 تهد하는 것인지를 두고 논쟁한다면, 안전 전문가는 더 큰 가중치를 갖게 됩니다.

이 시스템은 특별한 투표 규칙을 사용합니다: 만약 실수가 위험할 가능성(예: 충돌 가능성)이 조금이라도 있다면, 시스템은 안전을 위해 최악의 시나리오를 가정합니다. 과하게 조심스럽더라도 "이것은 위험하다"라고 말하는 것이 실제 위협을 놓치는 것보다 낫기 때문입니다. 이를 통해 최종 보고서가 단순히 눈에 띄는 오류가 아니라, 가장 치명적인 실패를 강조하도록 보장합니다.

연구 결과

연구팀은 새로운 탐정 시스템을 두 가지 유형의 도전 과제에 테스트했습니다. 첫째, 수동으로 제작되거나 알고리즘으로 생성된 실패 흔적을 가진 기존 테스트(Who&When)를 사용했습니다. 이 테스트에서 CockpitHAT은 기존의 최고 방법들보다 월등한 성능을 보였습니다.

수동 제작 테스트에서 잘못된 로봇을 **77.9%**의 확률로, 컴퓨터 생성 테스트에서 **86.5%**의 확률로 정확히 식별했습니다.
실수가 발생한 정확한 순간을 수동 제작 테스트에서 37.8%, 컴퓨터 생성 테스트에서 **46.0%**의 확률로 짚어냈습니다.
이는 기존의 "텍스트 전용" 챔피언들에 비해 최대 17.6 포인트나 높은 정확도입니다.

둘째, 연구팀은 자동차를 위해 특별히 설계된 새로운 테스트인 COCKPITBENCH를 만들었습니다. 여기에는 실제 데이터와 까다로운 엣지 케이스(edge cases)를 포함한 212개의 자동차 관련 실패 이야기가 담겨 있습니다. 이 이야기들은 위험도를 등급별로 분류하는 ISO 26262 ASIL 심각도 수준(A부터 D까지의 표준 방식)으로 라벨링되었습니다.

이 까다로운 새 테스트에서 CockpitHAT은 잘못된 에이전트를 **78.3%**의 확률로, 정확한 단계를 **38.2%**의 확률로 찾아냈습니다.
특히 이 시스템은 가장 포착하기 중요한 안전 위반을 찾아내는 데 탁면한 모습을 보였습니다.

왜 중요한가

이 논문은 AI가 자동차와 같은 실제 물리적 환경에서 안전하려면, 단순히 그들이 쓰는 텍스트만 봐서는 안 된다고 제안합니다. 우리는 그들의 행동이 서로 어떻게 의존하는지, 그리고 물리적 세계와 어떻게 상호작용하는지를 이해해야 합니다. CockpitHAT은 이러한 의존성을 지도화하고 자동차의 센서에 귀를 기울임으로써, 다른 시스템들이 놓칠 수 있는 위험한 실수들을 잡아낼 수 있음을 보여줍니다.

하지만 저자들은 이 시스템이 사고를 실시간으로 막는 시스템이 아니라, 사후에 수행하는 진단 도구라는 점을 분명히 하고 있습니다. 이는 엔지니어들이 로봇을 다시 운행하기 전에 무엇이 잘못되었는지 이해하고 수정할 수 있도록 돕습니다. 또한, 이 시스템이 명확한 신호에 의존하며, 로봇들이 숨겨진 지식을 사용하거나 자동차가 완전히 새롭고 혼란스러운 상황에 처했을 때는 어려움을 겪을 수 있다는 점도 인정하고 있습니다. 그럼에도 불구하고, 현재로서는 이 시스템이 멀티 에이전트 자동차 시스템의 "블랙박스"를 들여다보는 훨씬 더 명확한 창을 제공하며, 혼란스러운 오류의 덩어리를 해결 가능한 미스터리로 바꾸어 놓았습니다.

기술 요약: CockpitHAT

문제 정의

자동차 콕핏(cockpit)과 같은 안전 필수적인 임바디드(embodied) 환경 내의 대규모 언어 모델(LLM) 멀티 에이전트 시스템은 **'정확성 붕괴(Correctness Collapse)'**라고 불리는 현상을 겪습니다. 이 시나리오에서 시스템은 높은 수준의 과업 정확도를 달eric하면서도 심각한 프로세스 수준의 실패를 은폐할 수 있습니다. 자동차 맥락에서 이는 특히 위험한데, 텍스트상으로는 올바른 발화가 차량 상태나 환경적 맥락과 같은 비텍스트 채널을 통해서만 감지 가능한 위험한 물리적 동작(예: 가시성 조명 비활성화)을 유발할 수 있기 때문입니다.

기존의 속성 추출(attribution) 방법들은 다음 두 가지 주요 이유로 인해 이 영역을 해결하지 못합니다:

방법론적 한계: 현재의 접근 방식은 의존 구조와 다중 채널 증거(차량 상태, 환경, 메모리)를 무시하고 오직 텍스트 트레이스와 위치적 윈도우에만 의존합니다. 또한 ISO 26262 안전 심각도 레이블(ASel)을 통합하는 메커니즘이 부족합니다.
벤치마크 결함: 기존 평가 체계는 텍-온리(text-only)이거나 단일 에이전트 중심이며, 안전 심각도 주석이 결여되어 있어 희귀한 치명적 실패를 체계적으로 과소 대표하고 중요한 안전 레이블을 누락하고 있습니다.

방법론: COCKPITHAT

저자들은 의존 그래프, 다중 채널 증거, 그리고 안전 인지형 합의를 통합하여 임바디드 멀티 에이전트 시스템의 실패를 진단하도록 설계된 계층적 속성 추출 프레임워크인 COCKPITHAT을 소개합니다.

1. 의존 그래프 기반 계층적 슬라이싱 (Dependency-Graph-Driven Hierarchical Slicing)

고정된 위치적 윈도우를 사용하는 대신, COCKPITHAT은 상호작용 트레이스로부터 **유향 비순환 그래프(DAG)**를 구축합니다.

그래프 구축: 노드는 에이전트의 행동(텍스트 또는 도구 호출)을 나타냅니다. 유향 엣지는 네 가지 운영 신호인 참조(엔티티 연결), 계획(제안된 계획의 실행), 도구(도구 출력 사용), 제어(태스크 위임)를 기반으로 유도됩니다.
의존 거리(Dependency Distance): 컨텍스트 선택은 시간적 인접성이 아닌 DAG에서의 최단 경로 거리($dd$)를 기준으로 합니다.
4계층 슬라이싱: 임의의 초점 단계(focal step)에 대해, 컨텍스트는 의존 거리에 따라 네 개의 레이어로 슬라이싱됩니다:
- 즉각적(Immediate, $dd=1$): 전체 추론 체인을 포함한 축자적(verbatim) 내용.
- 지역적(Local, $dd=2$): 핵심 행동 및 약속으로 압축됨.
- 원거리(Distant, $dd=3,4$): 요약된 결과 (최대 20단어).
- 전역적(Global, $dd \ge 5$ ): 희소한 마일스톤 (결정, 실패, 핸드오프).

2. 임바디드 채널 어댑터 (Embodied Channel Adapter, ECA)

텍스트에서 보이지 않는 실패(예: 안전 위반, 환경적 미그라운딩)를 해결하기 위해, 트레이스 스키마에 사이드 채널(환경, 차량 상태, 메모리)이 포함된 경우 **임바디드 채널 어댑터(ECA)**가 사용됩니다.

돌출도 스캐닝(Salience Scanning): 경량 LLM이 트레이스를 스캔하여 네 가지 실패 클래스(상호작용 리스크, 환경적 미그라운딩, 안전 위반, 교차 도메인 오염)와 관련된 단계를 플래그로 표시합니다.
채널 인식 프로모션(Channel-Aware Promotion): 플래그가 표시된 노드는 의존 거리와 관계없이 더 높은 컨텍스트 레이어(즉각적 레이어에 더 가깝게)로 승격됩니다. 특히, **안전 위반(Safety Violations)**은 강제로 즉각적 레이어( $L_1$ )로 배치됩니다.
증거 부착: 관련 사이드 채널 데이터(예: 차량 상태 $\sigma$ , 환경 $e$ , 메모리 $m$ )는 실패 태그에 따라 승격된 노드에 부착됩니다.

3. 안전 강화된 목적 함수 합의 (Safety-Uplifted Objective Consensus)

이 프레임워크는 대칭적 비용 집계를 넘어 속성을 해결하기 위해 전문 분석가 패널을 고용합니다.

다중 분석가 패널: 각 트레이스는 $K=4$ 명의 에이전트에 의해 분석됩니다: 한 명의 필수적인 안전 분석가(ISO 26262 심각도 우선순위 지정)와 다양한 페르소나 풀에서 샘플링된 세 명의 일반 분석가입니다.
2단계 합의:
1. 최대 심각도 우선 원칙(Maximum-Severity Prior): 최종 심각도 등급( $\eta^*$ )은 확신을 가진 분석가들 중 예측된 최대 심각도에 의해 결정되어, 고위험 알람이 투표에 의해 묵살되는 것을 방지합니다.
2. 안전 강화 집계(Safety-Uplifted Aggregation): 분석가 가중치는 예측된 심각도에 따라 비대칭적으로 조정됩니다. 고심각도 예측은 "안전 업리프트(safety uplift, 초선형 성장)"를 받아, 안전 핵심 실패가 일반적인 합의에 의해 희석되지 않도록 보장합니다.
불일치 해결: 마진 점수가 보정된 임계값 미만으로 떨어지는 경우, 분석가에게 명시적 증거를 인용하도록 강제하는 프로토콜이 작동하며, 구체적인 트레이스 증거에 의해 뒷받침되는 가설을 지지하는 기계적 타이브레이크(tie-break)를 수행합니다.

주요 기여

COCKPITHAT 프레임워크: 위치적 윈도우를 의존 거리 임계값으로 대체하고, 어댑터를 통해 다중 채널 임바디드 증거를 통합하며, 합의 투표에 안전 업리프트 메커니즘을 적용하는 새로운 속성 추출 시스템입니다.
COCKPITBENCH: 대화, 차량 상태, 환경 및 메모리 채널을 아우르는 212개의 주석이 달린 실패 트레이스로 구성된 새로운 벤치마크입니다.
- 트레이스는 8가지 실패 카테고리와 4가지 ISO 26262 ASIL 심각도 레벨을 다룹ุ니다.
- 주석은 3인 전문가 합의 프로세스를 통해 도출되었습니다.
- 데이터셋에는 수작업 제작, 알고리즘 생성 및 실제 텔레메트리 시나리오가 포함되어 있습니다.

실험 결과

저자들은 Who&When 벤치마크(수작업 및 알고리즘 생성 분할)와 자체 개발한 COCKPITBENCH에서 COCKPITHAT을 평가했습니다.

Who&When 성능:
- 에이전트 수준 정확도: 77.9%(수작업) 및 86.5%(알고리즘 생성)를 달성하여, 텍스트 전용 SOTA(ECHO)를 각각 최대 17.6 및 16.7 포인트 상회했습니다.
- 단계 정밀 정확도(Step-Exact Accuracy): 37.8%(수작업) 및 46.0%(알고리즘 생성)를 달성하여, ECHO보다 최대 16.7 포인트 앞섰습니다.
- 허용 오차(Tolerance): 모델은 허용 오차(예: 수작업 데이터에서 $\pm 5$ 단계에서 +12.3 포인트)가 있는 상황에서도 단계 국지화(localization)에서 상당한 이득을 보였습니다.
COCKPITBENCH 성능:
- 에이전트 수준 정확도 78.3%, 단계 정밀 정확도 **38.2%**를 달성했습니다.
- 절제 연구(Ablation Studies):
  - **의존 계층적 슬라이싱(Dependency Hierarchical Slicing)**은 에이전트 수준 정확도 향상의 주요 기여자로, COCKPITBENCH에서 +25.2% 포인트의 도약을 가져왔습니다.
  - **임바디드 채널 어댑터(ECA)**는 COCKPITBENCH의 단계 수준 정확도를 결정짓는 요소였으며, 단계 정확도를 +6.2% 포인트(0.320에서 0.382로) 개선하고 에이전트 정확도를 추가로 +4.5% 포인트 향상시켰습니다. 이 구성 요소는 이전의 텍스트 전용 단계들이 압축하려 했던 오류 발생 단계를 복구해냈습니다.
  - **안전 강화 합의(Safety-Uplifted Consensus)**는 전반적인 성능에 기여했으며, 고심각도(ASIL-C/D) 슬라이스에서 더 높은 단계 정확도를 보여주어 ECA 설계(안전 위반을 즉각적 레이어로 강제함)와 일치함을 입증했습니다.

의의 및 주장

본 논문은 의존성 인지, 다중 채널, 리스크 보정형 속성 추출이 실제 임바디드 LLM 멀티 에이전트 시스템의 신뢰할 수 있는 실패 진단을 위한 효과적인 패러다임임을 주장합니다.

패러다임 전환: 속성 추출을 결과 기반 점수 산정에서 물리적 상태 변화와 안전 심각도를 고려하는 체계적인 오류 국지화로 전환합니다.
안전 통합: ISO 26262 ASIL 레이블을 속성 추출과 결합함으로써, 높은 과업 성공률에 의해 고위험 실패가 은폐되지 않도록 보장합니다.
벤치마킹: COCKPITBENCH는 공동 ISO 26262 심각도 레이블과 다중 채널 임바디드 증거를 제공함으로써 기존 벤치마크의 구조적 한계를 해결합니다.

저자들은 이 작업이 '정확성 붕괴'를 진단하기 위한 필수적인 단계라고 위치시키며, 본 시스템이 사후 진단(post-hoc diagnosis)을 위해 설계되었지만 향가적인 실시간 안전 개입을 위한 토대를 마련한다고 명시했습니다.