기술 요약: EgoCoT-Bench

문제 정의

멀티모달 대규모 언어 모델 (MLLM) 이 비디오 이해 분야에서 진전을 이루었음에도 불구하고, 현재 이기적 (1 인칭) 비디오 이해를 위한 벤치마크는 중대한 한계를 안고 있습니다. 기존 데이터셋은 종종 **근거 기반 근거 평가 (grounded rationale evaluation)**가 부족하여 **세부적인 조작 중심 추론 (fine-grained operation-centric reasoning)**을 지원하지 못합니다. 구체적으로, 이러한 벤치마크는 모델이 생성한 추론이 명시적인 시공간 증거에 실제로 기반하고 있는지 거의 검토하지 않습니다. 이기적 시나리오에서는 물체가 자주 부분적으로만 보이거나 손에 가려지거나 시야에서 간헐적으로 사라지기 때문에, 모델은 순간적인 프레임에 의존하기보다 시간적으로 진화하는 증거를 통해 추론해야 합니다. 기존 벤치마크는 일반적 3 인칭 비디오 QA 에 집중하거나, 1 인칭 조작 작업에서 명시적 근거 감독과 세부적 공간 기반을 위한 지원이 제한적입니다.

방법론: EgoCoT-Bench 구축

이러한 격차를 해소하기 위해 저자들은 근거 기반이고 검증 가능한 조작 중심 추론을 위해 설계된 세부적 벤치마크인 EgoCoT-Bench를 소개합니다. 구축 과정은 엄격한 시공간 장면 그래프 (STSG) 기반 생성 프레임워크와 인간 정제를 따릅니다:

1. 데이터 수집: 벤치마크는 공개 데이터셋 (Ego4D, EPIC-KITCHENS, MECCANO, Charades-Ego, HD-EPIC) 과 자체 촬영 영상을 포함한 다양한 소스에서 351 개의 이기적 비디오 클립을 집계하여 일상 활동, 주방 작업, 구조적 조립을 포괄합니다.
2. STSG 기반 생성:
   • 비디오 클립은 중간 구조화된 표현인 이기적 적응형 시공간 장면 그래프 (STSG) 로 변환됩니다.
   • STSG 는 신뢰할 수 없는 물체 식별, 일관성 없는 상호작용 링크, 모호한 상태 전이를 수정하기 위해 수동으로 정제됩니다.
   • 후보 QA 쌍은 STSG 내의 작업별 증거 경로를 탐색하여 도출되며, 답변을 구체적인 1 인칭 상호작용 단서 (타임스탬프, 바운딩 박스, 행동 기록) 와 연결합니다.
   • LLM 은 이러한 검증된 구조적 사실을 자연어 질문, 선택지, 근거로 변환하여 근본적인 증거가 창작되지 않았음을 보장합니다.
3. 인간 정제: 다중 라운드 수동 스크리닝 프로세스를 통해 의미적 정확성, 이기적 관련성, 그리고 증거 일관성을 보장합니다. 주석 작성자는 질문, 답변, 근거, 그리고 지원 증거가 상호 일관되도록 검증합니다.
4. 작업 분류: 벤치마크는 4 개의 작업 그룹과 12 개의 세부 하위 작업으로 구성된 3,172 개의 QA 쌍으로 구성됩니다:
   • 이기적 기반 및 지각: 능동적 물체 기반 (AOG), 손 - 물체 연관 (HOA), 조작 상태 지각 (MSP).
   • 시공간 회고: 상태 회고 (SR), 위치/가시성 회고 (LVR), 손 - 물체 시간적 회고 (HOTR).
   • 예측 및 인과 추론: 다음 상태 예측 (NSA), 다음 행동 예측 (NAA), 지역적 인과 - 결과 추론 (LCOI).
   • 고수준 기반 추론: 진행 상황 추론 (PR), 손 - 물체 기반 사고의 연쇄 (HGC), 목표 지향적 물체 추적 (GOT).
5. 평가 프로토콜: 벤치마크는 단순한 답변 정확도 이상의 모델을 평가하기 위해 3 가지 지표 프로토콜을 사용합니다:
   • 답변 정확도 (Acc): 객관식 질문에 대한 엄격한 완전 일치.
   • 추론 점수 (R): 논리적 일관성, 사실적 일관성, 그리고 시각적 증거와의 정합성을 평가하는 0~5 점 척도 점수 (강력한 LLM 이 판단).
   • 부적합 정답률 (SCR): 모델이 정답을 맞췄지만 약하거나 근거 없는 추론을 제공한 경우 (R ≤ 2) 의 비율.

주요 결과

저자들은 EgoCoT-Bench 에서 4 개의 독점 및 15 개의 오픈 소스 MLLM(GPT-5, Qwen, LLaVA, InternVL 시리즈 포함) 을 광범위하게 평가했습니다:

• 전체 성능: 벤치마크는 여전히 매우 도전적입니다. 가장 성능이 우수한 모델인 Qwen3.5-27B는 전체 정확도 **71.28%**를 달성하여 인간 성능 (95.93%) 보다 크게 뒤처졌습니다.
• 작업 난이도:
  • 예측 및 인과 추론이 가장 용이한 그룹이었습니다 (최고 정확도: 78.21%).
  • 시공간 회고와 고수준 기반 추론이 가장 어려웠으며, 각각 최고 정확도는 69.10% 와 68.08% 였습니다.
  • **목표 지향적 물체 추적 (GOT)**이 가장 어려운 하위 작업이었고 (최고 정확도: 45.28%), **조작 상태 지각 (MSP)**이 가장 쉬웠습니다 (87.79%).
• 추론 대 정확도: 중요한 발견은 답변의 정확성과 추론의 질 사이의 불일치입니다. 예를 들어, Qwen3.5-27B 가 가장 높은 정확도를 보였지만, Qwen3-VL-Plus가 가장 높은 평균 추론 점수 (3.08/5) 를 달성했습니다. 반면, GPT-5.2는 가장 낮은 부적합 정답률 (4.27%) 을 보여 정답 중 가장 충실한 추론을 보였습니다.
• 부적합 정답성: 많은 모델이 특히 고수준 기반 추론 작업에서 높은 부적합 정답률을 보였으며, 이는 모델이 종종 비디오의 시공간 증거에 기반한 추론을 제공하지 않고도 정답을 추측하고 있음을 시사합니다.

중요성 및 주장

이 논문은 EgoCoT-Bench 가 이기적 비디오 이해에서 근거 기반, 검증 가능, 그리고 시간적으로 일관된 추론을 발전시키기 위한 필수적인 테스트베드 역할을 한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 세부적 벤치마크: 명시적 단계별 근거 주석과 시공간 기반을 갖춘 조작 중심 추론을 목표로 하는 최초의 대규모 데이터셋을 제공합니다.
2. 구조화된 구축 파이프라인: 모든 샘플이 명시적 시각적 증거로 추적 가능하도록 보장하고 자유 형식 비디오 설명을 넘어선 STSG 기반 생성 및 인간 정제 파이프라인을 시연합니다.
3. 충실한 평가 프로토콜: 추론 점수와 부적합 정답률을 도입함으로써, 최종 답변 정확도에만 의존하는 것이 아니라 모델 추론이 근본적 증거와 일관되는지 명시적으로 평가하는 평가 프로토콜을 옹호합니다.

저자들은 현재 MLLM 이 1 인칭 시나리오에서 증거 기반과 근거 일관성에 어려움을 겪고 있다고 결론지었습니다. 그들은 향후 embodied AI 와 보조 시스템의 발전은 검증 가능한 시공간 증거를 사용하여 결정을 정당화할 수 있는 모델을 필요로 하며, EgoCoT-Bench 는 이러한 능력을 측정하고 개선하도록 설계되었다고 주장합니다.