EgoGapBench: Benchmarking Egocentric Action Selection in Multi-Agent Scenes

기술 요약: EgoGapBench

문제 정의
기존의 에고센트릭(egocentric) 비전 벤치마크는 주로 1인칭 시점(FPV) 데이터(예: Ego4D, EPIC-KITCHENS)에 의존합니다. 저자들은 이러한 벤치마크들이 두 가지 구별되는 능력을 혼동하고 있다고 주장합니다. 하나는 FPV 입력(손, 발 또는 카메라 왜곡과 같은 시각적 단서 해석)을 이해하는 능력이고, 다른 하나는 에고센트릭 관점(관찰자의 입장을 채택하여 적절한 행동을 결정하는 것)을 이해하는 능력입니다. 현재의 데이터셋에서 모델들은 관점 자체를 추론하기보다는 카메라 착용자의 가시적인 신체 단서를 탐지함으로써 성공하는 경우가 많습니다. 결과적으로, 모델이 진정으로 에고센트릭 관점을 이해하는 것인지, 아니면 단순히 1인칭 아티팩트(artifacts)를 인식하는 것인지 분리하여 파악하기 어렵습니다. 또한, 다중 에이전트 장면에서 모델들은 관찰자가 취할 수 있는 행동과 가시적인 다른 에이전트가 수행 중인 행동을 구분하는 데 어려움을 겪으며, 종종 후자를 잘못 선택하곤 합니다.

방법론: EgoGapBench
이를 해결하기 위해 저자들은 **에고센트릭 행동 선택(Egocentric Action Selection, EAS)**을 측정하기 위해 설계된 진단용 벤치마크인 EgoGapBench를 소개합니다. EAS는 다른 에이전트가 존재하는 상황에서, 가시적인 1인칭 신체 단서에 의존하지 않고 에이전트의 관점에서 적절한 행동을 선택하는 능력으로 정의됩니다.

이 벤치마크 구축은 두 가지 핵심 설계 원칙을 준수합니다:

1. 1인칭 특화 단서 배제: 이미지는 일반 데이터셋(COCO, Wikimedia)에서 추출되었으며, 카메라 착용자의 신체 부위(손, 발)나 FPV 특유의 왜곡이 포함되지 않도록 필터링되었습니다.
2. 싱글톤 제약(Singleton Constraint): 오답 선택지는 "싱글톤 행동(singleton actions)"—동일한 상황에서 여러 에이전트가 동시에 수행할 수 없는 행동(예: 배트를 휘두르는 타자)—을 사용하여 구성되었습니다. 만약 가시적인 에이전트가 이미 싱글톤 행동을 수행 중이라면, 관점 에이전트는 그 행동을 수행할 수 없습니다. 이는 다른 에이전트의 행동을 복제하는 것이 단순한 대안이 아니라 구조적으로 틀린 오류가 되도록 만듭니다.

데이터셋은 440개의 이미지에서 유래된 1,000개의 항목으로 구성되며, 다중 에이전트 장면을 다룹니다. 각 항목은 다음을 포함한 질문을 제시하며 다음 행동을 묻습니다:

• 정답(Correct): 지정된 관점에서 가능한 행동.
• 모터 침입(Motor Intrusion): 장면 내 다른 에이전트에 의해 수행되고 있는 행동 (싱글톤 제약으로 인해 구조적으로 틀린 행동).
• 오프-밴티지(Off-Vantage): 활동에는 적합하지만, 관점 에이전트가 점유하고 있지 않은 위치를 필요로 하는 행동.

항목은 3지 선다형(n3) 또는 4지 선다형(n4) 객관식 질문 형식으로 구성됩니다.

주요 기여

1. EAS의 공식화: 본 논문은 에고센트릭 관점 이해를 1인칭 시점 이해와 공식적으로 분리하여, EAS를 다중 에이전트 시나리오에서의 행동 선택에 필요한 특정 능력으로 정의했습니다.
2. 진단용 벤치마크: 싱글톤 행동 오답을 활용하여 자기-타인 혼동(self-other confusion)에 대한 명확한 진단 신호를 생성하는 EgoGapBench를 도입했습니다.
3. 실증적 분석: 오픈 소스 및 독점 멀티모달 거대 언어 모델(MLLM)에 대한 종합적인 평가를 통해, 인간과 모델 간의 성능 차이가 체계적인 '관찰된 행동 복제' 경향을 특징으로 한다는 것을 밝혀냈습니다.

결과

• 인간-모델 격차: 인간은 EgoGapBench에서 94.5%의 정확도를 달 기록했습니다. 반면, 가장 강력한 독점 모델(GPT-5.4)은 66.1%에 불과했으며, 대부분의 오픈 소스 모델은 무작위 추측(random guessing) 수준이거나 그 이하의 성능을 보였습니다.
• 체계적 오류 패턴: 모델은 무작위로 실패하는 것이 아니라, "모터 침입" 오류(다른 가시적 에이전트가 수행 중인 행동)를 체계적으로 선택합니다. 이러한 경향은 "간접적" 행동(관찰과 같은 수동적 반응)보다 "직접적" 행동(능동적 개입)에서 특히 강하게 나타납니다.
• 기존 FPV 튜닝의 비효효율성: 기존의 에고센트릭 인스트럭션 데이터셋(EgoIT-99K)으로 모델을 미세 조정(fine-tuning)하는 것은 EAS 성능을 향상시키는 데 실패했습니다. 실제로, 이는 EgoGapBench의 성능을 평균 33.9% 감소시킨 반면, 표준 FPV 장면 이해 벤치마크(EgoThink)의 성능은 거의 변화시키지 않았습니다. 이는 기존의 FPV 데이터가 모델로 하여금 신체 단서에 의존하도록 학습시키며, 이 단서들이 없는 EgoGapBench에서는 부정적 전이(negative transfer)를 일으킨다는 것을 시사합니다.
• EAS 특화 튜닝: EgoGapBench 학습 데이터로 미세 조정하면 정확도가 향상되지만(예: Qwen3.5가 29.0%에서 75.2%로 상승), 인간의 성능 격차를 좁히지는 못합니다. 또한, "모터 침입" 오류는 감소하지만 "오프-밴티지" 오류는 증가하는데, 이는 모델이 타인의 행동을 복제하는 것은 피하도록 학습하지만 여전히 정밀한 관점 위치 파악에는 어려움을 겪고 있음을 나타냅니다.
• 강건성(Robustness): 성능 격차는 다른 에이전트의 행동을 무시하라는 명시적 지침을 포함한 다양한 프롬프트 구성 및 외부 도메인 데이터셋(Wikimedia)에서도 지속됩니다. 이는 이 문제가 모델의 현재 아키텍처나 학습 패러다임에 근본적인 문제임을 시사합니다.

의의
본 논문은 EAS가 1인칭 시점 데이터만으로는 습득될 수 없는 별개의 능력이라고 주장합니다. 결과는 현재의 MLLM이, 신체 단서가 없고 다른 에이전트가 존재하는 상황에서 특정 관점에 기반하여 행동을 선택하는 능력이 부족함을 보여줍니다. 저자들은 EAS를 개선하기 위해서는 표준적인 장면 이해를 넘어, 모델이 단순히 시각적 아티팩트를 해석하는 것을 넘어 진정으로 관찰자의 입장을 채택할 수 있도록 하는 구조적 발전이 필요하다고 상정합니다. EgoGapBench는 이 목표를 향한 진전을 측정하기 위한 필수적인 진단 도구로 제안되었습니다.