기술 요약: EgoBench

문제 제기

AI 에이전트가 구조화된 텍스트 기반 워크플로우에서 개방형 실세계 환경으로 전환함에 따라, 이들은 다중모달 지각, 다중 홉 추론을 통한 도구 호출, 그리고 동적 사용자 상호작용의 시너지적 통합이 요구됩니다. 기존 벤치마크는 다음 세 가지 주요 과제로 인해 이러한 능력을 공동으로 평가하지 못합니다:

1. 능력 결합 (Capability Coupling): 시각적 이해, 논리적 추론, 도구 호출을 동시에 요구하는 작업을 설계하기 어렵습니다. 모델은 종종 단축경로를 이용하거나 단일 능력에만 의존하기 때문입니다.
2. 현실적 상호작용 시뮬레이션: 에이전트 행동의 예측 불가능성으로 인해, 자연스럽으면서도 작업 목표와 엄격하게 일치하는 사용자 피드백을 생성하는 것은 어렵습니다.
3. 객관적 평가: 대화와 같은 동적이고 주관적인 상호작용에서 정량화 가능한 지표를 추출하는 것은 어렵지만, 재현 가능한 평가를 위해서는 필수적입니다.

현재 벤치마크들은 종종 다중모달 그라운딩, 동적 사용자 상호작용, 또는 객관적 결과 기반 검증을 결여하고 있어, 상황 기반 1 인칭 (에고센트릭) 시나리오를 위한 에이전트 평가에 공백이 존재합니다.

방법론

저자들은 에고센트릭 비디오에 기반한 도구 사용 에이전트를 위한 최초의 인터랙티브 다중모달 벤치마크인 EgoBench를 소개합니다. 본 벤치마크는 3 단계 시너지 파이프라인을 통해 구축되었으며, 결정론적 공동 검증 프레임워크를 통해 평가됩니다.

1. 벤치마크 구축

• 에고센트릭 비디오 수집 (1 단계): 데이터셋은 식사, 주방 작업, 음식 주문, 소매라는 네 가지 일상 시나리오에 걸친 1,045 개의 작업으로 구성됩니다. 비디오 (스마트 안경/휴대폰을 통해 자체 수집된 82.4%, Ego4D 에서 가져온 17.6%) 는 명시적인 시공간 단서를 포함하며, 웨어러블 기기 사용을 반영하기 위해 10~30 초로 제한됩니다.
• 도구 라이브러리 및 데이터베이스 (2 단계): 기능성과 매개변수 모호성 (부분 일치 허용) 원칙에 따라 시나리오별 도구 라이브러리가 설계됩니다. 핵심적으로 시각 - 데이터 정보 격차가 도입됩니다: 가시적 속성은 비디오에서 추출되는 반면, 보이지 않지만 문맥상 관련 있는 데이터 (예: 영양 정보, 유통기한) 는 구조화된 데이터베이스에 저장됩니다. 이는 에이전트가 비디오에서 보이지 않는 정보를 검색하기 위해 도구를 사용하도록 강제합니다.
• 작업 설계 (3 단계): 작업은 다음 4 단계 의존성 체인을 강제하도록 설계됩니다:
  1. 비디오에 대한 다중모달 지각.
  2. 도구를 통한 보이지 않는 정보 검색.
  3. 논리적 추론 (조건 분기, 다중 속성 필터링).
  4. 도구를 통한 데이터베이스 상태 수정.
     정답 (Ground truth) 은 인간이 엄격한 품질 검사를 통해 주석한 일련의 핵심 도구 호출 시퀀스와 최종 데이터베이스 상태로 정의됩니다.

2. 다중 에이전트 시뮬레이션 사용자

동적 상호작용을 평가하기 위해 EgoBench 는 배우 - 평가자 - 요약자 (Actor-Evaluator-Summarizer) 구조를 갖춘 다중 에이전트 시뮬레이션 사용자를 활용합니다:

• 배우 (Actor): 대화 기록과 작업 목표를 기반으로 사용자 응답을 생성합니다.
• 평가자 (Evaluator): 역할 일관성, 지시 따르기, 에이전트 간섭에 대한 복원력, 문맥적 견고성이라는 네 가지 이진 기준에 따라 배우의 출력을 평가합니다. 위반 시 재생성이 트리거됩니다.
• 요약자 (Summarizer): 작업 진행 상황을 추적하기 위해 간결한 기록 요약을 유지합니다.
  벤치마크는 세 가지 상호작용 모드를 지원합니다: 정적 (Static)(모든 정보를 한 번에 제공), 동적 쉬움 (Dynamic Easy)(표준 다중 턴), 동적 어려움 (Dynamic Hard)(조급함, 노이즈, 주제 이탈 방해 요소 도입).

3. 공동 검증 프레임워크

평가는 주관적인 LLM 판정자를 배제하고 결정론적이며 객관적입니다. 성공은 다음으로 측정됩니다:

• 프로세스 기반 검증: 에이전트의 도구 호출 시퀀스가 필요한 모든 정답 호출을 포함하는지 확인 ($\tau^* \subseteq \tau$).
• 결과 기반 검증: 해싱을 통해 최종 데이터베이스 상태가 정답 상태와 일치하는지 검증.
• 공동 성공률 (Joint Success Rate): 주요 지표로, 프로세스 커버리지와 결과 동등성 모두를 요구합니다.

주요 기여

1. EgoBench 벤치마크: 네 가지 실세계 시나리오에 걸친 1,045 개의 에고센트릭 비디오 기반 작업으로 구성된 포괄적인 데이터셋으로, 다중모달 지각, 다중 홉 추론, 동적 상호작용을 공동 평가합니다.
2. 시너지적 작업 생성: 시각적 지각과 도구 증강 추론의 통합 적용을 각 작업에 요구하여 단축 경로 악용을 방지하는 파이프라인.
3. 고충실도 사용자 시뮬레이션: 견고하고 목표 정렬된 사용자 응답을 생성하며, 다양한 상호작용 복잡도 (정적, 동적 쉬움, 동적 어려움) 를 지원하는 다중 에이전트 프레임워크.
4. 결정론적 평가: 프로세스 및 결과 동등성을 통한 객관적 평가를 보장하는 공동 검증 프레임워크와 함께, 오인을 다섯 가지 모드 (지각적 오해, 환각, 구조적 미준수, 논리적 오류, 위험한 작업) 로 분류하는 다차원 오류 분석.

실험 결과

저자들은 EgoBench 에서 8 개의 최첨단 비디오-MLLM(Gemini-3.1-Pro, Qwen3.5, Doubao-Seed-2.0-Pro 포함) 을 벤치마크했습니다.

• 성능 한계: 현재 모델들은 심각한 한계를 보입니다. 가장 성능이 좋은 모델인 Gemini-3.1-Pro조차 가장 쉬운 시나리오인 소매 (Retail) 에서 **공동 성공률이 고작 30.62%**였으며, 네 가지 시나리오 전체 평균은 **19.43%**에 불과했습니다.
• 상호작용 모드: 모델들은 동적 어려움 (Dynamic Hard) 모드에서 가장 낮은 성능을 보였으며, 이는 견고한 대화 관리 및 간섭 저항성 상태 추적의 부족을 드러냈습니다. 놀랍게도 많은 모델들에게 정적 모드는 정확도를 크게 향상시키지 못했는데, 이는 동적 쉬움 모드의 다중 턴 상호작용 메커니즘이 작업을 분해함으로써 계획 부족을 때때로 보상한다는 것을 시사합니다.
• 오류 분석: 실패는 주로 다중모달 지각 오해와 논리적 오류에 기인했습니다. 모델들은 일반적으로 출력 형식을 준수 (구조적 준수) 했지만, 에고센트릭 비디오의 공간/시간 참조를 해결하거나 복잡한 조건부 논리를 실행하는 데 어려움을 겪었습니다.
• 효율성: 토큰 소비량은 성공률과 음의 상관관계를 보였습니다. 더 높은 성능을 보이는 모델 (예: Gemini-3.1-Pro) 은 더 적은 토큰으로 더 좋은 결과를 달성하여, 더 효율적인 추론과 덜 중복된 탐색을 나타냈습니다.

의의

본 논문은 EgoBench 를 실세계 배포를 위한 AI 에이전트 평가의 중요한 단계로 위치시킵니다. 개방형 환경에서 신뢰할 수 있는 엔드 투 엔드 작업 완수를 위한 현재 모델 능력과 요구 사항 사이의 상당한 격차를 드러냄으로써, 벤치마크는 특히 다중모달 그라운딩과 복잡한 추론에서 해결해야 할 특정 병목 현상을 부각시킵니다. 저자들은 EgoBench 가 텍스트 전용 또는 정적 평가를 넘어 상황 기반, 인터랙티브, 도구 매개 환경에서 에이전트를 평가하기 위한 엄격하고 객관적인 프레임워크를 제공하여 향후 모델 개발을 안내한다고 주장합니다.