기술 요약: Agent-X

문제 제기

심층 추론은 순차적이고 다중 모달 이해가 필요한 복잡하고 현실적인 과제를 해결하는 데 필수적입니다. 그러나 기존 에이전트 시스템 벤치마크는 다음과 같은 중대한 한계를 겪고 있습니다: 주로 완전히 합성된 단일 턴 쿼리에 의존하며, 비디오 및 다중 이미지 비교와 같은 다양한 시각 모달리티를 지원하지 않으며, 다단계에 걸친 추론의 질을 평가할 수 있는 프레임워크를 제공하지 못합니다. 현재 평가는 종종 최종 답변의 정확성에만 초점을 맞추어, 실제 환경에서 진정한 에이전트 행동에 필요한 해석 가능성, 논리적 일관성, 도구 사용 충실도를 간과합니다.

방법론

이러한 격차를 해소하기 위해 저자들은 현실적인 다중 모달 환경에서 비전 중심 에이전트를 평가하도록 설계된 대규모 벤치마크인 Agent-X를 소개합니다.

벤치마크 구축

Agent-X는 이미지, 비디오, instructional 텍스트를 포함한 실제 시각적 맥락에서 파생된 828 개의 에이전트 작업으로 구성됩니다. 구축 과정은 반자동 파이프라인을 따릅니다:

1. 쿼리 생성: 대규모 다중 모달 모델 (LMM) 이 시각적 입력과 사전 정의된 도구 세트를 기반으로 초기 후보 쿼리를 생성합니다.
2. 인간 정제: 인간 주석가는 이러한 쿼리를 현실성, 명확성, 그리고 다단계 추론의 필요성을 보장하도록 정제합니다. 특히, 쿼리는 특정 도구나 단계 순서에 대한 명시적 참조 없이 설계되어 에이전트가 독립적으로 계획하도록 강요합니다.
3. 추론 흔적 생성: LMM 이 초기 추론 흔적 (단계별 도구 호출, 입력, 출력, 그리고 생각) 을 생성합니다. 그런 다음 인간 검토자가 논리적 일관성, 사실적 정확성, 적절한 도구 사용을 위해 이러한 흔적을 엄격하게 검증하고 수정합니다.
4. 정답 (Ground Truth): 각 작업에는 정답 추론 흔적, 최종 답변, 그리고 근거가 포함됩니다.

작업 범위 및 도구

이 벤치마크는 6 가지 주요 에이전트 환경을 포괄합니다:

• 일반 시각 추론
• 웹 브라우징
• 보안 및 감시
• 자율 주행
• 스포츠
• 수학 추론

작업은 지각, 시각적 조작, 수학, 예술 도메인에 걸쳐 14 개의 실행 가능한 도구(예: OCR, SceneDescriber, ObjectCounter, Calculator, WebSearch, CodePlotter)의 통합을 요구합니다. 데이터셋에는 716 개의 이미지 입력과 112 개의 비디오 입력이 포함되어 있습니다.

평가 프레임워크

Agent-X 는 에이전트를 세 가지 모드로 평가하는 세밀한 단계 수준 평가 프레임워크를 도입합니다:

1. 단계별: Grounding Score($G_s$), Tool Precision($T_p$), Tool Accuracy($T_a$) 와 같은 지표를 사용하여 중간 추론의 질을 평가합니다.
2. 심층 추론: Faithfulness($F_{acc}$), Context Score($C_s$), Factual Precision($F_p$), Semantic Accuracy($S_{acc}$) 를 사용하여 전체 추론 체인의 일관성과 논리적 일관성을 평가합니다.
3. 결과: 최종 답변의 정확성 (Goal Accuracy, $G_{acc}$) 과 사용된 도구 세트의 전반적인 정확성 (Toolset Accuracy, $T_{sacc}$) 을 측정합니다.

평가의 견고성을 보장하고 편향을 최소화하기 위해 GPT-4o, Qwen-14B, 그리고 인간 주석가 등 여러 심사자를 활용합니다.

주요 기여

1. Agent-X 벤치마크: 6 가지 다양한 환경에서 도구 증강 단계별 추론 평가와 결합된 최초의 대규모 벤치마크로, 이미지, 비디오, 텍스트와 같은 실제 다중 모달 입력을 통합합니다.
2. 세밀한 지표: 최종 결과뿐만 아니라 중간 추론 단계, 도구 선택 정확성, 논리적 일관성을 평가하는 새로운 지표 세트로, 진정한 추론과 허구적 생성 (confabulation) 을 구분합니다.
3. 포괄적인 평가: 폐쇄형 소스 모델 (GPT-4o, Gemini-2.5-Pro, OpenAI-o4-mini) 과 오픈 소스 모델 (Qwen2.5-VL, InternVL, VideoLLaMA3) 을 포함한 **12 개의 최첨단 대규모 다중 모달 모델 (LMM)**에 대한 광범위한 평가.

결과

평가 결과, 현재 모델들이 비전 중심 에이전트 작업에서 상당한 어려움을 겪고 있음이 드러났습니다:

• 낮은 전체 체인 성공률: 가장 성능이 우수한 모델조차 Goal Accuracy($G_{acc}$) 가 50% 미만입니다. 최상위 모델인 OpenAI-o4-mini 는 45% 에 달하는 반면, 대부분의 오픈 소스 모델은 30% 미만의 점수를 기록합니다.
• 추론 대 실행: 강력한 추론 능력 (높은 $F_{acc}$, $F_p$) 을 가진 모델은 최종 결과에서 더 좋은 성과를 보이는 경향이 있지만, 도구 호출 및 논증 예측은 여전히 핵심 병목 현상으로 남아 있습니다.
• 도구 사용 한계: 도구 관련 지표는 광범위한 변동을 보입니다. 모델들은 종종 도구 사용을 착각하거나 (hallucinate), 잘못된 JSON 형식을 생성하거나, 도구를 올바르게 연결하지 못합니다. 예를 들어, Gemini-1.5-Pro 는 높은 JSON 오류율 (44.5%) 을 보이는 반면, GPT-4o 는 시각적 오해석 (18.5%) 에 어려움을 겪습니다.
• 오픈 소스 진전: 현재 폐쇄형 소스 모델이 앞서 있지만, Qwen2.5-VL-7B 와 같은 최상위 오픈 소스 모델이 특정 지표에서 경쟁력 있는 성과를 보여 격차가 좁아지고 있음을 시사합니다.

의의

이 논문은 Agent-X 가 표면적인 답변의 정확성에서 심층적이고 해석 가능한 추론으로 초점을 이동시킴으로써 에이전트 시스템 평가에 있어 중요한 진전을 제공한다고 주장합니다. 연구 결과는 현재 LMM 들이 현실적인 과제에 필요한 지각, 계획, 도구 실행의 복잡한 상호작용에 어려움을 겪고 있음을 강조합니다. 비디오의 시간적 추론, 도구 스키마 준수, 구조화된 출력 강제와 같은 특정 병목 현상을 식별함으로써, 이 벤치마크는 더 견고하고 추론 중심적인 다중 모달 에이전트 개발을 위한 향후 연구를 안내하는 실행 가능한 통찰력을 제공합니다. 저자들은 Agent-X 가 다중 모달 추론과 견고한 도구 통합의 발전을 주도하여 비전 중심 에이전트 프레임워크의 진척을 추적하는 표준이 될 것이라고 전망합니다.