기술 요약: 먼저 보고 나서 동의하기 (EAGLE)

문제 정의

시각-언어 모델(VLM)은 시각적 질의응답(VQA)에서 강력한 성능을 달성했으나, 이미지 문맥에 충분히 근거하지 못할 경우 환각(hallucination) 현상과 편향된 언어적 사전 지식에 의존하는 경향이 있습니다. 고위험 애플리케이션에서 이러한 근거 없는 추론은 보정되지 않은 오류로 이어집니다.

개별 모델의 실패를 완화하기 위해, 다양한 관점을 집계하여 텍스트 QA에 성공적으로 적용된 다중 에이전트 협업이 유망한 패러다임으로 부상했습니다. 그러나 기존의 다중 에이전트 VQA 방식은 주로 텍스트 중심의 프로토콜을 채택하고 있습니다. 이들은 언어 수준의 근거(rationale)를 교환하는 데 집중하며, 밑바탕이 되는 시각적 정보의 정렬(alignment)을 간과합니다. 이는 결정적인 격차를 만듭니다. 즉, 에이전트들이 서로 다르거나 잘못된 시각적 이해를 바탕으로 '답변 수준의 합의'에 도달할 수 있으며, 이는 신뢰할 수 없는 피상적인 합의로 이어집니다.

방법론: EAGLE

저자들은 여러 VLM 에이전트를 조율하기 위해 설계된, 학습이 필요 없는 증거 중심의 프레임워크인 EAGLE(Evidence-Aligned Grounded muLti-agent rEasoning)을 제안합니다. 텍스트 기반 토론에만 의존하는 기존 방식과 달리, EAGLE은 에이전트들이 동의하기 전에 반드시 시각적 증거를 "보고 정렬"하도록 강제합니다.

이 프레임워크는 다섯 가지 핵심 단계로 작동합니다:

1. 증거 라우팅 (Evidence Routing): 경량 LLM 기반 라우터가 입력 질문을 특정 그라운딩 입도(Local, Relation, Global 또는 Precision)로 분류합니다. 이는 에이전트가 불일치하거나 부적절한 박스(box)를 생성하는 대신, 작업에 적합한 그라운딩 영역을 생성하도록 보장합니다.
2. 그라운딩된 답변 (Grounded Answer): 각 에이전트는 명시적인 뒷받침 증거와 함께 초기 답변을 독립적으로 생성합니다:
   • 그라운딩 박스 (Grounding Boxes): 답변을 뒷받침하는 이미지 내 공간 영역.
   • 시각적 주장 (Visual Claims): 그라운딩된 영역이 답변을 어떻게 뒷받침하는지 설명하는 원자적 텍스트 설명.
3. 증거 진단 (Evidence Diagnosis): 시스템은 두 가지 신호를 사용하여 그룹 출력의 일관성을 평가합니다:
   • 답변 일관성 (Answer Consistency): 최종 답변의 의미적 동등성.
   • 증거 일관성 (Evidence Consistency): 공간적 정렬(IoU 임계값을 통한 그라운딩 박스의 상호 커버리지)과 주장 정렬(LLM 판사를 통한 시각적 주장의 의미적 호환성)을 모두 요구하는 복합 지표.
   • 조기 종료 (Early Exit): 에이전트들이 만장일치의 답변 합의와 완전히 정렬된 시각적 증거를 모두 달성하면 프로세스가 즉시 종료됩니다.
4. 그라운딩된 수정 (Grounded Revision): 합의에 도달하지 못할 경우, 에이전트들은 자신의 출력, 동료의 출력, 그리고 진단 신호를 포함한 이전 라운드의 상태를 조건으로 이미지를 재검토하는 수정 단계에 진입합니다. 이를 통해 에이전트들은 동료의 시각적 증거를 교차 검증함으로써 스스로를 교정할 수 있습니다.
5. 증거 가이드 중재 (Evidence-Guided Arbitration): 남은 불일치 사항에 대해, 시스템은 정렬된 시각적 증거에 의해 뒷받받되는 높은 투표수를 가진 그룹을 우선시하여 최종 답변을 선택합니다. 만약 증거가 정렬된 그룹이 없다면, 가장 많은 투표를 받은 답변을 차선책으로 선택합니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

• 핵심 통찰: 파일럿 연구를 통해 저자들은 답변 수준의 합의만으로는 신뢰할 수 있는 다중 에이전트 VQA를 위해 불충분하다는 것을 입증했습니다. 그들은 정렬된 시각적 증거(특정 이미지 영역으로부터의 공유된 지지)가 신뢰할 수 있는 합의를 위해 필수적임을 확립했습니다. 명시적인 앵커링(anchoring) 없이는 에이전트들이 불안정한 토론이나 오해의 소지가 있는 합의에 빠지기 쉽습니다.
• 증거 중심 프레임워크: EAGLE은 에이전트의 그라운딩 영역을 명시적으로 만드는 범용적이고 학습이 필요 없는 프레임워크로 소개됩니다. 이는 진단, 수정 및 중재를 위해 증거 일관성을 활용하며, 조정 메커니즘을 "에이전트가 무엇을 답하는가"에서 "에이전트가 무엇을 보는가"로 전환합니다.
• 광범적인 평가: 이 방법은 6개의 다양한 VQA 벤치마크(V*Bench, WhatsUp, MME, GQA, MC-Bench, MMVP)에서 평가되었으며, 기존 베이스라인 모델들에 비해 우수한 성능과 해석 가능성을 입증했습니다.

실험 결과

EAGLE은 이질적인 3개의 오픈 소스 VLM(Qwen3-VL, GLM-4.6V-Flash, InternVL3.5-38B) 위원회를 사용하여 평가되었으며, 단일 에이전트 베이스라인(Zero-shot CoT, Self-Consistency, Self-Refine) 및 다중 에이전트 베이스라인(Multi-Agent Debate, ReConcile, DART)과 비교되었습니다.

• 성능: EAGLE은 6개 벤치마크 전체에서 가장 높은 평균 정확도를 기록하며, 가장 강력한 베이스라인인 DART(외부 도구 사용)보다 2.54 퍼센트 포인트 높은 성능을 보였습니다. 또한 가장 강력한 단일 에이전트 베이스라인보다 평균 6.33 퍼센트 포인트 향상된 성능을 보였습니다.
• 효율성: 복잡한 파이프라인에도 불구하고 EAGLE은 매우 효율적입니다. 모든 방법 중 샘플당 가장 적은 VLM 에이전트 호출 횟수(4.087)를 기록하면서도, 가장 높은 정확도 대비 호출 비율(17.79)을 달립했습니다. 이는 시각적으로 정렬된 합의가 이루어졌을 때 불필요한 수정 라운드를 피하는 "증거 기반 조기 종료" 메커니즘 덕분입니다.
• 절제 연구 (Ablation Studies): 핵심 구성 요소(라우팅, 그라운딩, 중재 또는 조기 종료) 중 하나라도 제거하면 성능 저하가 발생했습니다. 특히, 명시적인 그라운딩 박스나 증거 라우팅을 제거했을 때 가장 큰 성능 저하가 나타났으며, 이는 작업에 적합한 시각적 증거의 필요성을 확인시켜 줍니다.
• 사례 연구: 정성적 분석 결과, EAGLE은 에이전트가 동료의 그라운딩된 주장에 맞서 시각적 증거를 재검토하도록 강제함으로써 초기 환각(예: 잘못된 영역에 집중하여 물체의 색상을 오인하는 경우)을 성공적으로 교정함을 보여주었습니다.

의의 및 주장

본 논문은 EAGLE이 순수한 언어적 수렴이 아닌 정렬된 시각적 증거에 다중 에이전트 합의를 근거하게 함으로써 강력한 멀티모달 협업 메커니즘을 제공한다고 주장합니다.

• 신뢰성: 에이전트가 자신의 예측이 동일한 시각적 영역에 의해 뒷받침되는지 확인하도록 함으로써, EAGLE은 에이전트들이 서로 다른 (또는 환각된) 시각적 단서를 바탕으로 잘못된 답에 합의하는 "기만적 합의"의 위험을 완화합니다.
• 해석 가능성: 이 프레임워크는 결정을 내리는 데 사용된 특정 이미지 영역과 주장을 노출함으로써 추론 과정을 투명하게 만듭니다.
• 실용성: 외부 도구나 추가적인 모델 미세 조정에 의존하지 않는 학습이 필요 없는 접근 방식으로서, EAGLE은 VQA 신뢰성을 향상시키기 위한 가볍고 배포 가능한 솔루션으로 제시됩니다.

저자들은 이 방법이 투명성과 신뢰성을 개선하지만, 고위험 시나리오에서 인간의 판단을 대체하는 것은 아니라고 언급하며, 향후 연구가 비디오 이해, 체화된 지각(embodied perception), 다국어 문맥 등으로 확장될 수 있다고 덧붙였습니다.