💻 computer science

GAM-Agent: Game-Theoretic and Uncertainty-Aware Collaboration for Complex Visual Reasoning

GAM-Agent는 특화된 인지 에이전트들과 비판적 검증가 사이의 비제로섬 협업을 조율하여 다회차 토론을 동적으로 유발함으로써 다양한 시각-언어 모델 전반에 걸쳐 정확도와 해석 가능성을 크게 높이는 게임 이론 기반의 불확실성 인지 멀티 에이전트 프레임워크입니다.

원저자: Jusheng Zhang, Yijia Fan, Wenjun Lin, Ruiqi Chen, Haoyi Jiang, Wenhao Chai, Jian Wang, Keze Wang

게시일 2026-08-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jusheng Zhang, Yijia Fan, Wenjun Lin, Ruiqi Chen, Haoyi Jiang, Wenhao Chai, Jian Wang, Keze Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 우리처럼 사진을 "보고" 그 안에 무엇이 있는지 "읽을" 수 있는 세상을 상상해 보십시오. 이 분야를 시각-언어 모델링(Vision-Language Modeling)이라고 부릅니다. 오랫동안 이러한 컴퓨터 뇌들은 마치 어려운 수학 문제를 풀기 위해 칠판을 응시하는 단 한 명의 학생처럼, 홀로 작업해 왔습니다. 때로는 정답을 맞히기도 하지만, 특히 사진이 까다롭거나 질문이 복형할 때는 혼란에 빠지거나 사실을 지어내기도 합니다. 이를 해결하기 위해 과학자들은 컴퓨터들이 서로 대화하도록 하여 디지털 에이전트 팀을 만들기 시작했습니다. 하지만 초기 팀들은 다소 무질서했습니다. 그들은 단순히 답에 투표하거나 의견을 평균 내는 식이었는데, 이는 모두가 같은 방식으로 틀렸을 경우에는 별 도움이 되지 않았습니다. 연구자들이 현재 던지는 핵심 질문은 이것입니다. 어떻게 하면 컴퓨터 팀이 인간 전문가들처럼 똑똑하게 논쟁하고 협력하여, 스스로의 실수를 잡아내고 진실을 찾아내게 만들 수 있을 것인가?

여기에 컴퓨터 시각 팀이 마치 고액의 상금이 걸린 게임 쇼 패널처럼 협력하도록 설계된 새롭고 영리한 시스템인 GAM-Agent가 등장합니다. 이 논문의 저자인 장쥐성(Jusheng Zhang)과 그의 팀은 단순히 컴퓨터들이 대화하는 것만으로는 충분하지 않다는 것을 깨달았습니다. 그들에게는 자신들이 얼마나 불확실한지를 고려하는 구조화된 토론 방식이 필요합니다. GAM-Agent를 단순히 말을 듣는 심판이 아니라, 모든 플레이어의 "신뢰도 측정기"를 확인하는 심판이라고 생각하십시오.

게임은 다음과 같이 진행됩니다. 시스템은 팀을 **베이스 에이전트(Base Agents)**와 크리티컬 에이전트(Critical Agents) 두 그룹으로 나눕니다. 베이스 에이전트는 탐정들과 같습니다. 한 명은 사물을 포착하는 데 전문가일 수 있고(예: "저것은 농구공이다"), 다른 한 명은 장면을 묘사하는 데 특화되어 있을 수 있으며(예: "날씨가 화창하다"), 세 번째는 이미지 속 텍텍스트를 읽는 데 능숙할 수 있습니다(예: "유니폼에 'Golden State'라고 적혀 있다"). 이들은 모두 사진을 보고 초기 주장을 펼칩니다.

하지만 여기서 반전이 있습니다. 시스템은 단순히 그들의 말을 그대로 믿지 않습니다. 대신, "얼마나 확신하느냐?"라고 묻습니다. 이것이 바로 불확실성(Uncertainty) 부분이 들어오는 지점입니다. 만약 탐정이 흔들리거나 주저한다면, 시스템은 주의를 기울여야 함을 인지합니다. 그런 다음 크리티컬 에이전트가 개입합니다. 이들은 회의론자이자 팩트 체크 담당자입니다. 이들은 탐정들의 주장을 검토하며 논리적 오류, 누락된 세부 사항, 또는 사실적 실수가 있는지 확인합니다.

마법은 이 두 그룹이 **비제로섬 게임(non-zero-sum game)**을 벌일 때 일어납니다. 일반적인 게임에서는 한 사람이 이기면 다른 사람은 집니다. 하지만 이 게임에서는 모두가 함께 진실에 도달할 때 모두가 승리합니다. 만약 탐정과 회의론자가 의견이 다르거나 "불확실성 측정기"가 너무 높다면, 시스템은 **토론(debate)**을 촉발합니다. 탐정들은 주장을 정교화하고, 회의론자들은 허점을 파고들며, 시스템은 누가 가장 확신이 있고 정확한지에 따라 누가 더 크게 말할지를 끊임없이 조정합니다. 이는 마치 역동적인 팀 허들 같아서, 가장 큰 목소리를 내는 쪽은 마이크를 크게 잡은 사람이 아니라 가장 좋은 증거와 최소한의 의구심을 가진 사람입니다.

이 논문은 이 방법이 놀라울 정도로 효과적임을 보여줍니다. 연구진이 네 가지 까다로운 도전 과제(MMMU, MMBench, MVBench, V*Bench라고 불리는)에 대해 GAM-Agent를 테스트했을 때, 다양한 컴퓨터 모델의 성능을 일관되게 향상시켰습니다. Qwen2.5-VL-7B나 InternVL3-14B와 같은 작고 "가벼운" 모델들의 경우, 시스템은 정확도를 5~6% 높였습니다. GPT-4o와 같은 거대하고 매우 똑똑한 모델들에 대해서도 **2~3%**의 추가적인 향상을 끌어냈습니다.

연구진은 이 접근 방식이 단 한 번의 눈길로는 충분하지 않은 까다로운 시각적 퍼즐을 다루는 데 특히 유용하다는 것을 발견했습니다. 에이전트들이 자신의 주장을 이미지의 특정 부분(예: 선수가 드리블하는 정확한 지점)에 근거하도록 강제하고, 불확실성을 사용하여 언제 토론을 계속할지 결정함으로써, GAM-Agent는 더 신뢰할 수 있고 설명 가능한 결과를 만들어냅니다. 이는 단순히 정답을 맞히는 것이 아니라, 왜 그 답이 맞는지 알고 그것을 증거로 증명할 수 있는 것에 관한 것입니다.

요컨대, GAM-Agent는 복잡한 시각적 문제를 해결하는 최선의 방법이 하나의 초지능을 갖거나 단순한 그룹 투표를 하는 것이 아니라, 컴퓨터가 증거를 뒷받침할 때만 서로를 신뢰하도록 만드는 구조화되고 불확실성을 고려한 토론을 만드는 것임을 시사합니다. 결과는 이러한 "게임 이론적" 접근 방식이 AI를 더 똑똑하게 만들 뿐만 아니라, 자신이 무엇을 알고 무엇을 모르는지에 대해 더 정직하게 만드는 실질적인 경로임을 보여줍니다.

기술 요약: GAM-Agent

문제 정의

대규모 언어 모델(LLM)은 다중 에이전트 협업을 통해 복잡한 추론 능력이 크게 발전했으나, 시각-언어 모델(VLM)은 여전히 단일 모델이나 단순한 앙상블 전략에 크게 의존하고 있습니다. 기존의 VLM 접근 방식은 복잡한 작업에서 발생하는 다단계 추론과 시각적 모호함을 해결하는 데 어려움을 겪습니다. 최근 VLM을 위한 다중 에이전트 토론 프레임워크가 제안되었으나, 이들은 대개 평균화나 투표와 같은 단순한 메커니즘을 채택하고 있으며, 에이전트 간의 전략적이고 시각적 추론에 기반한 상호작용이 결여되어 있습니다. 또한, 현재의 협력적 게임 이론 방법론은 너무 복잡하거나 시각 도메인으로 잘 전이되지 않는 추론 경로에 의존하는 경우가 많습니다. 따라서 중간 추론 결과를 효과적으로 활용하고, 불확실성을 정량화하며, 에이전트 간의 상호작용을 전략적 게임으로 모델링하여 시각적 추론의 견고성과 해석 가능성을 높일 수 있는 프레임워크가 절실히 필요합니다.

방법론

저자들은 시각-언어 추론을 비제로섬 게임(non-zero-sum game)으로 모델링하여 이를 강화하도록 설계된 게임 이론 기반 다중 에이전트 프레임워크인 GAM-Agent를 제안합니다. 이 시스템은 6-튜플 $S = (E, A, \Phi, M, P, D)$ 로 정의되며 다음의 핵심 구성 요소를 통해 작동합니다.

1. 에이전트 아키텍처

프레임워크는 두 종류의 특화된 에이전트 집단을 운용합니다:

기초 에이전트(Base Agents): 서로 다른 관점에서 초기 시각적 해석과 근거를 생성하는 전문 전문가들입니다 (예: 객체 인식, 장면 묘사, OCR/텍스트 분석).
비판 에이전트(Critical Agents): 기초 에이전트의 출력을 사실적 정확성, 논리적 일관성, 완결성 측면에서 검토하는 추론 비평 전문가들입니다 (예: 사실 확인자, 완결성 검사자, 논리 검사자).

2. 불확실성 정량화 ( $\Phi$ )

게임 역학을 가이드하기 위해 이중 수준의 메커니즘을 통해 불확실성을 정량화합니다:

생성 과정 기반 ( $\Phi^{gen+}$ ): 토큰 확률을 사용할 수 있는 경우, 정보 엔트로피(망설임)와 상위 토큰 간의 확률 차이(확신 부족)를 사용하여 불확실성을 계산합니다.
의미론적 마커 기반 ( $\Phi^{sem}$ ): 확률을 사용할 수 없는 경우, 텍스트 내의 불확실성 마커(예: "일지도 모른다", "아마도")의 빈도와 강도를 통해 불확실성을 추론합니다.

3. 근거 매핑 ( $M$ ) 및 클레임 파싱 ( $P$ )

추론을 시각 데이터에 접지(grounding)하기 위해 시스템은 다음을 포함합니다:

클레임 파싱(Claim Parsing): 비정형 응답을 클레임, 신뢰 점수, 텍스트 근거, 시각적 영역 참조를 포함하는 구조화된 튜플로 변환합니다.
근거 매핑(Evidence Mapping): 텍스트 클레임을 입력 이미지의 특정 시각적 영역(경계 상자 또는 마스크)에 연결하여 추적 가능한 "클레임-시각적 근거" 네트워크를 생성합니다.

4. 반복적 토론 및 동적 가중치 부여

상호작용은 **토론 컨트롤러 및 통합기(Debate Controller & Integrator)**에 의해 조율됩니다:

초기 통합: 에이전트들의 응답은 불확실성에 따라 가중치가 부여됩니다 ( $w_i \propto e^{-\beta U_i}$ ).
갈등 탐지: 시스템 전체의 불확실성이 임계값( $\theta_U$ )을 초과하거나 전문가 간의 갈등이 유의미할 경우 토론이 트리거됩니다.
토론 루프: 반복되는 라운드에서 기초 에이전트는 논거를 정교화하고, 비판 에이전트는 검증을 제공합니다. 가중치는 업데이트된 불확실성 평가에 따라 동적으로 조정됩니다.
종료: 시스템 불확실성이 임계값 아래로 떨어지거나, 수렴 속도가 느려지거나, 최대 라운드 제한에 도달하면 프로세스가 중단됩니다.

주요 기여

게임 이론적 정식화: 본 논문은 시각적 추론을 단순한 투표나 평균화를 넘어, 에이전트들이 집단적 불확실성을 줄이기 위해 협력하는 비제로섬 게임 모델로 도입했습니다.
불확실성 인지 협업: 프레임워크는 생성 및 의미론적 수준 모두에서 불확실성을 명시적으로 정량화하며, 이를 동적 가중치 할당 및 토론 트리거를 위한 주요 중재자로 사용합니다.
시각적 접지 메커니즘: 클레임 파싱과 근거 매핑을 통합함으로써, GAM-Agent는 텍스트 추론이 시각적 영역과 명시적으로 연결되도록 보장하여 해석 가능성을 높이고 환각 현상을 줄입니다.
모듈형 및 확장 가능한 설계: 프레임워크는 VLM 백본에 구애받지 않도록 설계되어, 7B 규모의 소형 모델부터 78B 규모의 대형 모델까지 폭넓게 적용할 수 있습니다.

실험 결과

GAM-Agent는 Qwen2.5-VL, InternVL3, GPT-4o 등 다양한 VLM 백본을 사용하여 MMMU, MMBench, MVBench, V*Bench의 네 가지 도전적인 벤치마크에서 평가되었습니다.

성능 향상: GAM-Agent는 베이스 모델 및 타 다중 에이전트 프레임워크(DMAD, DMPL, ChatEval, MAD, DebUnc)를 지속적으로 능가했습니다.
- 중소형 모델: Qwen2.5-VL-7B 및 InternVL3-14B와 같은 모델에서 **5~6%**의 정확도 향상과 같은 유의미한 개선이 관찰되었습니다.
- 강력한 모델: GPT-4o와 같은 최상위 모델에서도 **2~3%**의 성능 향상이 나타났습니다.
효율성: 시스템은 효율적인 수렴을 보여주었으며, 종종 3회의 토론 라운드 이내에 높은 신뢰도의 합의에 도달했습니다.
비용 대비 성능: 분석 결과, GAM-Agent는 로컬 오픈 소스 모델을 사용하여 값비싼 상용 API(예: Gemini 2.5 Pro, GPT-4o)와 대등하거나 더 높은 정확도를 훨씬 적은 비용으로 달성할 수 있음을 보여주었습니다.
절제 연구(Ablation Studies): 불확실성 정량화, 근거 매핑 또는 반복적 토론 루프와 같은 구성 요소를 제거했을 때 측정 가능한 성능 저하가 발생하여, 각 모듈의 필요성을 확인했습니다.

의의 및 주장

본 논문은 GAM-Agent가 신뢰할 수 있고 설명 가능한 다중 에이전트 멀티모달 추론을 향한 실질적인 경로를 제공한다고 주장합니다. 추론을 정량화된 불확실성에 의해 중재되는 전략적 게임으로 모델링함으로써, 이 프레임워크는 정적인 앙상블 방식의 한계를 해결합니다. 저자들은 자신들의 접근 방식이 다음과 같은 효과를 가진다고 단언합니다:

복잡한 시각적 작업에서 VLM의 견고성과 해석 가능성을 향상시킵로 합니다.
구조화된 토론을 통해 다양한 통찰력을 동적으로 통합할 수 있게 합니다.
베이스 VLM의 아키텍처 변경 없이도 다양한 모델 크기에 걸쳐 성능을 개선할 수 있는 확장 가능한 솔루션을 제공합니다.

이 연구는 자기 성찰적(self-reflective)이고 다중 에이전트 기반의 멀티모달 시스템을 향한 단계로 자리매김하며, 외부 도구의 통합 및 안전이 중요한 AI 시스템과 설명 가능한 AI 시스템에 프레임워크를 적용하는 미래 방향을 제시합니다.