기술 요약: QUACK – 다중 모드 사회 추론 에이전트에서 전달된 지식에 대한 질문, 이해 및 감사

1. 문제 제기

대규모 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 은 환경을 지각하고, 소통하며, 불확실성 하에서 추론할 수 있는 상호작용 에이전트로서 점점 더 널리 배포되고 있습니다. 이러한 에이전트에게 있어 **grounding(현실 기반성)**은 필수적인 요구사항입니다. 즉, 에이전트가 자신의 위치, 관찰 내용, 행동에 대해 자연어로 내는 진술은 실제 지각한 궤적에 충실해야 합니다.

현재 사회 추론 게임 (예: Among Us, Werewolf) 을 위한 평가 벤치마크는 두 가지 주요 한계에 직면해 있습니다:

1. 결과 중심 점수 매기기: 대부분의 평가는 게임 결과 (승률, 생존률, 투표 정확도) 에 의존합니다. 이러한 지표는 일관된 추론으로 성공한 에이전트와 일관성 없거나 환각된 주장을 내면서도 성공한 에이전트를 구분하지 못합니다.
2. 텍스트만 제한된 환경: 기존 환경은 에이전트를 텍스트 기반 상호작용으로 크게 제한합니다. 현실 기반의 시각적 관찰과 재구성 가능한 궤적이 없다면, 에이전트의 대화가 실제로 지각하고 수행한 내용과 일치하는지 판단할 수 없으며, 공간적 환각이나 근거 없는 비난과 같은 특정 실패 모드를 식별하기 어렵습니다.

적대적이고 다중 에이전트 환경에서 장기적 관점에 걸쳐 에이전트의 언어가 다중 모드 지각과 행동에 기반을 두고 있는지 감사할 수 있는 프레임워크가 부족합니다.

2. 방법론: QUACK 프레임워크

저자들은 현실 기반 다중 모드 사회 추론을 감사하기 위해 설계된 오픈소스 환경 및 평가 프레임워크인 QUACK을 소개합니다.

2.1 환경

QUACK은 그래프 구조의 지도에서 수행되는 부분 관측 마르코프 게임으로 형식화됩니다.

• 역할: 에이전트는 Geese(승무원) 또는 Ducks( impostor, 사기꾼) 중 하나로 숨겨진 역할을 부여받습니다.
  • Geese는 위치 기반 작업을 완료하거나 모든 Ducks 를 추방함으로써 승리합니다.
  • Ducks는 생존한 Ducks 의 수가 생존한 Geese 의 수와 같거나 많아지는 투표 동률을 달성함으로써 승리하며, 같은 공간에 있는 Geese 를 제거할 수 있습니다.
• 관찰: 에이전트는 각 의사결정 시점에 다중 모드 입력을 받습니다:
  • 전역 뷰 ($I_{global}$): 방 배치와 이동 비용을 보여주지만 다른 플레이어는 표시되지 않는 렌더링된 지도.
  • 지역 뷰 ($I_{local}$): 현재 방의 렌더링된 이미지로, 가시范围内的인 플레이어, 시신, 목격한 이동 이벤트만 표시.
  • 구조화된 요약 ($\tau$): 이동 상태, 목격한 사건, 작업 진행 상황, 쿨다운을 텍스트로 인코딩한 정보.
• 행동: 에이전트는 이동, 작업 완료, 시신 보고, 회의 소집, 그리고 (Ducks 의 경우) 살해와 같은 행동을 수행합니다. 또한 같은 방에 있는 에이전트에게만 들리는 "근접 채팅"(자유 형식의 발화) 과 공식 회의 토론에 참여합니다.
• 재현 가능성: 핵심적으로, 모든 에피소드는 구조화된 엔진 레벨 이벤트 로그를 생성하여 모든 에이전트에 대한 틱 단위 (tick-by-tick) 의 진실 궤적을 제공합니다. 이를 통해 정확한 재생 및 검증이 가능합니다.

2.2 3 단계 평가 프레임워크

QUACK 은 세 가지 상호 보완적인 수준에서 에이전트를 평가합니다:

• 1 단계 (게임 결과): 승률, 추방 정확도, 작업 완료율, 생존율 등을 포함한 표준 지표.
• 2 단계 (행동 궤적): 재구성된 궤적에서 도출된 지표로, 공간적 범위, 작업 효율성, 살해율, 쿨다운 활용도 등이 포함됩니다.
• 3 단계 (진술 검증): 핵심 기여 사항입니다. 이 단계는 에이전트의 토론 발화와 진실 궤적 간의 일관성을 감사합니다.

2.3 진술 검증 파이프라인

3 단계 파이프라인은 두 단계로 운영됩니다:

1. 주장 추출: LLM 이 자유 형식의 토론 발화를 구조화되고 검증 가능한 주장으로 파싱합니다. 다섯 가지 주장 유형이 정의됩니다:
   • 위치/경로: 플레이어가 어디에 있었는지에 대한 주장.
   • 목격: 다른 플레이어를 보았다는 주장.
   • 활동: 작업, 이동, 대기 등에 대한 주장.
   • 비난: 특정 플레이어가 Duck 일 것이라고 의심하는 주장.
   • 방어: 특정 플레이어를 옹호하는 주장.
2. 주장 검증: 각 주장은 해당 시간 창에 대한 에이전트의 재구성된 진실 궤적과 대조하여 확인됩니다. 판정 결과는 True(참), False(거짓), Wrong Room(틀린 방), Near Miss(부분적 참), 또는 *Unverifiable(검증 불가)*입니다.

이 파이프라인은 네 가지 구체적인 grounding 실패 모드를 운영화합니다:

1. 공간적 환각: 에이전트 자신의 궤적과 모순되는 위치나 목격 사실을 주장하는 것.
2. 근거 없는 비난: 근거 있는 증거 없이 플레이어를 비난하는 것 (비난의 정확성과 *groundedness(현실 기반성)*를 구분함).
3. 기만 붕괴: 미묘하고 거의 참에 가까운 기만보다는 쉽게 반증 가능한 거짓말 (예: 죽은 플레이어를 보았다고 주장하는 것) 을 하는 Duck.
4. 언어 - 행동 불일치: 로그된 행동과 충돌하는 명시된 활동이나 경로.

이 파이프라인은 인간 주석과 비교하여 검증되었으며, 주장 추출 및 검증에서 99.5% 의 정밀도와 98.7% 의 재현율을 달성했습니다.

3. 실험 설정 및 결과

저자들은 270 개의 게임에서 동질적 (모든 에이전트가 동일한 모델) 과 이질적 (Geese 와 Duck 이 서로 다른 모델) 적대적 환경에서 세 가지 최첨단 VLM(GPT-5.5, GEMINI-3.1-PRO, CLAUDE-OPUS-4.7) 을 평가했습니다.

주요 발견 사항

• 결과와 grounding 간 격차: 높은 승률은 grounded 추론을 의미하지 않습니다. 예를 들어, GPT-5.5 는 Goose 로서 81.1% 의 승률을 기록했지만, 공간적 주장의 16.4% 를 환각했고, 비난의 54.5% 를 근거 없는 증거로 내렸습니다.
• 체계적 환각: 가장 강력한 에이전트조차 검증 가능한 공간적 주장의 상당 부분을 환각합니다. 모든 모델을 합산한 공간적 환각률은 15.1% (약 7 개 중 1 개) 였습니다.
• 근거 없는 비난: 합산된 근거 없는 비난률은 **53.5%**였습니다. 비난이 우연히 정확했는지 여부와 상관없이, 모든 비난의 절반 이상이 비난자가 실제로 관찰할 수 있는 증거 없이 이루어졌습니다.
• 기만 붕괴: Ducks 는 **22.1%**의 기만률을 보였습니다. 핵심적으로, 기만의 정교함은 거의 제로였으며, 거짓말은 "단순히 반증 가능" (예: 로그에 에이전트가 다른 곳에 있었음이 명시된 방에 있었다고 주장하는 것) 한 것이었습니다.
• 거짓말 탐지 격차: Duck 이 검증 가능한 거짓말을 했음에도 불구하고, 승무원 (Geese) 은 약 25% 의 경우에서 그들을 추방하지 못했습니다 (거짓말 후 평균 추방률은 75.2%). 이는 이용 가능한 증거와 승무원의 연역 능력 사이의 격차를 나타냅니다.

세 모델 모두 정성적 실패 프로필이 동일했으며, 주로 정도 (degree) 에서 차이가 있었지 종류 (kind) 에서 차이가 있지는 않았습니다.

4. 의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. QUACK 환경: 부분 관측성과 완전 재생 가능한 로그를 갖춘 오픈소스 다중 모드 사회 추론 환경으로, 에이전트의 진실 궤적 재구성을 가능하게 함.
2. 3 단계 평가: 승률을 넘어 행동 궤적과 발화 수준의 일관성을 측정하여 에이전트 언어의 "grounding"을 직접적으로 다루는 프레임워크.
3. 진술 검증 파이프라인: 재구성된 세계 상태에 대해 에이전트의 주장을 자동으로 감사하는 방법으로, 네 가지 정성적 실패 모드를 측정 가능한 양으로 운영화함.
4. 실패에 대한 경험적 증거: 최첨단 VLM 조차도 표준 결과 기반 지표로는 보이지 않는 사회 추론 작업에서 체계적이고 진단 가능한 grounding 실패를 보인다는 증명.

광범위한 함의

저자들은 **groundedness(현실 기반성)**가 작업 성공으로 포착되지 않으며 직접적인 측정이 필요한 다중 에이전트 언어 환경에서 고유한 능력 축이라고 주장합니다. 사회 추론 게임은 검증 가능한 주장 (과 거짓말) 에 대한 강력한 인센티브와 완전히 복구 가능한 세계 상태를 결합하기 때문에, grounded 생성을 연구하는 독특한 도구로 작용한다고 봅니다. 이는 개방형 언어 작업에서 드물게 제공되는 조합입니다.

이 연구는 에이전트를 기만에 최적화하기보다는, 에이전트가 근거 없는 주장을 할 때 이를 노출하여 탐지 및 완화 조치를 용이하게 하려는 진단적 목적으로 제시됩니다. 저자들은 에이전트 grounding 에 대한 독립적인 재현과 검증을 지원하기 위해 엔진, 프레임워크, 로그를 공개합니다.