TriEx: A Game-based Tri-View Framework for Explaining Internal Reasoning in Multi-Agent LLMs

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반 에이전트가 불확실성, 숨겨진 정보, 그리고 다른 에이전트와의 상호작용이 존재하는 부분 관측 가능 환경 (Partially Observable Settings) 에서 의사결정을 할 때, 그 내부 추론 과정을 설명하는 것은 매우 어렵습니다.

• 기존 방법의 한계: 기존의 NLP 설명 기법 (Chain-of-Thought 등) 은 주로 정적 (static) 인 단일 턴 예측 작업에 맞춰져 있습니다. 이는 입력 특징이 출력에 미치는 영향을 분석할 수는 있으나, 상호작용에 의존하는 신념 (belief) 의 역동성, 다중 에이전트 간의 추론, 그리고 내부 상태가 어떻게 전략적 행동으로 전환되는지를 포착하지 못합니다.
• 신뢰성 부족: 최근 연구 (예: AlphaArena) 는 LLM 이 복잡한 상호작용 환경에서 불안정한 전략을 보이며, 자연어 설명이 실제 실행된 결정과 일치하지 않는 경우 (사후 합리화, Post-hoc rationalization) 가 빈번함을 보여주었습니다. 즉, 에이전트가 "무엇을 말했는지"와 "무엇을 믿었는지", 그리고 "무엇을 했는지" 사이에 체계적인 불일치가 존재합니다.

2. 방법론 (Methodology: TriEx Framework)

이 논문은 TriEx라는 새로운 삼중 관점 (Tri-View) 설명 프레임워크를 제안합니다. 이는 인간의 사회적 인지 (Social Cognition) 에서 영감을 받아, LLM 의 내부 의사결정 과정을 세 가지 정렬된 관점으로 구조화하고 검증합니다.

A. 1 인칭 관점 (First-Person View): 자기 추론

• 정의: 에이전트가 행동을 실행하기 전에 생성하는 구조화된 자기 설명입니다.
• 구현: 에이전트는 관찰 데이터와 상대방 프로필을 바탕으로 자연어 설명 (Narrative) 과 기계 판독 가능한 결정 기록 (DecisionJSON) 을 생성합니다.
• 특징: 이 설명은 단순한 내러티브가 아니라, 구체적인 행동과 환경에서 파생된 참조 신호 (예: 포드 오즈, 핸드 이쿼티) 에 바인딩된 검증 가능한 가설로 취급됩니다.

B. 2 인칭 관점 (Second-Person View): 상대방 모델링

• 정의: 에이전트가 상대방의 행동 패턴을 어떻게 내부적으로 모델링하고 업데이트하는지를 보여줍니다.
• 구현: 각 상호작용 단계에서 에이전트는 상대방의 행동적 특성 (공격성, 위험 감수성 등) 을 명시적인 프로필 상태 (Profile State) 로 유지하고 점진적으로 업데이트합니다.
• 특징: 이는 단순한 메모리가 아니라, 관찰된 증거에 기반하여 업데이트되는 신념 (Belief) 의 역동성을 추적합니다.

C. 3 인칭 관점 (Third-Person View): 오라클 감사 (Oracle Audit)

• 정의: 외부 오라클 (LLM 기반 심사자 + 결정적 규칙 기반 체크) 이 1 인칭 설명, 2 인칭 신념, 실제 행동, 그리고 환경 참조 신호 간의 일관성을 감사합니다.
• 구현:
  • LLM-as-Judge: 다양한 LLM 모델을 오라클로 활용하여 편향을 줄이고 평가의 신뢰성을 교차 검증합니다.
  • 규칙 기반 체크: 포커 게임의 객관적 규칙 (포드 오즈, 스택 비율 등) 을 기반으로 설명의 사실성을 검증합니다.
• 특징: 설명의 신뢰성을 평가할 때 단일 모델에 의존하지 않고, 객관적 신호에 기반한 구조화된 감사를 수행합니다.

3. 주요 기여 (Key Contributions)

1. TriEx 프레임워크 제안: 상호작용 LLM 에이전트를 위한 최초의 삼중 관점 설명 프레임워크로, 결정 흔적 (Decision Traces) 에 구조화된 자기 설명, 명시적 상대방 신념, 그리고 제 3 자 감사를 통합했습니다.
2. 설명 가능성의 검증 가능성 확보:
   • 설명이 행동에 얼마나 충실한지 (Faithfulness) 교차 검증.
   • 통제된 개입 (Intervention) 하에서 신념이 행동에 미치는 인과적 영향 분석.
   • 다양한 오라클 모델 간의 평가자 신뢰성 (Evaluator Reliability) 분석.
3. 새로운 발견 패턴 도출: LLM 에이전트의 설명, 신념, 행동 간의 체계적인 불일치를 규명하고, 설명의 신뢰도가 복잡성과 평가 방법에 따라 어떻게 변화하는지 계층적 구조를 제시했습니다.

4. 실험 결과 (Results)

실험은 통제된 환경인 텍사스 홀덤 포커를 사용하여 다양한 LLM 모델 (GPT-4, DeepSeek, Llama 등) 로 수행되었습니다.

• RQ1: 1 인칭 관점 (신뢰성 저하)

  • 결과: 게임이 초기 (Preflop) 에서는 설명이 행동과 일치하는 경우가 많았으나, 공유 카드가 공개되고 정보가 복잡해지는 후기 단계 (Flop, Turn, River) 로 갈수록 합리화 (Rationalization) 비율이 급격히 증가했습니다.
  • 통찰: 의사결정 복잡도가 증가할수록 LLM 은 내부 추론 과정을 정확히 설명하지 못하고, 행동에 맞는 사후 변명을 생성하는 경향이 강해집니다.

• RQ2: 2 인칭 관점 (신념의 인과성)

  • 결과: 에이전트는 상대방에 대해 일관된 내부 신념을 형성하며, 이는 관찰 가능한 행동 (공격성 등) 과 밀접하게 연관됩니다.
  • 개입 실험: 상대방 프로필의 특정 신념 변수 (예: 공격성) 를 인위적으로 조작했을 때, 에이전트의 행동 분포가 예측 가능한 방향으로 체계적으로 변화했습니다. 이는 LLM 이 상대방에 대한 신념을 실제 의사결정에 인과적으로 활용하고 있음을 증명합니다.
  • 차이점: 표면적 행동 (공격성) 에 대한 신념은 모델 간 수렴되지만, 추상적 개념 (위험 감수성) 에 대한 해석은 모델마다 상이하게 나타났습니다.

• RQ3: 3 인칭 관점 (평가자의 신뢰성)

  • 결과: LLM 기반 평가자 (Oracle) 들은 범주형 (Categorical) 또는 순위 기반 (Rank-based) 판단에서는 높은 일관성을 보였으나, 절대적 점수 (Absolute Scalar Scores) 에 대해서는 모델 간 편차가 크고 신뢰도가 낮았습니다.
  • 통찰: 설명 평가는 복잡도가 높은 상황 (후기 단계, 강한 핸드) 에서 신뢰도가 떨어지며, 평가의 신뢰성은 "정확한 점수"보다는 "상대적 순서"나 "방향성" 판단에 더 의존적입니다.

5. 의의 및 결론 (Significance)

• 상호작용 의존적 설명 가능성: LLM 에이전트의 설명 가능성은 고립된 추론 흔적이 아니라, 상호작용에 의존하는 속성임을 강조합니다. 에이전트가 무엇을 말하고, 무엇을 믿으며, 무엇을 하는지 간의 관계를 종합적으로 분석해야 합니다.
• 새로운 평가 패러다임: 단일 성능 지표나 사후 설명의 정확성만으로는 부족하며, 구조화된 비교 판단 (Comparative Judgments) 과 신념 - 행동 정합성을 중시하는 평가 체계가 필요함을 시사합니다.
• 향후 연구 방향: LLM 이 추상적 개념에 대한 안정적인 의미적 기반 (Semantic Grounding) 을 갖지 못한다는 점을 지적하며, 신념 기반 학습 (Belief-aware training) 이나 구조화된 메모리 구축의 필요성을 제기합니다.

요약하자면, TriEx는 LLM 에이전트의 내부 사고 과정을 "말 (1 인칭)", "믿음 (2 인칭)", "사실 (3 인칭)"의 세 가지 관점에서 구조화하고 검증함으로써, 복잡한 다중 에이전트 환경에서의 설명 가능성 연구에 새로운 기준을 제시한 논문입니다.