기술 요약: LLM 에이전트의 충실도 격차(Faithfulness Gap) 탐색

문제 정의

본 논문은 대규모 언어 모델(LLM) 사회 시뮬레이션의 핵심적인 문제인 '충실도 격차(faithfulness gap)', 즉 에이전트가 명시한 추론과 실제 행동 사이의 불일치 문제를 다룬다. 선행 연구들은 LLM이 실제 행동을 지배하지 않는 표면적인 합리화만을 생성할 수 있음을 지적해 왔다(Park et al., 2023; Zhou et al., 2024). 그러나 협상이나 문화적 교류와 같은 개방형 사회 환경에서는 정답(ground-truth) 참조점이 부재하기 때문에 이 격차를 측정하는 것이 어렵다. 저자들은 검증 가능한 참조가 없다면, 진정한 전략적 행동과 모델의 아티팩트(artifact) 또는 '아는 것과 행하는 것 사이의 격차(knowing-doing gap)'를 구분하는 것이 불가능하다고 주장한다(Lin et al., 2026).

방법론

검증 가능한 참조가 존재하는 통제된 환경을 구축하기 위해, 저자들은 모든 좌석이 LLM 에이전트로 채워진 텍사스 홀덤 포커 시뮬레이터를 제작하였다. 실험 프레임워크는 다음 세 가지 핵심 요소에 기반한다:

1. 환경: 에퀴티(equity) 기반 임계값 휴리스틱이 재현 가능한 참조 정책 역할을 하는 텍사스 홀덤 아레나이다. 모든 결정에 대해, 몬테카를로 에퀴티 계산기(500회 시뮬레이션)가 핸드 에퀴티와 팟 오즈(pot odds)를 바탕으로 '정답' 행동(폴드, 콜, 또는 레이즈)을 결정한다.
2. 의사결정 파이프라인 분해: 저자들은 충실도 격차를 두 가지 별개의 단계로 분해한다:
   • 추론 $\to$ 결론: 에이전트가 명시한 결정이 자신이 명시한 입력값(에퀴티, 팟 오즈)과 자신이 따르고 있다고 주장하는 규칙으로부터 논리적으로 도출되는가?
   • 결론 $\to$ 행동: 에이전트가 자신의 추론 과정에서 명시적으로 밝힌 행동을 실제로 실행하는가?
3. 실험 설정: 본 연구는 세 가지 모델 제품군(Claude Haiku 4.5, Gemini 2.5 Flash-Lite, DeepSeek-v4-pro - 네이티브로 학습된 추론 모델)을 대상으로 한다. 네 가지 프롬프트 전략이 테스트된다:
   • Baseline: 최소한의 전문가 프레이밍만 제공하며, 추론을 요청하지 않음.
   • CoT: "단계별로 생각하라"는 지시와 함께 명시적인 DECISION 태그를 출력하도록 함.
   • Persona: 추론 요청 없이 행동 양식(예: "타이트-어그레시브")을 부여함.
   • GTO-constrained: 결정 규칙(에퀴티 vs 팟 오즈)을 프롬프트에 명시적으로 주입함.
   • GTO-verbose (Diagnostic): 세밀한 오류 분석을 위해 에퀴티, 팟 오즈, 규칙, 결정을 각각 라벨링된 라인으로 출력하도록 지시하는 특정 전략.

주요 기여

본 논문의 주요 기여는 다음과 같다:

1. 측정의 주의점: 보고된 '불충실도(unfaithfulness)' 비율이 추출 방법에 따라 매우 민감하게 변한다는 것을 입증했다. 자유 텍스트 구절 추출 방식은 22~26%의 불일치율을 보인 반면, 명시적 결정 태깅은 이를 2% 미만으로 낮추었다. 이는 기존에 보고된 격차의 상당 부분이 측정 아티팩트임을 시사한다.
2. 격차 국소화: 파이프라인 단계를 분리함으로써, 저자들은 충실도 격차가 상류(upstream) 단계에 집중되어 있음을 보여준다. 에이전트는 자신의 명시된 결정은 높은 충실도로 실행하지만(결론 $\to$ 행동은 신뢰할 수 있음), 자신의 추론으로부터 유효하지 않은 결정을 도출하는 경우가 빈번하다(추론 $\to$ 결론은 신뢰할 수 없음).
3. 상류 실패의 특성 규명: 지배적인 오류 모드(실패의 65%)는 "규칙 오적용"이다. 에이전트는 입력값을 정확히 추정하고 규칙을 제대로 언급하지만, 정량적 규칙을 질적인 완곡 어법(예: "유의미하게 높지 않음")으로 덮어쓰며 체계적으로 위험 회피적인 방향으로 행동한다. 프롬프트에 규칙을 주입해도 이를 완화하지 못한다.
4. 이식 가능한 충실도 측정 도구: 저자들은 페르소나 드리프트(persona drift)와 표면적 합리화를 단계별로 탐지할 수 있도록, 더 풍부한 사회적 시뮬레이션에 적용 가능한 검증 가능하고 재현 가능한 테스트베드(코드 및 라이브 멀티 에이전트 데모)를 공개한다.

결과

• 결론 $\to$ 행동 일관성: 명시적 태그를 통해 결론을 도출했을 때, 불일치율은 모델 전반에 걸쳐 무시할 만한 수준(0.0%1.8%)이었다. 반면, 자유 텍스트 파서는 최종 결정이 아닌 마지막으로 언급된 후보 행동을 추출하기 때문에 2233%의 불일치를 보고했다.
• 추론 $\to$ 결론 타당성: GTO-verbose 진단에서, 잘못된 결정의 65%는 규칙 오적용에 의해 발생했다. 에이전트는 에퀴티와 팟 오즈를 정확히 계산했고(68%의 사례에서 몬테카를로 참값과 0.15 이내의 차이) 올바른 규칙을 명시했음에도 불구하고, 수학적 사실과 모순되는 결론을 내렸다.
  • 방향성: 오류는 무작위적인 산술 실수가 아니다. 규칙 오적용 사례의 97%에서, 규칙은 '레이즈'를 암시했으나 에이전트는 수동적인 행동(콜/폴드)을 선택했다. 에이전트들은 수학적으로 유리한 확률에도 불구하고 위험 회피적 행동을 정당화하기 위해 지속적으로 완곡한 표현을 사용했다.
• 프롬프트 주입: 결정 규칙을 명시적으로 제공한 "GTO-constrained" 전략은 모델의 준수도를 개선하지 못했다. 이 전략의 준수율은 일관되게 최하위권(47.9%~54.6%)에 머물렀으며, 이는 병목 현상이 규칙의 인출이나 이해가 아니라 '적용'에 있음을 확인시켜 준다.

의의 및 주장

본 논문은 진정한 전략적 행동과 모델 아티팩트를 구분하는 핵심 과제가 평가의 초점을 전환해야 함을 주장한다.

• 충실도의 재평가: LLM의 겉보기 "불충실함"은 종종 결론을 추출하는 방식에 의한 측정 아티팩트이다. 올바르게 측정할 경우, 에이전트는 자신이 명시한 결정에는 매우 충실하다.
• 실질적인 실패 모드: 실질적인 실패는 에이전트가 자신의 추론을 무시하는 것이 아니라, 자신의 추론으로부터 유효하지 않은 추론을 수행하는 것이다. 그들은 올바른 전제와 규칙을 말하면서도, 이를 질적인 위험 회피 판단으로 덮어버린다.
• 사회 시뮬레이션에 대한 시사점: 복잡한 사회 시뮬레이션에서 이러한 '상류' 실패는 '페르소나 드리프트'로 나타날 수 있다. 에이전트는 특정 페르소나(예: "공격적")를 명시하고 이에 대해 올바르게 추론할 수 있지만, 최종 행동은 일반적이고 보수적인 사전 확률(prior)로 끌려갈 수 있다. 이 드리프트는 도출 단계에서 발생하기 때문에, 결과 수준이나 결론 수준의 점검으로는 포착되지 않는다.
• 방법론적 전환: 저자들은 추론으로부터 결론을 도출하는 과정을 겨냥한 '프로세스 충실도(process-fidelity)' 평가를 옹호하며, 측정 노이즈와 모델 행동을 혼동하지 않기 위해 기계적으로 검증 가능한 명시적 결론을 요구해야 한다고 강조한다.

결론적으로, 포커가 완전한 사회 시뮬레이션은 아닐지라도, 단계별 충실도 프로브를 노출할 수 있는 필수적인 캘리브레이션 환경을 제공하며, 이는 정답 정의가 더 어려운 더 복잡한 영역으로 이식될 수 있다.