Symbolic Reasoning Frameworks Modulate LLM Risk Aversion in Multi-Agent Strategic Settings

기술 요약: 상징적 추론 프레임워크가 다중 에이전트 전략 환경에서 LLM의 위험 회피 성향을 조절함

문제 정의
전략적 에이전트로 배치된 대규모 언어 모델(LLM)은 내재적인 행동 경향성, 구체적으로는 방어적 플레이를 지향하는 위험 회피적 "거북이(turtle)" 편향을 보인다. 기존 문헌은 페르소나 프롬프팅이 개별 에이전트의 행동을 변화시킬 수 있음을 보여주었으나, 단일 에이전트의 추론 프레임워크를 조절하는 것이 다중 에이전트 시스템에서 생태계 결과에 대한 실질적인 시스템 수준의 변화를 생성하는지는 여전히 불분명하다. 즉, 한 에이전트를 위한 상징적 추론 프레임워크의 선택이 다른 에이전트들의 승리 분포를 변화시키는가, 그리고 이러한 조절이 프레임워크의 의미론적 내용에 의한 것인가 아니면 그것이 요구하는 해석적 과정에 의한 것인가?

방법론
본 연구는 중국 전국시대(기원전 475~221년)를 배경으로 한 46개 영토 맵 위의 7인 변형 디플로머시(Diplomacy) 게임을 활용한다.

• 에이전트: 각기 다른 역사적/철학적 페르소나(예: 진나라의 법가, 연나라의 유가)에 기반을 둔 7개의 독립적인 에이전트(각 국가당 1명)는 Claude Opus 4.6으로 구동된다.
• 중재(Intervention): 가장 작고 약한 국가인 **한(Han)**을 나타내는 한 명의 에이전트는 41회의 게임(단일 캠페인 메모리 축적) 동안 네 가지 서로 다른 조건에 노출된다:
  1. 대조군(Control): 길이만 맞춘 일반적인 성찰 프롬프트.
  2. 주역(Yarrow/I-Ching): 괘 번호와 추상적 해설을 포함하여, 에이전트가 오라클(oracle)을 전략적 맥락에서 해석하도록 요구하는 라운드별 프롬프트.
  3. 타로(Tarot): 상황적 해석을 포함한 세 장의 카드로 구성된 스프레드를 제공하는 라운드별 프롬프트.
  4. 스크램블(Scrambled): 의미론적 일관성을 파괴하면서도 프롬프트 구조와 해석 명령은 유지하기 위해 주역 텍스트를 단어 단위로 섞은 절제(ablation) 조건.
• 측정: 본 연구는 행동 프로필(방어적 홀드율, 협력적 지원, 추론 길이)과 생태계 수준의 승자 분포를 추적한다. 통계적 유의성은 승리 분포에 대해서는 피셔의 정확 검정(Fisher's exact test)을, 행동률에 대해서는 크루스칼-월리스(Kruskal-Wallis) 및 맨-휘트니 U 검정(Mann-Whitney U test)을 사용하여 평가한다.

핵심 기여 및 결과

1. 프레임워크 특이적 생태계 시그니처: 단일 에이전트(한)를 위한 추론 프레임워크의 선택은 한이 게임에서 스스로 승리한 적이 없음에도 불구하고, 전체 생태계의 뚜렷하고 통계적으로 유의미한 승리 분포를 생성한다.
   • 대조군: 연나라가 지배함 (11승 중 7승, 64%).
   • 주역: 연나라와 초나라가 공동 지배하며, 가장 강력한 팽창주의 국가인 진나라가 완전히 억제됨 (0/10 승).
   • 타로: 진나라가 지배함 (10승 중 5승; Fisher $p=0.006$ vs. 통합군).
   • 스크램블: 제나라가 지배함 (10승 중 5승; Fisher $p=0.006$ vs. 통합군).
2. 과정 중심적이지 내용 중심적이지 않은 조절: 행동 조절은 에이전트가 오라클의 의미론적 내용을 따르는 결과가 아니다.
   • 괘의 테마와 타로 카드의 태도는 에이전트의 후속 행동 선택과 통계적 연관성을 보이지 않는다 ($\chi^2$ $p=0.95$ 및 $p=0.69$).
   • 그러나 에이전트는 추론 과정에서 오라클 텍스트를 83% 참조한다.
   • 스크램블 절제 조건은 결정적이다: 의미론적 일관성을 파괴하면서 구조를 보존했을 때, 대조군 및 일관된 주역 조건과 구별되는 고유한 생태계 시그니처(제나라 지배)를 생성한다. 이는 단순한 내용 추종이나 프롬프트 구조 효과가 충분한 설명이 아님을 입증한다.
3. 전파 메커니즘: 논문은 프레임워크가 해석적 과정을 변화시키고, 이것이 다시 위험 회피와 협력을 조절함으로써 시스템 전체로 전파된다는 점을 식별한다:
   • 주역: "해석적 교란"을 유발하여 후반부 협력(17.1% 지원율)을 증가시키며, 이는 진나라와 같은 팽창주의 국가를 억제하는 마찰을 생성한다.
   • 타로: 방어적 태도의 "누적적 톤 증폭"을 유발하여 극단적인 위험 회피(78.3% 홀드율)와 협력 제로 상태를 만들며, 이는 진나라가 이용할 수 있는 공백을 창출한다.
   • 스크램블: "파싱 실패(parsing failure)"를 일으켜 자기 참조적 추론과 반응적 자기 지원을 유도하며, 이는 멀리 떨어진 제나라에 이득이 되는 국지적 마찰을 생성한다.
4. 추론 길이 vs. 전략적 질: 추론 길이에는 명확한 구배(Gradient)가 존재하지만 (Control < Yarrow $\approx$ Tarot < Scrambled), 심사숙고의 증가가 한(Han)의 전략적 결과 개선과 상관관계를 갖지는 않는다. 실제로 타로가 유도한 확장(더 높은 정점 영토)은 생존율을 높이지 못한 채 동맹 탈락을 초래했다.

의의 및 주장
본 논문은 이러한 발견을 통해 에이전트 수준에서의 정렬 프레임워크 선택이 독특한 시스템 수준의 결과를 생성한다는 관찰을 제시한다.

• 시스템 수준의 영향: 시스템 내에서 가장 약한 에이전트라도 자신의 추론 스캐폴드(scaffold) 선택을 통해 전체 생태계의 결과 분포를 재편할 수 있다, 비록 그 에이전트가 승리를 거두지 못하더라도 말이다.
• 에이전트 중심 평가의 한계: 정렬된 에이전트의 결과만을 기준으로 정렬 개입을 평가하는 것은 불충분하며, "생태계 효과"를 반드시 함께 측정해야 한다.
• 내용보다 과정: 추론 프레임워크의 구체적인 내용보다는 그것이 요구하는 인지적 과정(예: 추상적 은유를 해석하는 행위)이 더 중요하다. 서로 다른 프레임워크는 의사결정의 질을 반드시 개선하지 않으면서도, 행동 모드를 변화시키는 신뢰할 수 있는 교란기(perturbator)로서 작용한다.

저자들은 작은 국가가 오라클을 상담한다고 해서 승리할 수는 없지만, 그 오라클이 프레임워크 특유의 방식으로 세상을 바꾼다는 결론을 내리며, 이는 추론 스캐폴드의 선택이 로컬 에이전트 설정이 아닌 시스템 수준의 설계 결정임을 시사한다.