🤖 AI

SOM: Structured Opponent Modeling for LLM-based Agents via Structural Causal Model

본 논문은 구조적 인과 모델을 활용하여 적대자 표현 구성과 예측을 명시적으로 분리하는 2 단계 프레임워크인 구조화된 적대자 모델링 (SOM) 을 제안함으로써, 동적 다중 에이전트 환경에서 LLM 기반 에이전트의 정확성과 적응성을 향상시킨다.

원저자: Shiyue Cao, Pei Xu, Likun Yang, Lei Cui, Xiaotang Chen, Kaiqi Huang

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shiyue Cao, Pei Xu, Likun Yang, Lei Cui, Xiaotang Chen, Kaiqi Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "SOM: 구조적 인과 모델을 통한 LLM 기반 에이전트를 위한 구조적 적대 모델링"이라는 논문에 대한 간단한 언어와 비유를 사용한 설명입니다.

큰 그림: 상대방이 무엇을 생각하고 있는지 추측하기

상당히 똑똑한 컴퓨터 상대와 복잡한 보드 게임이나 비디오 게임을 한다고 상상해 보세요. 이기기 위해서는 상대방이 다음에 어떤 수를 둘지 추측해야 합니다.

현재의 인공지능 에이전트 (대형 언어 모델, 즉 LLM 기반) 는 이를 위해 단순히 "소리를 내어 생각"하는 방식을 시도합니다. 게임 기록을 보고 "흠, 그들이 X 를 했으니 아마도 Y 를 할 것 같다"라고 말합니다. 문제는 이 과정이 종종 엉망으로 뒤섞인 생각이라는 점입니다. 지도 없이 미로에서 빙글빙글 돌며 미로를 해결하려는 것과 같습니다. 때로는 AI 가 혼란을 겪거나 핵심 세부 사항을 놓치거나, 상대방의 마음을 파악하는 명확한 계획이 없기 때문에 사실을 왜곡 (환각) 하기도 합니다.

이 논문의 저자들은 **SOM(구조적 적대 모델링)**이라는 새로운 방법을 제안합니다. 단순히 추측하는 대신 SOM 은 AI 에게 따라야 할 청사진이나 흐름도를 제공합니다. "상대방을 파악한다"는 문제를 지도 만들기와 지도 사용하기라는 두 가지 명확한 단계로 나눕니다.

단계 1: 지도 만들기 (구축 단계)

상대방의 의사결정 과정을 미스터리로 생각하세요. 당신은 그들의 최종 행동 (행동) 을 보지만, 그로 이르게 된 생각은 볼 수 없습니다.

첫 번째 단계에서 SOM 은 탐정처럼 행동합니다.

관찰: AI 는 상대방이 무엇을 했는지 지켜봅니다.
반성: AI 는 스스로에게 "왜 그들은 저렇게 했을까?"라고 묻습니다. 상대방이 가졌을 숨겨진 생각이나 "중간 단계"를 상상해 봅니다. 예를 들어, 숫자를 맞추는 게임에서 상대방은 다음과 같이 생각했을 수 있습니다. "다른 사람들이 모두 높은 숫자를 선택하는 것을 보았으니, 안전을 위해 내 숫자를 낮추기로 결정했다."
청사진 (SCM): AI 는 이러한 "중간 생각"을 가져와 인과 그래프를 그립니다. 이는 원인과 결과를 화살표로 보여주는 다이어그램입니다.
- 관찰 $\rightarrow$ 숨겨진 생각 (예: "그들은 공격적이다") $\rightarrow$ 행동.

이 논문에서는 이를 **구조적 인과 모델 (Structural Causal Model, SCM)**이라고 부릅니다. "상대방이 이것을 보면, 아마도 저것을 생각할 것이고, 그 결과 이것을 하게 될 것이다"라고 말하는 흐름도라고 상상해 보세요. AI 는 새로운 패턴을 발견하면 새로운 "생각 노드"를 추가하고, 틀린 것으로 판명된 "생각 노드"는 삭제하며 이 지도를 계속 다듬어 나갑니다.

단계 2: 지도 사용하기 (예측 단계)

지도가 만들어지면 AI 는 단계 2: 예측으로 전환합니다.

이제 AI 는 막연하게 추측하는 대신 흐름도를 따릅니다.

현재 게임 상황 (입력) 을 봅니다.
지도의 화살표를 따라 다음 "생각 노드"로 이동합니다.
LLM 에게 묻습니다. "지도와 과거에 이 특정 생각이 특정 행동으로 이어졌던 예들을 바탕으로, 상대방은 다음에 무엇을 할 것인가?"

이는 GPS 내비게이션 시스템과 같습니다. 목적지를 찾기를 바라며 목적 없이 운전하는 대신, AI 는 이전에 그린 특정 경로를 따릅니다. 이로 인해 예측은 훨씬 더 안정적이고 정확해집니다.

왜 이것이 더 나은가? (2 단계 프로세스의 "마법")

이 논문은 이전 방법들은 하나의 거대하고 엉망인 뇌 dump(정보 폭격) 에서 "탐정 작업"과 "예측"을 동시에 시도했다고 주장합니다. 이는 종종 혼란을 초래합니다.

SOM 은 이를 분리합니다:

1 단계는 구조를 학습하는 것입니다. 이는 마치 선생님이 학생이 어떻게 생각하는지 설명하기 위해 화이트보드에 다이어그램을 그리는 것과 같습니다.
2 단계는 그 다이어그램을 사용하여 다음 행동을 예측하는 것입니다.

이들을 분리함으로써 AI 는 길을 잃지 않습니다. 따라야 할 명확한 경로가 있습니다.

실제 세계 테스트 (실험)

연구자들은 이것이 실제로 작동하는지 확인하기 위해 세 가지 다른 "게임"에서 이를 테스트했습니다:

"평균 추측" 게임: 플레이어는 숫자를 선택하고, 그룹 평균의 80% 에 가장 가까운 숫자를 선택한 사람이 승리합니다. 이는 다른 사람들이 무엇을 생각하는지에 대해 깊이 생각해야 합니다.
- 결과: SOM 은 "내가 너가 그렇게 생각한다고 생각한다..."라는 복잡한 사슬을 더 잘 모델링할 수 있었기 때문에 다른 AI 방법들보다 더 자주 승리했습니다.
생존 경매: 플레이어는 생존을 위해 물을 입찰합니다.
- 결과: SOM 은 더 오래 생존했습니다. 상대방의 "절박함"(낮은 체력) 이 공격적인 입찰로 이어진다는 것을 이해하고, 그 "중간 생각"을 사용하여 상대방의 입찰을 예측했습니다.
"공작원" 게임: 플레이어들이 누가 거짓말을 하는지 추측하는 사회적 추리 게임입니다.
- 결과: SOM 은 거짓말꾼의 말이 그들의 숨겨진 역할에 어떻게 의존하는지 매핑했기 때문에 거짓말꾼을 더 잘 찾아냈습니다. 단순히 말 자체에 반응하는 것이 아니라 말의 배경을 파악한 것입니다.

"전이 (Transfer)" 트릭

이 논문에서 흥미로운 발견 중 하나는 지식 전이입니다.
GPT-4 와 같은 초지능 AI 를 사용하여 특정 상대방의 생각 방식을 완벽하게 매핑했다고 상상해 보세요. 이 논문은 그 지도를 가져와 더 작고 덜 똑똑한 AI(예: 일반적인 오픈소스 모델) 에게 줄 수 있음을 보여줍니다. 작은 AI 가 똑똑하지는 않지만, 그 "지도"를 가지고 있으면 특정 상대방에게 훨씬 더 잘 플레이할 수 있습니다. 초보 운전자에게 상세한 GPS 경로를 주는 것과 같습니다. 그들이 레이싱 챔피언은 아닐지라도 길을 잃지는 않을 것입니다.

요약

이 논문은 AI 에이전트가 상대방의 행동을 예측하는 능력을 향상시키는 SOM을 소개합니다.

문제: 현재 AI 는 너무 엉망으로 추측합니다.
해결책: 두 단계로 나눕니다. 상대방의 생각에 대한 인과 지도를 구축한 다음, 그 지도를 따라 상대방의 다음 행동을 예측합니다.
결과: AI 는 단순히 추측하는 대신 구조화되고 논리적인 방식으로 상대방을 이해하기 때문에 더 많은 게임을 이기고, 더 오래 생존하며, 실수를 줄입니다.

기술 요약: LLM 기반 에이전트를 위한 구조적 인과 모델을 통한 구조화된 적대 모델링 (SOM)

문제 제기

다중 에이전트 및 게임 이론적 환경에서 대규모 언어 모델 (LLM) 기반 에이전트의 성공은 적대의 행동을 정확하게 예측하고 이에 따라 전략을 적응시키는 능력에 결정적으로 의존합니다. 기존 접근 방식은 일반적으로 암묵적 문맥 추론을 통해 적대 모델링 (적대가 어떻게 결정을 내리는지 식별) 과 적대 예측을 혼재시킵니다. 이러한 혼재는 다음과 같은 여러 한계를 초래합니다:

조절 불가능성: 추론 경로가 명시적으로 정의되지 않아 추론 과정을 제어하거나 모델이 고려해야 할 중간 변수 (예: 신념, 숨겨진 정보) 를 안내하기 어렵습니다.
불안정성과 환각: 구조적 안내가 없으면 LLM 은 복잡한 전략적 상호작용을 추론할 때 핵심 정보를 놓치거나 환각을 생성하는 경우가 많습니다.
정적 추론: 현재 사용 중인 구조적 추론 방법들 (예: Tree-of-Thought, Graph-of-Thought) 은 주로 정적 문제를 위해 설계되었으며, 외부 피드백을 통합하거나 동적 전략적 상호작용의 비정상적 특성에 적응할 메커니즘이 부족합니다.

방법론: 구조화된 적대 모델링 (SOM)

저자들은 **구조화된 적대 모델링 (SOM)**을 제안합니다. 이는 적대 모델 구축과 적대 예측을 명시적으로 분리하는 2 단계 프레임워크입니다. 이 프레임워크는 **구조적 인과 모델 (SCM)**을 활용하여 적대의 의사결정 과정을 인과적 종속성의 방향성 비순환 그래프 (DAG) 로 형식화합니다.

1. 적대 모델 구축 (동적 SCM)

이 단계에서 SOM 은 관측 가능한 요인과 적대의 행동 간의 종속성을 나타내는 명시적 인과 그래프 $\mathcal{G}(\mathcal{V}, \mathcal{E})$ 를 구축하고 정제합니다.

초기화: 이 과정은 모든 관측 가능 변수에서 적대의 행동으로 이어지는 간선을 포함하는 최소 그래프로 시작합니다.
반성 및 추출: 적대의 행동을 관찰한 후, LLM 은 관측과 행동을 연결하는 중간 추론 단계 (잠재 변수) 를 가설로 삼는 자연어 반성을 생성하도록 프롬프트됩니다. 별도의 모듈이 이 텍스트를 파싱하여 구조화된 인과 체인 (예: $Observation \rightarrow Intermediate\_Node \rightarrow Action$ ) 을 추출합니다.
통합 및 가지치기: 추출된 중간 노드는 그래프 내 기존 노드와 매칭됩니다. 강화 카운트가 각 노드의 빈도를 추적합니다. 그래프는 일시적이거나 반박된 가설을 폐기하고 간결하고 견고한 인과 구조를 유지하기 위해 주기적으로 가지치기되어 상위 K 개 (top-K) 의 가장 빈번한 노드만 유지됩니다.

2. 적대 예측 (구조적 추론)

SCM 이 구축되면 LLM 은 위상 순서대로 그래프를 탐색하여 예측을 수행합니다.

위상적 추론: 에이전트는 부모 노드가 결정된 후에만 각 노드의 값을 추론합니다. 루트 노드 (관측치) 는 환경에서 가져오며, 중간 노드와 행동 노드는 구조적 방정식을 통해 계산됩니다.
예시 기반 추론: 각 추론 단계에서 LLM 은 적대별 예시 풀에서 관련 추론 예시를 검색합니다. 이러한 예시들은 이전 상호작용에서 성공한 부모 - 자식 간 추론 궤적으로 구성됩니다.
개인화된 적응: 예시 풀은 동적으로 업데이트됩니다. 올바른 예측으로 이어지는 추론 단계만 저장되어 모델이 고품질의 적대별 지식을 축적하도록 보장합니다. 이를 통해 에이전트는 높은 적응성으로 적대의 기능적 의사결정 논리 ( $V_j = f_j(Pa(V_j))$ ) 를 시뮬레이션할 수 있습니다.

주요 기여

새로운 프레임워크: 구조적 인과 모델에 기반하여 적대 예측을 구조화되고 조절 가능한 추론 과정으로 변환하는 SOM 의 도입.
이중 메커니즘: (a) 상호작용 피드백에 기반하여 인과 그래프를 반복적으로 정제하는 동적 구축 메커니즘과 (b) 예시 풀을 통해 구조적 종속성에 적대별 추론 지식을 주입하는 통합 메커니즘의 구현.
실증적 검증: 다양한 다중 에이전트 환경에서 Chain-of-Thought, Tree-of-Thought, K-Level Reasoning, Reflexion 을 포함한 최첨단 베이스라인보다 SOM 이 더 우수한 성능을 보임을 입증하는 포괄적인 실험.

실험 결과

저자들은 G0.8A(숫자 맞추기 게임), 생존 경매 게임 (SAG), 그리고 Undercover Game(사회적 추리 게임)이라는 세 가지 서로 다른 환경에서 SOM 을 평가했습니다.

성능: SOM 은 베이스라인에 비해 일관되게 가장 높은 승률과 생존 라운드를 기록했습니다. G0.8A 에서 SOM 은 평균 승률 0.53을 달성하여 다음으로 좋은 방법 (K-R, 0.45) 보다 크게 앞섰습니다. SAG 에서 SOM 은 평균 7.8 라운드를 생존하여 K-R(7.1) 과 기타 모든 베이스라인을 능가했습니다.
적응성: SOM 은 Tree-of-Thought 와 같은 정적 추론 방법이 어려움을 겪었던 "혼합" 적대 (다양한 전략을 통합한 적대) 에 대해 우수한 적응성을 보여주었습니다.
장기적 안정성: 에피소드 전반에 걸친 예측 편차 분석 결과, SOM 의 오차율은 꾸준히 감소하여 안정화되는 반면, Reflexion 과 같은 베이스라인 방법은 정체되었습니다.
절차 제거 연구: 중간 노드, 그래프 정제, 또는 예시 풀과 같은 구성 요소를 제거하면 성능이 크게 저하되어 구조적 그래프 구축과 개인화된 예시 검색의 결합이 결정적임을 확인했습니다.
지식 전이: 이 논문은 강력한 에이전트 (GPT-4o) 가 구축한 구조화된 적대 모델 (그래프 + 예시) 을 미세 조정 없이도 약한 오픈소스 모델 (LLaMA-3-8B, Mixtral-8B) 로 전이할 수 있으며, 이들의 성능을 크게 향상시킬 수 있음을 보여줍니다.

중요성과 주장

이 논문은 SOM 이 복잡한 다중 에이전트 환경에서 더 적응적이고, 해석 가능하며, 견고한 LLM 기반 에이전트 구축을 위한 중요한 한 걸음을 제공한다고 주장합니다. 모델 구축과 예측을 명시적으로 분리함으로써 SOM 은 암묵적 추론의 "블랙박스" 성격을 해결하고 전략적 의사결정을 위한 명확하고 조절 가능한 경로를 제공합니다.

저자들은 한계를 인정합니다: 발견된 인과 구조는 적대의 검증된 인지 메커니즘이 아니라 관찰 데이터로부터 추론된 기능적 종속성입니다. 그러나 그들은 이러한 구조적 접근 방식이 동적 환경에서 전략적 추론을 위한 실용적이고 효과적인 기반을 제공하며, 암묵적 문맥이나 정적 추론 트리에만 의존하는 방법들보다 우수하다고 주장합니다. 이 프레임워크가 서로 다른 모델 아키텍처 간에 구조화된 지식을 전이할 수 있는 능력은 이질적인 다중 에이전트 시스템에서의 잠재적 유용성을 더욱 부각시킵니다.