1. 문제 제기 (Problem)

최근 LLM 기반 에이전트들은 세계 모델링 (World Modeling), 계획 수립 (Planning), 성찰 (Reflection) 을 단일 언어 모델 루프 내부에 모두 통합하는 경향이 있습니다. 이는 강력한 행동을 생성할 수 있지만, 에이전트의 능력 중 어느 부분이 LLM 자체에서 기인하고, 어느 부분이 이를 둘러싼 명시적 구조 (Explicit Structure) 에서 기인하는지를 과학적으로 분리하여 분석하기 어렵게 만듭니다.

• 핵심 질문: 에이전트의 성찰과 수정 능력이 LLM 에 의존해야 하는지, 아니면 명시적인 규칙과 구조로 대체 가능한지, 그리고 LLM 의 개입이 실제로 어떤 한계와 효과를 가지는지 규명하는 것.

2. 방법론 (Methodology)

저자들은 일반적인 답변을 제시하기보다, 문제를 실증적으로 분해 (Empirical Decomposition) 가능한 형태로 만들었습니다.

• 선언적 성찰 런타임 프로토콜 (Declared Reflective Runtime Protocol) 도입:

  • 에이전트의 상태, 신뢰도 신호 (Confidence Signals), 보호된 행동 (Guarded Actions), 가상의 전이 (Hypothetical Transitions) 를 외부화하여 검사 가능한 런타임 구조로 만듭니다.
  • 성찰을 프롬프트 패턴이 아닌, 선언된 실행 규칙으로 구현합니다.
  • 핵심 루프: (1) 시뮬레이션 (sim.next()) 을 통한 후보 점수 매기기 $\rightarrow$ (2) 예측 결과 기록 $\rightarrow$ (3) 실행 및 관찰 $\rightarrow$ (4) 예측과 관찰의 불일치 (오차) 를 통해 신뢰도 갱신 $\rightarrow$ (5) 신뢰도가 임계치 이하로 떨어지면 정책 수정 (Revision) 적용.

• 실험 환경:

  • Collaborative Battleship: 8x8 보드, 14 개의 선박 셀, 40 발의 발사, 15 개의 질문, $\epsilon=0.1$ 노이즈 환경.
  • 에이전트 계층 (4 단계):
    1. greedy+MCMC: 베이지안 추론 (MCMC) 만 사용, 질문 없음, 수정 없음 (기초 베이스라인).
    2. WMA (World-Model Agent): 명시적 세계 모델 계획 수립 및 질문 전략 추가 (sim.next() 기반).
    3. MRA (Symbolic Reflective Agent): LLM 없이 기호적 (Symbolic) 으로 예측 - 비교 - 수정 루프 구현 (3 가지 사전 정의된 수정 규칙 사용).
    4. MRA-LLM: MRA 에 조건부 LLM 개입 추가 (신뢰도 게이트가 열릴 때만 로컬 9B LLM 에게 수정 위임).

• 평가 지표: 18 개의 보드 × 3 개의 시드 = 총 54 게임에서의 승률 (Win Rate) 및 F1 점수.

3. 주요 기여 (Key Contributions)

1. 선언적 런타임 프로토콜 제안: 예측, 조정, 신뢰도 추적, 보호된 수정을 명시적인 런타임 구조로 외부화하여 에이전트 내부 메커니즘을 검사 가능하게 함.
2. 에이전트 능력의 실증적 분해: 베이지안 추론, 명시적 세계 모델 계획, 기호적 성찰, 희소 LLM 수정의 4 가지 레이어를 분리하여 각 계층의 기여도를 측정 가능하게 함.
3. LLM 개입의 측정 가능한 역할 규명: 외부화된 성찰을 통해 LLM 의 한계와 효과를 정량적으로 분석할 수 있는 방법론을 제시.

4. 실험 결과 (Results)

RQ1: 명시적 세계 모델의 효과

• WMA vs greedy+MCMC: 명시적 세계 모델 계획 수립을 도입한 WMA 는 단순 베이스라인 대비 **승률이 24.1%p 증가 (50.0% $\rightarrow$ 74.1%)**하고 F1 점수도 소폭 상승 (+0.017) 함.
• 의미: 질문 전략을 명시적으로 계획하는 것이 "마지막 마일 (Last Mile)" 기능을 수행하여, 경합 상태의 게임을 승리로 이끄는 데 결정적임.

RQ2: 기호적 자기 수정의 존재

• MRA Revision-on vs off: 현재 설정된 3 가지 수정 규칙 (Presets) 은 전체적으로 평균 성능을 높이지 못함 (승률 57.4% $\rightarrow$ 55.6%, F1 0.552 $\rightarrow$ 0.551).
• 해석: 수정 규칙의 **보정 (Calibration)**이 필요함. 일부 보드 (예: B17) 에서는 수정이 승리를 결정짓지만, 다른 보드 (예: B01) 에서는 과도한 수정으로 패배를 초래함.
• 핵심: LLM 없이도 기호적 성찰이 런타임 메커니즘으로 존재하며, 실패 모드와 성공 사례를 구체적으로 진단할 수 있음.

RQ3: 희소 LLM 개입의 필요성

• MRA-LLM (Threshold 1.0): 약 4.3% 의 턴에서만 LLM 을 호출.
• 결과: 평균 F1 점수는 소폭 상승 (+0.005) 했으나, 승률은 감소 (57.4% $\rightarrow$ 53.7%).
• 원인: LLM 수정이 국소적 타격 정확도 (F1) 는 높일 수 있으나, 게임 전체 완성을 위해 최적화된 질문 예산 (Question Budget) 을 소모하여 전략적 타이밍을 해침.
• 비단조성 (Non-monotonicity): LLM 호출 빈도와 성능 간에는 단순한 비례 관계가 성립하지 않음.

5. 의의 및 결론 (Significance & Conclusion)

• 방법론적 기여: "에이전트가 얼마나 많은 LLM 을 필요로 하는가?"라는 질문에 대한 답을 단일 성능 지표가 아닌, 구조적 분해를 통해 제시합니다.
• 설계 원칙:
  1. 선언 가능한 것은 선언하라: 세계 구조와 계획은 명시적 런타임으로 구현.
  2. 기호적으로 성찰하라: 가능한 한 LLM 없이 기호적 규칙으로 수정 수행.
  3. LLM 은 잔여 문제에만 사용: 선언된 구조가 해결하지 못하는 부분에만 LLM 을 희소하게 개입시킴.
• 결론: 외부화된 성찰 구조는 에이전트의 행동을 검사 가능하게 만들고, LLM 의 역할을 "전체 에이전트"가 아닌 "측정 가능하고 한계가 있는 잔여 자원 (Bounded Residual Resource)"으로 재정의합니다. 명시적 계획 수립이 가장 큰 성능 향상을 가져왔으며, LLM 은 현재 설정에서 비단조적이고 제한적인 효과만 보임.

이 연구는 LLM 에이전트 개발에서 구조적 설계와 명시적 규칙의 중요성을 강조하며, LLM 의 무분별한 통합보다는 어디에, 언제, 얼마나 LLM 을 개입시켜야 하는지를 실증적으로 판단할 수 있는 도구를 제공합니다.