기술 요약: 자기 조절 시뮬레이션 계획을 통한 효율적 에이전트 추론

문제 제기

현재의 에이전트형 대규모 언어 모델 (LLM) 은 대부분 적응적 계산을 수행하는 반응형 정책으로 작동하며, 종단간 훈련을 통해 계획 능력이 암묵적으로 발현되도록 기대하는 제약 없는 사고연쇄 (CoT) 추론에 의존합니다. 저자들은 이 접근법이 계획의 존재, 구조, 또는 시간 범위에 대한 근본적인 통제 부재로 고통받고 있다고 주장합니다. 그 결과, 이러한 시스템들은 종종 훈련 과정에서 정확도의 신뢰할 수 있는 향상 없이 추론 길이 (토큰 소비) 가 극적으로 증가하는 현상을 보입니다. 더 나아가, 명시적인 계획 구조의 부재는 계획 과정의 분석, 조절, 또는 독립적인 개선을 불가능하게 합니다. 노력 적응형 접근법이나 모드 라우팅과 같은 기존 대안들은 문제의 일부 측면 (예: 추론 양 조절 또는 작업 시작 시 실행 모드 선택) 만 해결할 뿐, 명시적인 시뮬레이션 계획과 자율적인 턴별 자기 조절을 결합하는 데에는 실패합니다.

방법론: SR2AM

이러한 비효율성을 해결하기 위해 본 논문은 에이전트의 숙고를 세 가지 상호작용 시스템으로 분해하는 SR2AM(Self-Regulated Simulative Reasoning Agentic LLM, 자기 조절 시뮬레이션 추론 에이전트 LLM) 을 제안합니다.

1. 반응형 실행 (System I): 세밀한 추론과 직접적인 행동 실행을 처리합니다.
2. 시뮬레이션 추론 (System II): 세계 모델을 사용하여 미래 상태 예측에 기반한 숙고를 수행하는 "시뮬레이션 계획자"입니다. 제약 없는 CoT 와 달리, 이 시스템은 후보 행동을 제안하고 그 결과 (신념 상태) 를 예측하며, 기대되는 장기적 진전을 극대화하는 시퀀스를 선택합니다. SR2AM 에서 LLM 자체는 언어 공간 내의 세계 모델 역할을 합니다.
3. 자기 조절 (System III): 각 턴에서 언제 그리고 얼마나 깊이 계획할지 자율적으로 결정하는 학습된 "구성자 (Configurator)"입니다. 이는 현재 신념 상태를 평가하고 새로운 계획을 수립할지, 기존 계획을 계속할지, 아니면 계획 없이 직접 행동할지 결정합니다.

구체화 및 훈련

저자들은 이 프레임워크의 두 가지 구체화를 탐구하였으며, 둘 모두 지도 미세 조정 (SFT) 을 거친 후 강화 학습 (RL) 으로 훈련되었습니다.

• SR2AM-v0.1 (8B): o4-mini 를 교사 모델로 사용하는 다중 모듈 프롬프트 시스템으로부터 결정을 기록함으로써 실현 가능성을 입증합니다. 구성자와 계획자는 신념 형성과 반성을 위한 추가 모듈을 갖춘 별도의 프롬프트 LLM 으로 구현됩니다.
• SR2AM-v1.0 (30B): 사전 훈련된 추론 LLM(DeepSeek-V3.2) 의 흔적에서 구조화된 계획을 재구성하는 확장 가능한 접근법입니다. 주석 달기 LLM 은 기존 CoT 흔적에서 구성자 결정과 시뮬레이션 계획 내용 (상태 - 행동 - 미래 상태 시퀀스) 을 추론하여, 원래의 자유 형식 추론을 유지하면서 구조화된 계획을 추가합니다.

모델들은 웹 검색, 웹 브라우징, Python 샌드박스 등의 도구를 활용하여 수학, 과학, 표 데이터 분석, 웹 정보 탐색과 관련된 상호작용 추론 작업에서 훈련되었습니다. RL 목적 함수 (그룹 상대 정책 최적화 기반) 는 정답의 정확성을 우선시하면서도 구조적 준수를 위한 그래디언트 신호를 제공합니다.

주요 기여

1. 아키텍처 분해: 본 논문은 자기 조절, 시뮬레이션 계획, 반응형 실행을 분리하는 3 시스템 분해 (System I+II+III) 를 공식화합니다. 이는 도메인별 엔지니어링 없이 계획 시간 범위와 구조에 대한 명시적 제어를 가능하게 합니다.
2. 효율적 에이전트 추론: 계획할지 결정하는 행위와 계획하는 행위를 분리함으로써 SR2AM 은 통제되지 않은 숙고 (과도한 사고) 의 비효율성과 항상 켜져 있는 계획의 경직성을 피합니다.
3. 자기 조절의 실증적 검증: 학습된 구성자가 계획 깊이를 효과적으로 조절하여 정확도를 희생하지 않으면서도 토큰을 크게 절약할 수 있음을 보여줍니다.
4. RL 역학: RL 이 시스템 간 상호작용을 어떻게 정제하는지 분석하여, 개선이 계획 빈도가 아닌 계획 품질(시간 범위) 증가에서 비롯됨을 보여줍니다.

결과

저자들은 SR2AM 을 수학, 과학, 표, 웹 분야의 11 개 벤치마크에서 평가하였으며, 참조 시스템, 통제되지 않은 숙고 모델, 부분적으로 조절된 베이스라인과 비교했습니다.

• 성능 vs 규모:
  • SR2AM-v0.1-8B는 전체 Pass@1 57.0을 기록하여 다른 78B 모델을 능가하고, 3032B 규모의 통제되지 않은 에이전트 LLM 과 경쟁하며, 도구를 갖춘 120~355B 규모의 사전 훈련 LLM 과 견줄만했습니다.
  • SR2AM-v1.0-30B는 전체 Pass@1 71.3을 기록하여 동일한 도구 환경에서 DeepSeek-V3.2(685B) 와 Kimi-K2.5(1.0T) 와 경쟁하며, 텍스트 전용 추론 모델로서 GPT-5.4-xhigh 를 능가했습니다.
• 추론 효율성:
  • SR2AM-v1.0-30B 는 유사 규모 (3032B) 의 경쟁 에이전트 LLM 보다 **25.895.3% 적은 추론 토큰**을 소비했습니다.
  • MiroThinker-v1.5-30B 와 비교할 때, SR2AM-v1.0-30B 는 유사한 정확도를 달성하면서 51.2% 적은 토큰(5,518 대 11,295) 을 사용했습니다.
• RL 영향: 분석 결과, RL 은 계획 빈도가 2.0% 증가하는 동안 평균 계획 시간 범위를 22.8% 증가시킨 것으로 나타났습니다. 이는 모델이 더 자주 계획하는 것이 아니라 필요할 때 더 멀리 계획하는 법을 학습했음을 시사합니다.
• 절대 실험: 세 시스템 중 하나 (자유 형식 추론, 시뮬레이션 계획, 또는 선택적 계획) 를 제거하면 성능이나 효율성이 저하되어 상호 보완적 역할을 확인했습니다. 특히 선택적 계획 (System III) 을 제거할 때 토큰 소비가 가장 크게 증가했습니다.

의의 및 주장

본 논문은 효율적인 에이전트 추론이 반응형 실행과 병행하여 학습된 자기 조절에 의해 지배되는 시뮬레이션 계획으로 숙고를 분해함으로써 혜택을 받는다고 주장합니다. 저자들은 현재 모델들이 점점 더 긴 추론 흔적이 필요한 것은 내부 계획에 대한 자율성이 결여된 차별화되지 않은 반응형 정책으로 에이전트를 구축한 결과라고 주장합니다.

이 연구의 의의는 다음과 같습니다:

1. 범용 계획: 시뮬레이션 계획 프레임워크는 도메인별 절차 없이 다양한 작업 카테고리에서 강력한 성능을 달성하여, 시뮬레이션 추론을 일반적인 메커니즘으로 보는 관점을 지지합니다.
2. 자율적 조절: 구성자는 추론 과정의 자율적 조절 원칙을 구체화합니다. 저자들은 이 원칙이 추론 시간 계획뿐만 아니라 에이전트가 자신의 학습과 적응을 어떻게 지배하는지까지 확장될 수 있다고 가정합니다.
3. 확장성: v1.0 구체화는 기존 추론 흔적에서 구조화된 계획과 자기 조절을 재구성할 수 있음을 보여주어, 효율적인 에이전트 모델 훈련을 위한 확장 가능한 경로를 제공합니다.

저자들은 한계에 대해 겸손하게 언급하며, 현재 세계 모델이 언어 공간으로 제한되어 있고, 구성자가 계획하지 않을 때 (중단 기준) 를 보정하는 것이 특정 작업에서 과도한 검증을 일으키는 등 개선이 필요한 영역임을 지적합니다. 향후 연구는 구체화된 환경, 다중 모달 세계 모델, 그리고 여러 상호작용 과정으로의 자기 조절 확장을 탐구해야 한다고 제안합니다.