기술 요약: ASTER (도구 통합 확장 추론을 통한 에이전트적 스케일링)

1. 문제 정의

강화 학습(RL)은 대규모 언어 모델(LLM)의 장기적 추론 능력을 이끌어내는 데 있어 지배적인 패러다임이 되었습니다. 그러나 도구 통합 추론(Tool-Integrated Reasoning, TIR)을 RL로 스케일링하는 과정에서 **상호작용 붕괴(interaction collapse)**라는 치명적인 실패 모드가 발생합니다. 이 병리적 상태에서 모델은 다회차 도구 사용을 지속하지 못하고, 광범위한 내부 추론 후 사후적으로 단순한 코드 검증만을 수행하는 방식으로 퇴보하며, 중간 계산 및 검증을 위해 외부 도구를 활용하는 능력을 상실합니다.

기존의 TIR 초기화 방식들은 다음과 같은 구체적인 한계를 가집니다:

• ZeroTIR (무에서 시작하는 RL): 비정상적 피드백과 분포 드리프트(distributional drift)로 인해 학습이 불안정하며, 베이스 모델의 표현력 한계를 넘어서는 새로운 능력을 주입하는 데 종종 실패합니다.
• 지도 미세 조정(SFT) 콜드 스타트: 기존 방식들은 상호작용 붕괴를 유발하는 강한 귀납적 편향을 도입하는 경우가 많습니다.
  • 텍스트 전용 CoT를 코드로 재작성 (예: ReTool): 텍스트 중심의 구조를 그대로 유지하여 진정한 도구 기반 계획 능력을 제한합니다.
  • 교사 생성 궤적 (예: DemyAgent): 복잡한 과업에 필요한 의도적인 "System-2" 행동과는 상충되는, 짧고 반응적인 추론을 특징으로 합니다.

2. 방법론: ASTER 프레임워크

저자들은 콜드 스타트 단계에서 **상호작용 밀도(interaction density)**를 우선시함으로써 상호작용 붕괴를 우회하도록 설계된 2단계 프레임워크인 **ASTER (Agentic Scaling with Tool-integrated Extended Reasoning)**를 소개합니다.

핵심 가설

본 논문은 콜드 스타트 SFT 중에 확립된 **행동 사전 확률(behavioral prior)**이 다운스트림 RL 결과를 결정한다고 주장합니다. 구체적으로, 상호작용 밀도(궤적당 도구 호출 횟수)가 핵심 속성입니다. 높은 밀도의 장기 궤적은 높은 엔트로피의 행동 사전 확률을 유도하여 RL 과정 중 탐색 능력을 보존하고, 조기 수렴으로 인한 얕은 정책 형성을 방지합니다.

기술 파이프라인

1. 데이터 구축:

   • 소스: Skywork-OR1-RL-Data 및 AoPS 포럼의 93K 문제.
   • 합성: GPT-OSS-20B-high를 통해 생성된 도구 증강 솔루션.
   • 필터링: 도구 실행 성공률 100% 및 최종 정답이 정확한 궤적만을 유지.
   • 핵심 큐레이션: 저자들은 9회 이상의 도구 상호작용 턴을 가진 것들을 특별히 선택하여 소수의 전문가 콜드 스타트 데이터셋(4K 궤적)을 구축함.

2. 1단계: 타겟형 콜드 스타트 SFT:

   • 모델을 4K개의 상호작용 밀도가 높은 궤적에 대해 미세 조정합니다.
   • 전통적인 방식이 즉각적인 post-SFT 정확도를 최적화하는 것과 달리, 이 단계는 추론 중심의 초기화에 비해 초기 정확도가 낮더라도 지속적인 다회차 도구 사용을 위한 행동 사전 확률을 확립하는 것을 우선시합니다.

3. 2단계: 다단계 RL 학습:

   • 알고리즘: GRPO (Group Relative Policy Optimization).
   • 커리큘럼: 컨텍스트 길이를 점진적으로 늘리는 2단계 프로세스 (1단계 18K 토큰, 2단계 32K 토큰).
   • 상호작용 예산: 장기 계획을 장려하기 위해 학습 중 궤적당 최대 도구 호출 횟수를 50회로 제한함.
   • 필터링: 2단계로 전환하기 전, 일관되게 정답을 도출하는 프롬프트들을 필터링하여 도전적인 인스턴스에 학습을 집중시킴.

3. 주요 기여 및 발견

연구 질문 1: 콜드 스타트 SFT의 역할

본 연구는 콜드 스타트 SFT가 보편적으로 유익한 것이 아니라, 데모에 인코딩된 상호작용 패턴에 따라 그 효용이 완전히 달라짐을 입증합니다.

• 희소/단기 홉(Short-Horizon) 사전 확률: ReTool 및 DemyAgent와 같이 1~2회의 도구 호출이 지배적인 데이터셋은 얕은 검증 행동으로 편향된 사전 확률을 유도하며, 이는 종종 ZeroTIR(무에서 시작하는 RL)보다 성능이 떨어집니다.
• 밀집/장기 홉(Long-Horizon) 사전 확률: 상호작용 밀도가 높은 궤적을 사용하는 ASTER 방식은 지속적인 다회차 도구 사용을 가능하게 하는 견고한 사전 확률을 유도하여 우수한 다운스트림 성능을 보여줍니다.

연구 질문 2: 상호작용 밀도의 효과

콜드 스타트 데이터셋을 도구 호출 횟수에 따라 계층화한 결과, 성능의 명확한 순서가 나타났습니다.

• ≥9회 도구 호출 (4K 서브셋): 가장 높은 최종 정확도를 달나며 RL 전반에 걸쳐 가장 높은 학습 엔트로피를 유지하여, 더 넓은 탐색이 이루어지고 있음을 나타냅니다.
• ≤1회 도구 호출: 가장 낮은 성능과 빠른 엔트로피 붕괴를 초래합니다.
• 결론: 상호작용 밀도가 높은 콜드 스타트는 지속적인 도구 사용을 향한 RL 역학을 형성하는 데 필수적입니다.

연구 질문 3: RL 상호작용 예산의 효과

학습 시와 추론 시의 상호작용 예산 사이에는 중요한 **예산 정렬 효과(budget-alignment effect)**가 존재합니다.

• 관대한 상호작용 예산(50회 호출)으로 학습된 모델은 추론 예산이 클 때(예: 256회) 유의미하게 높은 피크 성능을 달성합니다.
• 반대로, 제한된 예산으로 학습된 모델은 엄격한 추론 제약 조건 하에서 더 나은 성능을 보입니다.
• 시사점: 예산 불일치는 성능을 저하시키며, 최적의 스케일링을 위해서는 정렬이 필요합니다.

4. 실험 결과

저자들은 경쟁적인 수학 벤치마크(AIME 2024/2025, HMMT 2025, BeyondAIME)에서 ASTER-4B(Qwen3-4B 기반)를 최신 베이스라인들과 비교 평가했습니다.

• 성능: ASTER-4B는 AIME 2025(90K 추론 예산 적용 시)에서 90.0%, (30K 예산 적용 시) **85.0%**를 달성했습니다.
• 비교: 이는 DeepSeek-V3.2-Exp(671B 파라미터) 및 Qwen3-235B-A22B-Thinking을 포함한 훨씬 더 큰 규모의 모델들을 크게 압도합니다.
• 스케일링: 이 모델은 강력한 테스트 타임 스케일링(test-time scaling)을 보여주며, 추론 예산이 30K에서 90K로 증가함에 따라 성능이 85.0%에서 90.0%로 향상됩니다.
• 효율성: ASTER-4B는 훨씬 작은 파라미터 수로 학습되었음에도 불구하고 최고의 에이전트 베이스라인인 rStar2-Agent-14B를 상당한 차이(예: AIME 2025에서 +20.2%)로 앞섭니다.

5. 의의 및 주장

본 논문은 ASTER가 콜드 스타트 전략을 재정의함으로써 도구 통합 추론에서의 상호작용 붕괴를 성공적으로 완화했다고 주장합니다. 주요 의의는 콜드 스타트 SFT가 단기적인 정확도 지표보다 행동적 다양성과 탐색(상호작용 밀도를 통해)을 우선시해야 한다는 발견에 있습니다.

소수의 전문가급 상호작용 밀도가 높은 궤적을 통해 높은 엔트로피의 사전 확률을 확립함으로써, ASTER는 컴팩트한 모델(4B)이 복잡한 장기 추론 과업에서 거대 모델(200B+)의 성능을 대등하게 달성하거나 능가할 수 있음을 보여줍니다. 이는 에이전트적 스케일링이 단순히 파라미터 크기에 의존하는 것이 아니라, 더 나은 초기화와 상호작용 설계를 통해 달성될 수 있음을 시사합니다.

저자들은 이러한 능력이 복잡한 추론 워크플로우(예: 수학 문제 해결)의 효율성을 높이지만, 자동화된 도구 사용에 따른 안전 고려 사항을 수반하므로 배포 시 샌드박스 실행 및 인간의 감독을 권고한다고 강조합니다.