기술 요약: 하나보다 둘이 낫다: 다중 에이전트 협업 추론의 테스트 시점 스케일링 (Test-time Scaling)

문제 정의

테스트 시점 스케일링(Test-Time Scaling, TTS)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 강력한 방법으로 부상했지만, 단일 에이전트 방식은 심각한 확장성 병목 현상에 직면해 있습니다. 추론 흔적(reasoning traces)이 지나치게 길어짐에 따라, 단일 에이전트는 컨텍스트 관리 실패, 발산, 환각 현상과 관련하여 추론 비용 증가 및 안정성 문제를 겪습니다. 본 논문은 단일 에이전트를 위해 추론 흔적을 연장하는 것이 복잡한 추론 작업을 스케일링하기 위한 지속 가능한 경로가 아니라고 주장합니다.

방법론

저자들은 단일한(monolithic) 추론 체인을 별도의 관리 가능한 컨텍스트로 분해하기 위해 다중 에이전트 시스템(Multi-Agent Systems, MAS)을 활용함으로써 표준 TTS에 대한 구조적 업그레이드를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어져 있습니다.

1. M500 데이터셋의 자동 생성

협업 추론을 위한 지도 미세 조정(Supervised Fine-Tuning, SFT)을 가능하게 하기 위해, 저자들은 고품질의 다중 에이전트, 다중 턴 협업 추론 흔적 데이터셋인 M500을 구축했습니다.

• 질문 선택: 난이도, 다양성, 학제 간 특성을 기준으로 다양한 도메인(물리학, 기하학, 정수론, 생물학, 천문학)에서 질문을 샘플링했습니다. 질문이 학제 간 지식을 요구하고 1024 토큰을 초과하는 추론 흔적을 생성할 수 있도록 임계값을 적용했습니다.
• 생성 파이프라인: AgentVerse 프레임워크와 DeepSeek-R1 모델을 사용하여, 다음의 네 가지 뚜렷한 역할을 포함하는 추론 흔적을 생성했습니다:
  • 전문가 리크루터(Expert Recruiter): 문제 유형에 따라 적절한 전문가(예: 기하학 전문가, 대수학 전문가)를 식별하고 할당합니다.
  • 문제 해결사(Problem Solvers): 다중 턴 토론에 참여하여 솔루션을 제안하고 반복적으로 개선합니다.
  • 실행자(Executor): 필요한 코드를 실행하거나 외부 도구를 호출합니다.
  • 평가자(Evaluator): 솔루션과 결과를 검토하고, 개선을 위한 피드백을 제공합니다.
• 필터링 기준: 에이전트 간의 합의가 이루어졌는지, 형식 준수 여부( <thought> 태그 및 boxed{} 사용), 그리고 정답(ground-truth)에 대한 정확성을 확인하기 위해 흔적들을 필터링했습니다.

2. 지도 미세 조정 (SFT)

저자들은 M500 데이터셋을 사용하여 오픈 소스 지시어 튜닝된 LLM(구체적으로 Qwen2.5-32B 및 Phi4-14B)에 SFT를 적용했습니다.

• 목표: 다중 턴 상호작용 시퀀스에 대한 교차 엔트로피 손실(cross-entropy loss)을 최소화하여, 모델이 협업 추론 패턴을 내재화할 수 있도록 하는 것입니다.
• 훈련 전략: 훈련 중에 단일 질문의 추론 흔적에 해당하는 모든 입출력 쌍은 동일한 배치 내에 그룹화되었으며, 시간적 일관성을 보장하기 위해 원래의 생성 순서에 따라 정렬되었습니다.

3. "CEO" 에이전트를 통한 적응형 스케일링

MAS에 내재된 계산 비용과 조정 문제를 해결하기 위해, 저자들은 전담 "CEO" 에이전트를 특징으로 하는 적응형 스케일링 전략을 도입했습니다.

• 기능: SFT가 완료된 모델을 기반으로 하는 CEO 에이전트는 추론 과정을 동적으로 관리합니다. 현재의 솔루션 상태, 피드백 및 리소스 가용성을 평가하여 다음을 결정합니다:
  • 프로세스의 계속 진행 또는 종료 여부 결정.
  • 모집할 전문가의 수 결정.
  • 토론의 초점 방향 지정.
  • 작업 복잡도에 따라 각 에이전트의 토큰 예산(추론 깊이) 조정.
• 대조: 고정된 반복 제한 및 에이전트 수를 가진 정적 MAS 구성과 달리, 이 접근 방식은 시스템이 적응적으로 추론을 확장할 수 있게 합니다.

주요 기여

1. M500 데이터셋: 긴 형태의 사고 사슬(Chain-of-Thought, CoT) 추론을 지원하도록 설계된, 자동화된 파이프라인을 통해 생성된 포괄적인 다중 에이전트, 다중 턴 협업 추론 데이터셋 개발.
2. MAS-TTS 구현: 다중 에이전트 추론 데이터셋에 대한 SFT를 통해 MAS 내 LLM의 협업 추론 능력이 효과적으로 향상될 수 있음을 입증하며, 견고한 TTS 구현 사례를 제시함.
3. 적응형 스케일링 전략: 협업을 동적으로 가이드하고 추론 깊이를 조절하여, 수동 개입 없이 리소스 할당을 최적화하는 "CEO" 에이전트 메커니즘 제안.
4. 실증적 검증: 미세 조정된 모델(Qwen2.5-32B-MAS 및 Phi4-14B-MAS)이 MAS 프레임워크 내에서 기본 모델 및 단일 에이전트 SFT 베이스라인보다 성능이 유의미하게 우수함을 보여줌.

실험 결과

저자들은 일반 이해, 수학적 추론 및 코딩 작업에 대해 AgentVerse 프레임워크 내에서 모델을 평가했습니다.

• 성능 향상: Qwen2.5-32B-MAS w. CEO 모델은 기본 Qwen2.5-32B-Instruct 대비 상당한 개선을 보였습니다:
  • GPQA-Diamond: +12% 향상.
  • AIME2024: +41% 향상.
  • MATH-500: +11% 향상.
  • MBPP-Sanitized: +10% 향상.
• SOTA와의 비교: 제안된 방법은 더 작은 오픈 소스 베이스 모델을 사용했음에도 불구하고, 특정 벤치마크(MATH-500 및 MBPP-Sanitized)에서 DeepSeek-R1 및 o3-mini와 같은 최첨단(SOTA) 모델과 대등한 성능을 달성했습니다.
• 창발적 행동: 연구에서는 CEO 에이전트가 협업 흔적을 통해 훈련받은 결과, 명시적인 요구가 없더라도 문제 해결사의 추론에서 오류(예: 기하학 문제에서의 음수 길이 계산 탐지)를 선제적으로 식별하고 수정하는 "아하 모먼트(Aha moments)"를 관찰했습니다.
• 스케일링 속성: 실험 결과, 비판적 반복(critic iterations)과 에이전트 수를 늘리면 성능이 일정 수준까지 향상되지만, 에이전트가 너무 많아지면 토론이 발산할 수 있음을 나타냈습니다. CEO 에이전트는 토큰 할당을 효과적으로 관리했으며, 최적의 제한치는 작업에 따라 달랐습니다 (예: AIME2024는 16384 토큰, GPQA는 8192 토큰).

의의 및 주장

본 논문은 다중 에이전트 시스템이 컨텍스트 관리 실패를 완화하고 긴 추론 체인에서의 환각 위험을 줄임으로써, 단일 에이전트 방식보다 더 견고한 테스트 시점 스케일링 프레임워크를 제공한다고 주장합니다. 고품품 다중 에이전트 데이터를 통한 SFT를 통해 협업 추론 패턴을 내재화함으로써, 오픈 소스 모델은 훨씬 더 큰 규모의 모델이나 독점 모델과 대등한 성능 수준에 도달할 수 있습니다. CEO 에이전트의 도입은 이 과정을 더욱 최적화하여, 계산 비용과 추론 깊이 사이의 균형을 맞추는 적응형 스케일링을 가능하게 합니다. 저자들은 MAS 기반의 TTS가 복잡한 추론 작업에서 작은 모델이 최첨단 베이스라인과 대등해질 수 있게 하는 실질적인 경로를 구축한다고 결론짓습니다.

한계점

저자들은 M500 데이터셋이 고품질임에도 불구하고 상대적으로 규모가 작으며(500개의 흔적), 전체 도메인이나 상호작용 토폴로지를 모두 포괄하지 못할 수 있음을 인정합니다. 또한, CEO 에이전트의 중앙 집중적 성격은 리스크를 수반합니다. 만약 CEO가 프로세스 초기 단계에서 환각을 일으키거나 잘못된 지시를 내린다면, 전체 그룹을 잘못된 솔루션 경로로 유도하여 시스템의 자기 수정 능력을 제한할 가능성이 있습니다.