기술 요약: AgentCPM-Report

문제 정의

개방형 심층 연구(Open-ended deep research)를 수행하는 에이전트는 방대한 정보의 지형을 탐색하고 조사 결과들을 일관성 있고 통찰력 있는 보고서로 합성해야 합니다. 현재의 언어 모델들은 다음과 같은 기존 패러다임의 한계로 인해 이 영역에서 상당한 어려움을 겪고 있습니다:

1. 검색 후 작성 (Retrieval-then-Write): 초기 접근 방식은 검색된 증거를 바탕으로 콘텐츠를 순차적으로 생성합니다. 유연하긴 하지만, 긴 호흡의 작업에서는 일관성이 결여되는 경우가 많습니다.
2. 계획 후 작성 (Plan-then-Write): 최근의 프레임워크(예: WebWeaver)는 구조적 일관성을 보장하기 위해 글을 쓰기 전 포괄적인 개요를 확정합니다. 그러나 이 패러다임은 초기 정보가 완전하다는 것을 가정하는데, 이는 개방형 연구 과정에서 흔히 위배됩니다. 또한 계획과 작성을 엄격히 분리함으로써, 초안 작성 과정에서만 나타날 수 있는 새로운 통찰력을 포착하는 것을 방해합니다. 이는 보고서가 구조적으로는 탄탄하지만 지적으로는 얕은 수준에 머물게 되는 "통찰력의 천장(insight ceiling)"을 만듭니다.
3. 대규모 모델에 대한 의존성: 고품질의 초기 개요를 구축하려면 강력한 추론 능력과 도메인 지식이 필요하며, 이로 인해 대부분의 시스템은 폐쇄형 소스 또는 온라인 대규모 모델에 의존하게 됩니다. 이러한 의존성은 특히 사용자가 작성한 로컬 데이터를 다룰 때 보안 및 개인정보 보호 측면에서 실질적인 배치 장벽을 초래합니다.

따라서 외부 대규모 모델에 의존하지 않으면서도 정적 계획의 통찰력 천장을 극려할 수 있는, 완전히 로컬에서 구동되는 온디바이스 솔루션이 절실히 필요합니다.

방법론: AgentCPM-Report

저자들은 **WARP (Writing As Reasoning Policy)**라고 불리는 새로운 프레임워크를 기반으로 구축된 경량(8B 파라미터) 심층 연구 에이전트인 AgentCPM-Report를 제안합니다.

1. WARP 프레임워크

WARP는 심층 연구를 계획 결정이 작성 과정에서 동적으로 발생하는 반복적인 정책 수준의 정교화 프로세스로 재정의합니다. 정적인 청사진 대신, 에이전트는 두 가지 매크로 상태를 교대로 수행합니다:

• 증거 기반 초안 작성 (Evidence-Based Drafting): 에이전트는 구조적 계획을 입증된 콘텐츠로 변환합니다. 문맥적 일관성을 보장하기 위해 누적되는 서사에 따라 검색 쿼리를 조건화하는 '검색 후 작성' 전략을 사용합니다. 콘텐츠는 충실도를 보장하기 위해 검색된 증거에 근거합니다.
• 추론 중심 심화 (Reasoning-Driven Deepening): 에이전트는 새로 생성된 초안을 추론을 위한 새로운 관측치로 취급합니다. 에이전트는 현재 초안의 의미적 밀도와 논리적 일관성을 평가하여 공백이나 피상적인 논거를 감지합니다. 만약 깊이가 부족하다면, 에이전트는 자율적으로 상위 섹션을 세분화된 질의로 분해하고, 동적 개요를 업데이트하며, 타겟팅된 초안 작성 사이클을 트리거합니다.

이 루프를 통해 에이전트는 구체적인 논거를 명료화하는 과정에서만 드러나는 논리적 공백을 발견하고 메울 수 있으며, 이는 인간의 "지식 변환" 과정을 모사합니다.

2. 다단계 에이전트 훈련 (Multi-Stage Agentic Training)

이러한 장기 의사결정을 수행하는 소형 모델(8B)을 훈련하는 것은 모호한 종료 시점과 희소한 보상 문제로 인해 매우 까다롭습니다. 저자들은 3단계 커리큘럼을 도입했습니다:

• 콜드 스타트 (SFT): 궤적(trajectory) 데이터를 사용하여 기본적인 지시 이행 및 형식 준수 능력을 확립합니다.
• 원자적 기술 강화학습 (Atomic Skill RL): 글로벌 목표를 원자적 능력(계획, 검색, 작성, 의사결정)으로 분해합니다. 에이전트는 로컬 실행을 숙달하기 위해 각 기술에 특화된 보상 함수(예: 검색을 위한 관련성 재현율, 작성을 위한 충실도)를 가지고 훈련됩니다.
• 전체 파이프라인 강화학습 (Holistic Pipeline RL): 최종 보고서의 품질(포괄성, 통찰력)에 대한 엔드 투 엔드 최적화로 전환합니다. 이 단계에서는 교사 모델이 재귀적으로 "과잉 확장"하도록 강제하는 궤적 가지치기(trajectory pruning) 전략을 사용합니다. 시스템은 보고서 점수를 기반으로 최적의 중단 시점을 사후에 식별하고, 궤적을 가지치기하여 정보 포화 상태에 대한 감독 신호를 제공합니다. 이를 통해 에이전트는 임의적인 모방이 아닌 품질에 기반하여 종료하는 법을 배웁니다.

주요 기여

1. WARP 프레임워크: 초안 작성과 심화를 교차시켜 동적인 개요 진화를 가능하게 하고 정적 계획의 통서력 천장을 깨뜨리는 정책 수준의 재구성 모델입니다.
2. 다단계 에이전트 훈련: 소형 모델에서의 장기적 신용 할당(credit assignment) 및 희소 보상 문제를 해결하기 위해 설계된 콜드 스타트, 원자적 기술 RL, 전체 파이프라인 RL을 결합한 커리큘럼 전략입니다.
3. 궤적 가지치기: 교사 궤적을 필터링하여 가장 높은 품질의 중간 초안을 식별함으로써 "최적 중단 문제"를 해결하고, 종료 결정에 대한 더 깨끗한 감독 신호를 제공하는 데이터 준비 기술입니다.
4. 로컬, 개인정보 보호 솔루션: 폐쇄형 API의 필요성을 제거하여 보안 및 개인정보 보호 문제를 해결하는 8B 파라미터 모델(MiniCPM4.1-8B) 기반의 완전한 로컬 시스템입니다.

실험 결과

시스템은 세 가지 벤치마크인 DeepResearch Bench(과학적 과업), DeepConsult(비즈니스/금융 쿼리), DeepResearch Gym(일반 정보 탐색)에서 평가되었습니다.

• 폐쇄형 시스템과의 성능 비교: AgentCPM-Report (Pipeline RL)는 DeepResearch Bench에서 Gemini-2.5-Pro-deepresearch를 포함한 선도적인 폐쇄형 시스템보다 우수한 성능을 보였습니다. 구체적으로, Insight 점수 52.64(Gemini의 49.45 대비)와 Comprehensiveness 점수 50.54(Gemini의 49.51 대비)를 달성했습니다. DeepResearch Gym에서는 평균 점수 98.48로 최고 수준(SOTA)의 결과를 기록했습니다.
• 훈련 단계의 영향: 성능은 SFT에서 Atomic RL을 거쳐 Pipeline RL로 갈수록 꾸준히 향상되었습니다. 예를 들어, DeepResearch Bench에서 Comprehensiveness 지표는 46.24(SFT)에서 50.54(Pipeline RL)로, Insight는 48.10에서 52.64로 상승했습니다.
• 절제 연구 (Ablation Studies):
  • WARP의 효과: 훈련 없이도 더 큰 모델(Qwen3-235B)에 WARP 패러다임을 적용했을 때 Plan-then-Write 패러다임보다 우수한 성능을 보여, 초안 인지적 심화(draft-aware deepening)가 통찰력의 핵심 동력임을 확인했습니다.
  • 심화의 깊이: 실험 결과, 보고서 품질(Insight 및 Comprehensiveness)은 심화 단계가 늘어남에 따라 증가하다가 약 9단계에서 정체되었습니다. 훈련된 Pipeline RL 에이전트는 이 최적의 깊이 근처에서 멈추는 법을 배웠으나, SFT 에이전트는 조기에 종료되었습니다.
  • 궤적 가지치기: 가지치기된 궤적으로 훈련된 모델이 가공되지 않은 교사 궤적으로 훈련된 모델보다 유의미하게 높은 성능을 보였으며, 이는 최적의 종료를 가르치는 데 있어 가지치기 전략의 효용성을 입증합니다.

의의 및 주장

본 논문은 AgentCPM-Report가 안전하고 개인정보를 보호하며 완전히 로컬에서 작동하는 심층 연구 보고서 생성의 강력한 토대를 마련했다고 주장합니다.

저자들은 심층 연구 과업에서 주요 병목 현상은 모델의 크기가 아니라, 효과적인 인지 및 계획 프로세스의 설계에 있다고 주장합니다. WARP 추론 패러다임과 다단계 에이전트 훈련을 통합함으로써, 소형 규모의 오픈 소스 모델도 기존의 독점적 대규모 시스템과 연관되었던 심층 연구 역량을 달성할 수 있음을 보여줍니다. 이 연구는 특화된 정책 설계가 심층 연구 역량을 진전시키기 위한 모델 스케일링의 유효한 대안이 될 수 있음을 입증합니다.

논문은 현재 시스템이 텍스트 지식 베이스에 의ло하고 있어(멀티모달 또는 개인화된 데이터 부족), 구조적 추론이 필요한 표/그림 생성에는 여전히 한계가 있음을 인정합니다. 향후 연구로는 프레젠테이션과 콘텐츠 생성을 분리하고, 지식 소스를 멀티모달 및 로컬 개인화 데이터로 확장하는 것이 제안되었습니다.