기술 요약: IterResearch

문제 정의

최근 딥 리서치(deep-research) 에이전트의 발전은 외부 소스에 대한 동적 추론을 통해 자율적인 지식 구축의 가능성을 보여주었습니다. 그러나 기존의 접근 방식은 대부분 **모노 컨텍스트 패러다임(mono-contextual paradigm)**에 의존하며, 여기서 모든 검색된 정보와 중간 추론 단계는 단일하고 지속적으로 확장되는 컨텍스트 윈도우에 추가됩니다. 저자들은 장기 호라이즌(long-horizon) 작업에서 이 패러다임이 갖는 두 가지 결정적인 실패 모드를 식별했습니다:

1. 컨텍스트 질식(Context Suffocation): 컨텍스트 윈도우가 이전 상호작용으로 채워짐에 따라 활성 추론을 위한 가용 공간이 줄어들며, 이는 조기 결론이나 피상적인 결론으로 퇴보하는 제약된 응답을 강요합니다.
2. 노이즈 오염(Noise Contamination): 웹 검색 및 초기 탐색 오류에서 발생한 무관한 정보가 컨텍스트에 영구적으로 삽입되어, 추론 과정 전반에 걸쳐 신호 품질을 희석시키는 연쇄적인 간섭을 일으킵니다.

이러한 한계는 기존 에이전트가 탐색 깊이가 깊어짐에 따라 지속적인 추론 능력을 유지하는 것을 방해합니다.

방법론

본 논문은 **상호작용 스케일링(Interaction Scaling)**의 관점에서 장기 리서치를 재구상한 새로운 반복적 딥 리서치 패러다임인 IterResearch를 소개합니다. 이 방법론은 두 가지 핵심 구성 요소로 구축되었습니다:

1. 반복적 딥 리서치 패러다임 (MDP 기반 아키텍처)

선형적인 컨텍스트 축적 대신, IterResearch는 $\langle S, D, E, T, R \rangle$ 튜플로 정의되는 마르코프 결정 과정(MDP) 형식을 채택합니다.

• 상태 공간 ($S$): 각 상태 $s_t$는 필수적인 요소만을 포함하도록 전략적으로 재구성된 워크스페이스입니다. 여기에는 고정된 질문 $q$, 진화하는 보고서(evolving report) $M_t$(검증된 발견 사항의 압축된 메모리 역할), 그리고 이전 단계의 즉각적인 컨텍스트가 포함됩니다.
• 결정 공간 ($D$): 정책 $\pi$는 내부 사고($Think_t$), 업데이트된 보고서($M_{t+1}$), 그리고 외부 행동($a_t$)으로 구성된 복합 결정 $d_t$를 생성합니다.
• 전이 함수 ($T$): 결정적으로, 전이 함수는 이력을 단순히 추가하는 것이 아니라 워크스페이스를 **재구성(reconstruct)**합니다. 역사적 궤적은 의도적으로 폐기되며, 오직 합성된 지식만이 업데이트된 보고서에 보존됩니다. 이는 상호작용 횟수에 관계없이 워크스페이스 크기를 일정하게($O(1)$) 유지하여, 이론적으로 무제한의 탐색을 가능하게 합니다.

2. 효율성 인지 정책 최적화 (EAPO)

이 반복적 패러다임을 효과적으로 훈련하기 위해, 저자들은 EAPO를 제안하며 이는 두 가지 과제를 해결합니다:

• 기하학적 보상 할인(Geometric Reward Discounting): 모든 성공적인 궤적이 동일하게 가치 있는 것은 아니라는 점을 인식하여, 저자들은 표준 기하학적 할인($r_t = \gamma^{T-t} \cdot R_T$)을 변형 적용했습니다. 이는 명시적인 효율성 압박을 생성하여, 에이전트가 방대한 검색보다는 간결하고 집중적인 탐색을 통해 올바른 결론에 도달하도록 유도합니다.
• 적응형 다운샘플링(Adaptive Downsampling): 반복적 패러다임은 궤적을 여러 독립적인 훈련 샘플(라운드당 하나)로 분해하기 때문에 샘플 수가 질문마다 다릅니다. 저자들은 데이터 병렬 크기에 맞춰 훈련 배치를 정렬하기 위해 적응형 다운샘플링을 사용하여, 99% 이상의 데이터를 보존하면서도 안정적인 분산 훈련을 보장합니다.

주요 기여

1. 새로운 패러다임: 진화하는 보고서 메모리를 유지하고 전략적인 워크스페이스 재구성을 수행함으로써 컨텍스트 질식과 노이즈 오염을 제거하는 IterResearch를 제안했습니다.
2. 훈련 전략: 효율성을 위한 기하학적 보상 할인과 가변 길이 궤적에 대한 안정적인 훈련을 위한 적응형 다운샘플링을 결합한 EAPO를 개발했습니다.
3. 실증적 검증: IterResearch가 기존 오픈 소스 에이전트보다 상당한 개선을 달성하고 프런티어 프라이빗 시스템과의 격차를 좁힌다는 것을 광범위한 실험을 통해 입증했습니다.

실험 결과

저자들은 여섯 가지 도전적인 벤치마크(Humanity's Last Exam (HLE), BrowseComp, BrowseComp-zh, GAIA, Xbench-DeepSearch, SEAL-0)에 대해 IterResearch(Qwen3-30B-A3B 기반)를 평가했습니다.

• 성능 향상: IterResearch는 6개 벤치마크 전반에서 기존 오픈 소스 에이전트 대비 평균 **+14.5 퍼센트 포인트(pp)**의 향상을 달성했습니다. 이는 모든 오픈 소스 베이스라인을 능가했으며, 프라이빗 시스템(예: HLE 및 BrowseComp-zh에서 OpenAI의 DeepResearch를 능가)과 대등하거나 더 우수한 성능을 보여주었습니다.
• 상호작용 스케일링: 이 패러다임은 전례 없는 스케일링 능력을 보여주었으며, 40K 컨텍스트 길이 내에서 2048회의 상호작용까지 확장되었습니다. 최대 상호작용 제한이 2에서 2048로 증가함에 따라 성능이 **3.5%에서 42.5%**로 극적으로 향상되었는데, 이는 컨텍스트 오버플로로 인해 모노 컨텍스트 방식으로는 구조적으로 불가능한 성과입니다.
• 교차 패러다임 전이: IterResearch에 의해 생성된 궤적은 훈련 데이터로 사용될 때 모노 컨텍스트 에이전트를 유의미하게 향상시키는 것으로 나타났으며, 이는 이 패러다임이 다른 아키텍처로 전이 가능한 우수한 탐색 행동을 유도함을 시사합니다.
• 프롬프팅 전략: 별도의 훈련 없이 IterResearch 프롬프팅 구조를 프런티어 모델(예: o3, DeepSeek-V3.1)에 적용했을 때, 특히 장기 호라이즌 작업에서 표준 ReAct 프롬프팅보다 상당한 개선(BrowseComp에서 최대 +19.2pp)을 보였습니다.

의의 및 주장

본 논문은 IterResearch를 훈련된 에이전트로서뿐만 아니라 모델 불가지론적(model-agnostic) 프롬프팅 패러다임으로서도 효과적인, 장기 호라이즌 추론을 위한 다재다능한 솔루션으로 포지셔닝합니다. 저자들은 세 가지 근본적인 통찰을 주장합니다:

1. 상호작용 스케일링: 반복적 패러다임은 극한의 상호작용 스케일링을 가능하게 하며, 이는 장기 호라이즌 작업의 난이도가 내재된 추론 한계보다는 불충분한 탐색 능력에서 비롯될 수 있음을 시사합니다.
2. 우수한 탐색 행동: 이 패러다임은 서로 다른 아키텍처 패러다임을 사용하는 에이전트에게도 전이 가능한 고품질의 탐색 행동을 유도합니다.
3. 모델 불가지론적 효능: 워크스페이스 재구성을 포함한 반복적 구조는 장기 호라이즌 추론을 위한 근본적인 인지적 이점을 제공하며, 특정 미세 조정 없이도 다양한 모델 아키텍처 전반에서 성능을 향상시킵니다.

본 연구는 선형적 축적이 아닌 전략적 합성을 통한 반복이 장기 호라이즌 추론 과제를 정복하는 데 있어 근본적이라는 결론을 내립니다.