기술 요약: 하이브리드 오픈 엔디드 트리-에볼루션 (HOTE)

문제 정의

딥 리서치 에이전트는 AGI(인공 일반 지능)를 향한 실세계 응용 분야에서 점점 더 중요해지고 있으며, 오픈 엔디드(open-ended) 방식의 장기 사이클 환경에서 정보를 자율적으로 검색하고 통합하는 임무를 수행합니다. 그러나 현재의 딥 리서치 시스템은 두 가지 주요 한계에 직면해 있습니다:

1. 정적 능력 (Static Capabilities): 기존 에이전트는 고정된 학습 데이터셋과 전략에 의존하며, 이는 파라미터 기반의 연구 능력을 제한합니다.
2. 검증 격차 (Verification Gap): 자기 대국(self-play)을 통한 에이전트 진화는 결정론적인 정답이 존재하는 도메인(예: 수학, 코딩)에서는 유망한 성과를 보였으나, 결정론적인 정답이 없는 오픈 엔디드 연구 과제(예: 장문 보고서 생성)에서는 어려움을 겪고 있습니다. 이러한 격차를 메우려는 이전의 시도들(예: SPICE, Dr. Zero)은 검증 가능한 결과가 있는 작업에 국한되거나 오픈 엔디드 환경의 특정 과제를 해결하지 못했습니다.

따라서 표준적인 정답(ground-truth)에 의존하지 않고도 오픈 엔디드 연구 과제를 위해 자율적인 에이전트 진화를 가능하게 하는 프레임워크가 절실히 필요합니다.

방법론: 하이브리드 오픈 엔디드 트리-에볼루션 (HOTE)

저자들은 HOTE를 제안합니다. 이 프레임워크는 제안자(Proposer), 해결사(Solver), **판사(Judge)**라는 세 가지 구별된 모듈의 협력적 진화를 촉진하도록 설계되었습니다. 이 시스템은 하이브리드 모드 강화 학습(RL)과 웹 규모의 지식을 활용하여 자율적인 개선을 유도합니다.

핵심 구성 요소

1. 해결사 ($\pi_{\theta_s}$):

   • 역할: 연구 쿼리를 수신하여 계획을 생성하고, 다회차 정보 탐색(검색 엔진 등의 도구 활용)을 수행하며, 참조 문헌이 포함된 장문의 연구 보고서를 생성합니다.
   • 진화: GRPO(Group Relative Policy Optimization)를 사용하여 최적화됩니다. 해결사는 판사가 정의한 루브릭(rubric)에 따라 자신의 출력을 정렬하는 것을 목표로 합니다.
   • 모드: 도구 사용(tool-use) 모드(검색 도구 활용)와 도구 미사용(no-tool) 모드(파라미터 지식에 의존) 모두에서 작동합니다.

2. 판사 ($\pi_{\theta_j}$):

   • 역할: 해결사의 응답을 평가하기 위해 평가 루브릭을 동적으로 생성하고 업데이트합니다. 동일한 쿼리에 대한 여러 응답을 비교하여 강점과 약점을 식별합니다.
   • 메커니즘: 고정된 정답에 의존하는 대신, 판사는 루브릭 세트($R_{s_0}$)를 바탕으로 보상(0 또는 $\pm1$)을 할당합니다. 결정적으로, 판사는 활성 루브릭(새로운 강점 또는 보상 해킹과 같은 공통된 실패 모드)과 지속적 루브릭을 식별함으로써 루브릭 세트 자체를 진화시킵니다.
   • 메타-루브릭 (Meta-Rubrics): 제안사를 평가하는 복잡성을 처리하기 위해, 판사는 응답 전반에 걸쳐 나타나는 공통적인 모델의 약점을 포착하는 "메타-루브릭"으로 평가 내용을 요약합니다.

3. 제안자 ($\pi_{\theta_p}$):

   • 역할: 판사가 식별한 약점을 바탕으로 도전적이면서도 학습 가능한 연구 과제를 생성합니다. 이는 해결사의 한계를 밀어붙이는 적대자 역할을 합니다.
   • 진화: 역시 GRPO를 통해 최적화됩니다. 제안자의 보상은 생성된 과제가 해결사의 약점(즉, 메타-루브릭을 충족하지 못한 과제)을 얼마나 효과적으로 드러냈는지에 따라 계산됩니다.
   • 다양성: 프레임워크는 "다양한 제안(Diverse Proposing)" 방식을 채택합니다. 제안자는 주제 집중을 방지하고 데이터 다양성을 확보하기 위해 이전의 과제들과 평가 결과들의 다양한 조합을 바탕으로 과제를 생성합니다.

학습 전략: 듀얼 모드 하이브리드 학습

HOTE는 효율성과 역량을 균형 있게 맞추기 위해 듀얼 모드 하이브리드 학습 전략을 도입합니다.

• 하이브리드 데이터: 각 학습 배치는 원본 데이터셋의 실제 과제 50%와 제안자가 생성한 합성 과제 50%로 구성됩니다.
• 하이브리드 모드: 과제는 무작위로 도구 사용 모드 또는 도구 미사용 모드로 할당됩니다 (50/50 분할).
  • 근거: 도구 미사용 모드로만 학습하면 보고서 생성 기술은 향상되지만 파라미터 지식에 과도하게 의존하게 됩니다. 도구 사용 모드로만 학습하면 노이즈가 유입됩니다. 하이브리드 접근 방식은 모델이 도구 없이도 보고서 생성 기술을 익히는 동시에 도구 사용법을 숙달하게 함으로써, 어느 한 쪽에 치우치는 것을 방지합니다.
• 효율성: 프레임워크는 하이브리드 모드가 순수 도구 사용 전략에 비해 기대 최대 생성 시간을 낮춘다는 것을 이론적으로 증명합니다.

주요 기여

1. 최초의 오픈 엔디드 진화 프레임워크: HOTE는 오픈 엔디드 환경 및 과제를 위해 명시적으로 설계된 최초의 딥 리서치 진화 프레임워크로서, 딥 리서치와 에이전트 진화 사이의 간극을 메웁니다.
2. 삼중 모듈 공동 진화: 논문은 제안자, 해결사, 판사가 서로를 상호 강화하는 공동 진화 전략을 설계합니다. 판사는 루브릭을 진화시켜 보상 해킹을 방지하고, 제안자는 과제의 난이도를 높게 유지하여 해결사의 한계를 시험하며, 해결사는 응답 품질을 개선합니다.
3. 듀얼 모드 효율성: 하이브리드 학습 전략(도구 사용과 도구 미사용 모드의 혼합)의 도입은 단일 모드 접근 방식에 비해 학습 효율성과 모델의 견고함을 크게 향상시킵니다.

실험 결과

저자들은 세 가지 장문 딥 리서치 벤치마크인 HealthBench(헬스케어), ResearchQA(과학 문헌 합성), DeepResearchBench (DRB)(일반 도메인)에서 HOTE를 평가했습니다.

• 성능: HOTE로 학습된 8B 모델은 가장 강력한 오픈 소스 8-32B 모델들(Qwen3-32B, WebThinker-32B 포함) 및 최첨단 딥 리서치 학습 방법들(예: DR Tulu-8B-RL, GRPO, GSPO)보다 우수한 성능을 보였습니다.
• 효율성: HOTE는 이러한 결과를 더 적은 시간 오버헤드로 달성했습니다. 구체적으로, 하이브리드 모드는 DR Tulu와 같은 베이스라인과 비교했을 때 학습 중 필요한 총 도구 사용 연산 횟수를 줄였습니다.
• 절제 연구 (Ablation Studies):
  • 세 가지 모듈(제안자, 해결사, 판사 진화) 중 하나라도 제거하면 성능 저하가 발생하여, 이들의 필수 불가능성을 확인했습니다.
  • HOTE로 학습된 모델은 1500 단계의 학습 과정 동안 지속적인 성능 상승 추세를 보인 반면, 베이스라인 모델들은 더 일찍 수렴했습니다.
  • 하이브리드 모드는 도구 사용 및 도구 미사용 역량 모두에서 협력적 발전을 성공적으로 촉진했으며, 도구 미사용 모드로만 학습했을 때 나타나는 도구 사용 과제에서의 성능 저하를 방지했습니다.
• 일반화: 프레임워크는 서로 다른 베이스 모델(Qwen3-8B 및 Llama3.1-8B)에 대해 효과적임을 입증했습니다.

의의 및 주장

이 논문은 HOTE가 인간의 개입이나 표준 정답 없이도 오픈 엔디드 과제를 처리할 수 있는 자율 진화 에이전트를 향한 중요한 진전이라고 주장합니다. 제안자-해결사-판사 루프와 하이브리드 학습을 성공적으로 통합함으로써, HOTE는 에이전트 진화를 결정론적 도메인으로 제한해 왔던 "검증 격차"를 해결합니다.

저자들은 이 작업이 에이전트가 복잡한 실세계 연구 시나리오에서 환경과 자율적으로 상호작용하고, 경험을 쌓으며, 능력을 진화시킬 수 있게 함으로써 AGI를 향한 움직임이라고 규정합니다. 또한 진화가 진행됨에 따라 속도가 느려질 수 있고 상한선이 모델 규모에 의해 여전히 제약될 수 있다는 점을 인정하면서도, 진화를 통해 초기 학습 데이터의 한계를 초월하는 것은 본질적으로 가치 있는 일이라고 주장합니다. 향후 연구로는 더 큰 Mixture-of-Experts (MoE) 모델으로의 확장 및 실세계 검색 도구의 노이즈 처리 등이 제시되었습니다.