기술 요약: DR Tulu: 심층 연구를 위한 진화하는 평가 기준을 활용한 강화 학습

문제 정의

심층 연구 (DR) 에이전트는 다양한 출처에서 정보를 계획, 검색, 종합하여 복잡한 작업에 대한 심층적이고 출처가 명확한 답변을 생성하도록 설계되었습니다. 그러나 기존 오픈소스 DR 에이전트는 다음과 같은 중대한 한계에 직면해 있습니다:

1. 훈련 불일치: 대부분의 오픈 에이전트는 짧은 형식이고 검증이 쉬운 QA(질문 - 답변) 작업에 대해 검증 가능한 보상을 활용한 강화 학습 (RLVR) 으로 훈련됩니다. 이 접근법은 답변이 복잡하고 미구현된 현실적인 긴 형식의 심층 연구 작업에는 일반화되지 않습니다.
2. 보상 신호 부족: 개방형 긴 형식 생성에 대한 신뢰할 수 있는 보상 신호를 정의하는 것은 어렵습니다. 정적이고 사전 정의된 평가 기준은 종종 품질의 뉘앙스를 포착하지 못하며, 정확한 평가는 모델의 매개변수 지식을 넘어선 광범위하고 최신의 외부 정보에 대한 접근이 필요한 경우가 많습니다.
3. 오픈 인프라 부재: 기존 오픈 시스템은 종종 단일 도구에 의존하거나, 완전한 인용 지원을 제공하지 않거나, 훈련 데이터와 코드를 공개하지 않아 재현성과 추가 연구를 저해합니다.

방법론: 진화하는 평가 기준을 활용한 강화 학습 (RLER)

이러한 과제를 해결하기 위해 저자들은 개방형 긴 형식 심층 연구를 위해 엔드 - 투 - 엔드로 훈련된 최초의 완전한 오픈 모델인 DR Tulu-8B를 소개합니다. 핵심 혁신은 훈련 중 정책 모델과 함께 평가 기준 (rubrics) 이 공진화하는 진화하는 평가 기준을 활용한 강화 학습 (RLER) 프레임워크입니다.

RLER 의 핵심 구성 요소

1. 보상으로서의 평가 기준: 정적 기준 대신 시스템은 자연어로 정의된 샘플별 평가 기준을 사용합니다. 판정 Large Language Model(LLM) 이 이러한 평가 기준에 따라 응답을 평가하여 점수를 생성합니다.
2. 검색 증강 진화 평가 기준:
   • 초기화: 각 훈련 프롬프트에 대해, 초기 평가 기준은 외부 검색 API 로부터 검색된 문서를 사용하여 LLM($G_{rubric}$) 에 의해 생성됩니다. 이를 통해 기준이 최신 외부 지식에 기반하도록 합니다.
   • 공진화: 훈련 중 시스템은 여러 모델 응답 (롤아웃) 과 검색 흔적을 샘플링합니다. 그런 다음 평가 기준 생성기는 이러한 응답들을 대조하여 새로운 평가 기준을 생성합니다.
     • 긍정적 평가 기준: 기존 평가 기준이 놓친 현재 정책이 탐구한 강점이나 새로운 관련 지식을 포착합니다.
     • 부정적 평가 기준: 응답 전반에서 관찰된 일반적인 바람직하지 않은 행동 (예: 보상 해킹, 단어 그대로 복사) 을 식별합니다.
   • 버퍼 관리: 평가 기준 수의 선형적 증가를 방지하기 위해, 버퍼 관리 전략은 평가 기준들의 구별력 (응답 간 보상의 표준 편차) 을 기반으로 평가 기준을 필터링하고 순위 매겨 가장 정보성이 높은 것들만 유지합니다.
3. 보조 보상: 이 프레임워크는 형식 정확성, 효과적인 검색 도구 사용, 그리고 관련 주장을 뒷받침하는 고품질 인용을 위한 보조 보상을 포함합니다.

훈련 파이프라인

• 기반 모델: 모델은 Qwen3-8B에서 초기화됩니다.
• 지도 미세 조정 (SFT): 검색 패턴과 도구 사용을 추출하기 위해 교사 모델 (GPT-5 포함) 이 생성한 16K 개의 고품질 궤적 (긴 형식 및 짧은 형식) 을 사용한 "콜드 스타트"단계입니다.
• 온라인 RL: 모델은 GRPO(그룹 상대 정책 최적화) 의 변형을 사용하여 RL 훈련을 거칩니다. 훈련 루프는 다음을 포함합니다:
  1. 실제 도구 호출 (Google 검색, 웹 탐색, 논문 검색) 을 통한 에이전트 롤아웃 생성.
  2. 동적으로 업데이트되는 평가 기준 버퍼에 대한 응답 점수 매기기.
  3. 정책 모델 업데이트.
  4. 새로운 진화하는 평가 기준을 추가하고 분산이 낮은 것들을 제거하여 평가 기준 버퍼 정제.
• 인프라: 저자들은 비동기 도구 호출, 글로벌 캐싱, 그리고 멀티 도구 검색 통합을 지원하는 확장 가능한 에이전트 라이브러리인 dr-agent-lib를 공개합니다.

주요 기여

1. DR Tulu-8B: 긴 형식 작업을 위해 엔드 - 투 - 엔드로 훈련된 최초의 완전한 오픈 심층 연구 모델로, 출처가 명확한 긴 형식 보고서를 생성할 수 있습니다.
2. RLER 프레임워크: 정책 모델의 진화하는 능력에 적응하는 인스턴스별, 검색 기반 평가 기준을 생성하는 새로운 훈련 방법으로, 더 구별력 있는 온 - 정책 피드백을 가능하게 합니다.
3. 오픈 생태계: 모델, 훈련 데이터, 평가 기준, 그리고 dr-agent-lib 인프라를 공개하여 심층 연구 에이전트를 위한 완전하고 재현 가능한 스택을 제공합니다.
4. 새로운 벤치마크: 유전 변이의 치료 적합성에 대한 증거를 종합해야 하는 까다로운 임상 데이터셋인 GeneticDiseasesQA를 도입했습니다.

실험 결과

이 모델은 AstaBench-ScholarQA-CS2 (SQAv2), HealthBench, ResearchQA, 그리고 **DeepResearchBench (DRB)**라는 네 가지 긴 형식 심층 연구 벤치마크에서 평가되었습니다.

• 오픈 모델 대비 성능: DR Tulu-8B(RL) 는 기존 모든 오픈 심층 연구 에이전트를 크게 능가합니다. 평균 점수 65.6을 기록하여 이전 최첨단 오픈 모델 (Tongyi DR-30B) 보다 15.6 퍼센트 포인트를 상회합니다. 주목할 점은 8B 파라미터 기반을 사용함에도 불구하고 더 큰 오픈 모델 (예: 32B 백본) 보다 우수한 성능을 발휘한다는 것입니다.
• 전용 모델 대비 성능: DR Tulu-8B 는 평균적으로 전용 시스템 (OpenAI Deep Research, Perplexity DR, Gemini 3 Pro + Search) 과 맞먹거나 능가합니다. SQAv2 에서는 테스트된 모든 시스템 중 가장 높은 성능을 달성합니다.
• 비용 효율성: DR Tulu-8B 는 훨씬 더 비용 효율적입니다. SQAv2 에서 쿼리당 약 $0.0019의 비용이 들며, 이는 OpenAI Deep Research($1.80/쿼리) 보다 약 1,000 배 저렴하고 다른 오픈 모델들보다 훨씬 더 저렴합니다.
• 도구 적응성: 모델은 작업에 따라 적절한 도구를 선택하는 법을 학습합니다. 과학 문헌 작업 (SQAv2) 의 경우 90% 의 확률로 논문 검색에 의존하는 반면, 일반 도메인 작업 (DRB) 의 경우 웹 검색과 탐색을 더 빈번하게 활용합니다.
• GeneticDiseasesQA: 이 전문 임상 작업에서 DR Tulu-8B 는 다른 오픈 에이전트들이 실패하는 신뢰할 수 있고 검증 가능한 인용을 생성하는 능력을 보여주며 전용 에이전트들과 경쟁하거나 능가합니다.

중요성과 주장

이 논문은 DR Tulu 와 RLER 를 심층 연구 능력의 민주화를 위한 중요한 단계로 위치시킵니다.

• 격차 해소: 이 연구는 모든 인스턴스에 대해 인간 전문가가 수동으로 평가 기준을 정교하게 다듬을 필요 없이 신뢰할 수 있는 보상 신호를 생성하는 방법 (RLER) 을 제공함으로써, 현실적인 긴 형식 작업에서 심층 연구 에이전트를 훈련시키는 데 있어 오랫동안 존재해 온 장벽을 해결합니다.
• 재현성: 전체 훈련 스택 (데이터, 코드, 모델, 인프라) 을 공개함으로써 저자들은 커뮤니티에서 엄격한 평가와 추가 연구를 가능하게 하려 합니다. 이는 이전에는 전용 시스템에 국한되었던 능력입니다.
• 검증자 확장성: 저자들은 RLER 를 검증자 컴퓨팅 확장성의 새로운 차원으로 규정합니다. 여기서 "특권 정보"(외부 검색 결과 및 대조적 모델 응답) 가 평가 품질을 향상시키기 위해 판정자에게 제공되며, 단순히 보상 모델의 추론 토큰 수를 늘리는 것이 아닙니다.
• 겸손한 주장: 저자들은 DR Tulu 가 전용 시스템과 경쟁적으로 수행하지만, 이는 주로 연구 산물임을 인정합니다. 그들은 하류 사용은 신중한 평가, 불확실성에 대한 투명성, 그리고 특히 의료와 같은 고위험 분야에서 인간 감독이 필요하다고 강조합니다. 또한 평가 기준 설계와 판정 모델 간의 불일치로 인해 훈련 보상이 항상 하류 평가 성능과 완벽하게 상관관계가 있는 것은 아니라고 지적합니다.