기술 요약: Harness-1

문제 정의

일반적으로 언-모델(language model)이 검색 도구와 상호작용하도록 구현된 검색 에이전트들은 점진적으로 늘어나는 트랜스크립트(transcripts)를 대상으로 동작하도록 훈련됩니다. 이러한 정식화에서 정책(policy)은 시맨틱 검색 결정(예: 무엇을 쿼리할 것인가, 어떤 문서를 읽을 것인가)과 일상적인 상태 관리(예: 이미 본 문서 기억하기, 제약 조건 추적하기, 선별된 증거 집합 유지하기)를 동시에 관리해야 합니다. 저자들은 정책이 가공되지 않은 추가형 관측값(append-only observations)으로부터 유용한 상태를 재구성하도록 강제하는 것이 비효율적이며, 이는 조건화가 불량한 강화 학습(RL)으로 이어진다고 주장합니다. 트랜스크립트가 길어짐에 따라, 어려운 쿼리는 거의 동일한 공집합 보상(empty-set rewards)을 산출할 수 있고, 도구 어휘(tool vocabularies)는 반복적인 검색 호출로 붕괴될 수 있으며, 검색 실패와 큐레이션 실패 사이의 구분이 모호해집니다.

방법론: Harness-1

본 논문은 상태 유지 검색 하네스(stateful search harness) 내부에서 강화 학습으로 훈련된 20B 파라미터 규모의 검색 에이전트인 Harness-1을 소개합니다. 핵심 원칙은 **상태 유지 인지 오프로딩(stateful cognitive offloading)**입니다. 즉, 환경(하네스)이 복구 가능한 상태를 유지하고, 정책은 오직 시맨틱 결정만을 보유합니다.

상태 유지 하네스 (The Stateful Harness)

하네스는 두 가지 계층을 가진 WORKINGMEMORY를 유지합니다:

1. 내부 계층 (프롬프트 직면형): 다음을 포함한 검색 상태의 압축된 렌더링 요약본:
   • 후보 풀 ($P_t$): 압축 및 중복 제거된 검색 결과.
   • 선별된 집합 ($C_t$) 및 중요도 태그 ($I_t$): 선택된 문서들의 제한된 집합(최대 30개 문서)과 태그(very high, high, fair, low).
   • 증거 그래프 ($G_t$): 엔티티, 날짜, 브릿지 문서를 기반으로 한 문서 간 연결 관계의 요약.
   • 검증 기록 ($V_t$): 소스 텍스트와 대조하여 확인된 클레임(claims)의 로그.
   • 검색 이력 ($H_t$) 및 예산 마커 ($B_t$): 진행 상황 및 컨텍스트 제한의 요약.
2. 외부 계층 (전체 텍스트): 검색된 청크(chunks)의 전체 텍스트 저장소($D_t$)로, 새로운 코퍼스 호출 없이 review_docs를 통해 접근 가능합니다.

정책 액션 (Policy Actions)

정책은 트랜스크립트를 확장하는 대신 이 상태를 편집하는 구조화된 액션을 방출함으로써 작동합니다:

• 검색(Retrieval): fan_out_search, search_corpus, grep_corpus, read_document.
• 큐레이션(Curation): curate (문서 추가/삭제 및 중요도 태그 할당).
• 검증(Verification): verify (정책이 작성한 클레임을 저장된 문서와 대조하여 확인).
• 종료(Termination): end_search.

훈련 파이프라인

1. 지도 미세 조정 (SFT): 교사 에이전트(GPT-5.4)가 전체 하네스 내부에서 실행되어 궤적(trajectories)을 생성합니다. 정책은 인터페이스 메커니즘(도구 호출 형식, 검색-큐레이션 리듬, 중요도 태깅, 검증 규범)을 학습합니다.
2. 강화 학습 (RL): 정책은 전체 검색 에피소드에 대해 CISPO를 사용하여 온폴리시(on-policy) 방식으로 훈련됩니다. 보상 함수는 다음을 결합합니다:
   • 집합 품질 (Set Quality): 최종 선별된 집합의 가중치 적용 재현율(weighted recall).
   • 궤적 커버리지 (Trajectory Coverage): 풀(pool) 내 어디에서든 증거를 찾아낸 것에 대한 크레딧.
   • 답변 증거 (Answer Evidence): 답변을 생성하는 데 필요한 문서를 포함하면 보상을 주고, 이를 놓치면 페널티를 부여함.
   • 도구 다양성 (Tool Diversity): 반복적인 검색으로의 붕괴를 방기하기 위한 다양한 도구 사용에 대한 보너스.
   • 턴 페널티 (Turn Penalty): 효율성을 장려하기 위함.

핵심 설계 요구사항

저자들은 상태 유지 검색 하네스가 훈련 가능하기 위한 세 가지 요구사항을 식별했습니다:

1. 웜 스타트 큐레이션 (Warm-started Curation): 초기 학습 신호를 제공하기 위해 첫 번째 성공적인 검색의 상위 결과들로 선별된 집합을 자동 시딩(auto-seeding)함.
2. 압축된 파생 상태 렌더링 (Compact Derived-State Rendering): 컨텍스트 과부하를 피하기 위해 중요도 태그, 증거 그래프, 검증 기록을 통해 상태를 요약함.
3. 다양성 보존 인센티브 (Diversity-Preserving Incentives): 검색, 큐레이션, 리뷰, 검증의 리듬을 장려하는 보상 구조.

주요 기여

1. 정식화: 본 논문은 하네스 설계를 검색 에이전트 RL의 핵심 문제로 프레임화하며, 시맨틱 결정과 북키핑(bookkeeping)을 분리하는 "상태 유지 인지 오프로딩"을 제안합니다.
2. Harness-1 시스템: 중요도 태그가 지정된 선별 집합, 압축된 증거 그래프, 검증 기록, 예산 인식 컨텍스트 렌더링을 특징으로 하는 20B 검색 에이전트.
3. 훈련 가능성 요구사항: 웜 스타팅, 압축 렌더링, 다양성 인센티브를 효과적인 RL을 위한 필수 조건으로 식별했습니다.
4. 실증적 검증: 상태 유지 하네싱이 다양한 8개 벤치마크에서 검색 품질과 다운스트림 답변 정확도를 개선함을 입증했습니다.

결과

Harness-1은 웹, 금융, 특허 및 멀티홉 QA(예: BrowseComp+, SEC, HotpotQA)를 아우르는 8개의 벤치마크에서 평가되었습니다.

• 성능: Harness-1은 평균 **0.730의 큐레이션 재현율(curated recall)**을 달 기록했으며, 이는 차순위 강력한 오픈 검색 서브 에이전트(Tongyi DeepResearch 30B)보다 11.4 포인트 높습니다. 또한 훨씬 더 큰 규모의 프런티어 모델들(예: GPT-5.4, Opus-4.6)과 경쟁할 만한 수준이며, 평균 큐레이션 재현율 측면에서 여러 모델을 능가했습니다.
• 전이 일반화 (Transfer Generalization): 이 모델은 SFT나 RL 훈련에 사용되지 않은 홀드아웃 전이 벤치마크(LongSealQA, Seal0QA, FRAMES, HotpotQA)에서 특히 강력한 성과를 보였습니다. 홀드아웃 태스크에서의 평균 이득(+17.0 포인트)은 소스 패밀리 벤치마크의 이득(+7.9 포인트)보다 2.2배 더 컸으며, 이는 명시적 상태에 대한 학습된 연산이 도메인 특화 패턴보다 더 잘 일반화됨을 시사합니다.
• 절제 연구 (Ablation Studies): 개별 하네스 메커니즘(예: 중요도 태그, 증거 그래프, 자동 시딩)을 비활성화하면 최종 답변 재현율이 크게 감소했습니다(최대 -7.9%). 모든 메커니즘을 동시에 비활성화하면 재현율이 -12.2% 하락하였으며, 이는 성능 향상이 모델 자체의 능력보다는 하네스 설계에서 기인함을 확인시켜 줍니다.
• 훈련 역학 (Training Dynamics): 도구 다양성 보상이 없으면 정책이 낮은 큐레이션 품질을 가진 검색 중심 전략으로 붕괴된다는 것을 실험을 통해 보여주었습니다. 다양성 보너스는 도구 사용을 안정화하고 최종 재현율을 높이는 데 필수적이었습니다.

의의 및 주장

본 논문은 상태 유지 하네스 설계가 검색 에이전트 RL의 핵심적이고 이전에 충분히 탐구되지 않은 축임을 주장합니다. 기계적인 북키핑을 환경으로 오프로딩함으로써, 정책은 고차원의 시맨틱 결정에 집중할 수 있으며, 이는 더 안정적인 훈련과 더 나은 일반화로 이어집니다.

저자들은 Harness-1이 잘 설계된 상태 유지 인터페이스를 갖춘 더 작은 모델(20B)이 복잡한 검색 작업에서 더 큰 오픈 모델을 능가하고 프런티어 모델과 경쟁할 수 있음을 보여준다고 단언합니다. 결과는 "인터페이스 그 자체"가 단순히 도구 래퍼(wrapper)가 아니라, 정책이 학습하여 사용하게 되는 핵심 요소임을 시사합니다. 이 연구는 훈련 가능한 정책과 상태 유지 인지 오프로딩 하네스 사이의 시너지 효과에 의해 정의되는 검색 에이전트의 미래를 제시합니다.

논문은 추가 연구를 촉진하기 위해 모델 가중치, 하네스 코드, 데이터 생성 파이프라인 및 RL 레시피를 공개하며 마무리됩니다.