기술 요약: Harness-G

문제: RL 탐색 에이전트에서의 검색-동등성 붕괴 (Retrieval-Equivalence Collapse)

Search-R1과 같은 강화 학습(RL) 탐색 에이전트는 일반적으로 검색을 자유 형식의 자연어 쿼리를 생성하는 것으로 모델링합니다. 이러한 에이전트들은 최종 답변 보상(예: F1 또는 Exact Match)을 사용하여 다회차 상호작용 궤적을 최적화합니다. 최근 연구들이 정보 이득(information gain)이나 프로세스 보상(process rewards)과 같은 더 조밀한 크레딧 신호를 통해 훈련을 개선하려 시도하고 있지만, 정책이 문자열을 생성하고 환경이 이를 검색된 증거로 매핑하는 근본적인 인터페이스 구조는 그대로 유지하고 있습니다.

저자들은 이 설정에서 **검색-동등성 붕괴(retrieval-equivalence collapse)**라고 불리는 치명적인 실패 모드를 식별했습니다. 훈련 과정에서 정책은 다양한 표면적 쿼리 문자열(높은 쿼리 형태 다양성)을 생성하지만, 이러한 쿼리들은 종종 거의 동일한 집합의 검색된 증거(낮은 검색 결과 다양성)로 매핑됩니다. 훈련이 진행됨에 따라 동일한 질문에 대한 궤적들은 단일한 검색-동등성 클래스로 수렴합니다. 이러한 붕괴는 GRPO와 같은 그룹 상대적(group-relative) 방법론에 두 가지 최적화 문제를 야기합니다:

1. 사라지는 어드밴티지 (Vanishing Advantages): 여러 궤적이 동일한 증거를 검색하고 동일한 답변을 생성하면, 그 리턴(returns)은 동일해져 그룹 내 어드밴티지가 사라집니다.
2. 혼란스러운 검색 크레딧 (Confounded Retrieval Credit): 궤적들이 동일한 증거를 검색했지만 서로 다른 답변을 생성할 경우, 리턴의 차이는 다운스트림 추론을 반영하게 되어 특정 검색 행동의 성공 또는 실패를 해당 행동에 귀속시키는 것이 불가능해집니다.

결과적으로, 다양한 쿼리 문자열이 제공하는 "탐색(exploration)"은 종-종 환상에 불과하며, 더 나은 검색 전략을 학습하기 위한 효과적인 대조를 제공하지 못합니다.

방법론: Harness-G

이를 해결하기 위해 저자들은 정책-환경 인터페이스를 재설계한 그래프 구조 기반 검색 프레임워크인 Harness-G를 제안합니다. Harness-G에서 정책은 자유 형식의 쿼리를 생성하는 대신, 구조화된 증거 공간 위에서 **유한 행동 선택(finite action selection)**을 수행합니다.

1. 그래프 구조 환경

Harness-G는 코퍼스로부터 오프라인에서 경량화된 프로그래밍 방식의 **삼분 그래프(tripartite graph)**를 구축합니다:

• 문단 노드 (Paragraph nodes): 문서 컨텍스트.
• 문장 노드 (Sentence nodes): 최소 단위의 증거.
• 엔티티 노드 (Entity nodes): 문장 간 및 문서 간 도약을 연결하는 브릿지 역할.

에지는 문단을 문장에, 문장을 엔티티(언급을 통해)에 연결하며, 인접한 문장 및 동일하거나 유사한 엔티티(표면 정규화 및 임베딩 이웃을 통해)를 연결합니다. 이 그래프는 생성형 LLM 없이 문장 분할, NER, 밀집 인코딩(dense encoding)에 의존하여 구축됩니다.

2. 액션 메뉴 인터페이스

각 단계에서 환경은 정책에게 **제한된 유한 액션 메뉴 ($M_t$)**를 노출합니다. 정책은 문자열을 생성하는 대신 이 메뉴에서 액션 ID를 선택합니다. 액션은 다음과 같습니다:

• Select(s): 가시적인 문장 $s$를 증거로 확정합니다.
• Lookup(e): 특정 엔티티 $e$ 주변의 정보를 검색합니다. 환경은 결정론적으로 쿼리(질문과 확정된 증거를 결합)를 구성하고 상위 $K$개의 문장을 반환합니다.
• Answer / Answer_With: 검색을 종료하고 답변을 생성합니다(선택적으로 가시적인 문장들을 한 번에 확정할 수 있음).

이 설계는 다음을 보장합니다:

• 유한성 (Finiteness): 액션 공간이 제한됩니다.
• 검증 가능성 (Verifiability): 유효하지 않은 액션은 실행 전에 차단됩니다.
• 미리보기 가능성 (Previewability): 환경은 상태를 변경하지 않고도 임의의 후보 액션에 대한 결과(outcome)를 결정론적으로 시뮬레이션(미리보기)할 수 있습니다.

3. 구조화된 비마이오픽 크레딧 (Structured Non-Myopic Credit, SNC)

미리보기 가능한 액션 프런티어를 활용하여, Harness-G는 추가적인 에이전트 롤아웃이나 외부 보상 모델 없이도 단계별 보상을 할당하는 **구조화된 비마이오픽 크레딧 (SNC)**을 도입합니다. SNC는 두 가지 항으로 구성됩니다:

• 프런티어 상대적 어드밴티지 ($r^{fr}_t$): 고정된 답변 스코러(answer scorer)가 현재 컨텍스트에 대한 골드 답변 확률을 평가합니다. 정보 획득 액션의 경우, 선택된 액션의 이득을 동일한 상태에 있는 "프런티어(frontier)"의 대안 가능한 액션들의 평균 이득과 비교하여 한계 이득을 계산합니다. 이는 오픈 쿼리 공간에서는 불가능한 로컬 동일 상태 비교를 제공합니다.
• 활성화 크레딧 ($r^{en}_t$): 멀티홉 추론의 비마이오픽한 특성(초기 "브리지" 액션이 이후의 고가치 검색을 가능하게 하는 경우)을 해결하기 위해, SNC는 프로비넌스 그래프(provenance graph)를 따라 다운스트림 이득을 전파합니다. 만약 단계 $u$가 단계 $t$에서 생성된 엔티티를 소비한다면, 크레딧은 역방향 위상 정렬 순서에 따라 $t$로 흐릅니다.

전체 단계 어드밴티지는 GRPO 목적 함수 내의 표준 결과 보상과 결합됩니다: $\hat{A}_i = \hat{A}^{out}_i + \lambda \hat{A}^{SNC}_i$.

주요 기여

1. 검색-동등성 붕괴 식별: 본 논문은 자유 형식 쿼리 인터페이스가 검색 다양성의 붕괴를 초래하여 그룹 상대적 최적화를 무력화한다는 것을 경험적으로 입증합니다.
2. 인터페이스 재설계 (Harness-G): 멀티홉 검색을 오픈 문자열 생성이 아닌, 검증 가능하고 미리보기 가능한 그래프 구조 환경에서의 유한 액션 선택으로 재정의합니다.
3. 구조화된 비마이오픽 크레딧 (SNC): 액션 메뉴의 미리보기 가능성을 활용하여 동일 상태의 상대적 어드밴티지를 계산하고, 추가 롤아웃 없이 지연된 크레딧을 전파하는 크레딧 할당 메커니즘을 도입합니다.
4. 경험적 검증: 2Wiki, HotpotQA, MuSiQue와 같은 멀티홉 데이터셋을 포함한 6개의 QA 벤치마크에서 수행된 광범한 실험을 통해, Harness-G가 특히 멀티홉 시나리오와 작은 모델 규모에서 강력한 베이스라인들을 크게 상회함을 보여줍니다.

결과

Qwen2.5-1.5B 및 Qwen2.5-3B 모델을 사용하여 6개의 벤치마크에서 평가한 결과:

• 성능: Harness-G는 두 모델 규모 모두에서 가장 높은 평균 F1을 달销합니다.
  • 1.5B 모델에서, 가장 강력한 베이스라인인 Graph-R1보다 평균 F1에서 10.74 포인트 앞섭니다.
  • 3B 모델에서, Graph-R1보다 3.98 포인트 앞섭니다.
• 절제 연구 (Ablation Studies):
  • 자유 쿼리 인터페이스를 액션 메뉴로 교체하는 것만으로도 평균 F1이 17 포인트 이상 향상되었으며, MuSiQue에서는 35 포인트 이상의 향상을 보였습니다.
  • SNC를 추가하면 지연된 크레딧이 중요한 멀티홉 작업에서 성능이 더욱 향상됩니다.
• 안정성 및 효율성: Harness-G는 제한된 그래디언트 노름(gradient norms)과 함께 안정적인 훈련 역학을 보입니다. 크레딧 할당을 위해 추가적인 에이전트 롤아웃이 필요하지 않으며(읽기 전용 미리보기만 사용), 단계당 약 9~11%의 최소한의 시간 오버헤드만 발생합니다. 또한 Graph-R1에 비해 더 강력한 O.O.D. (Out-of-Distribution) 전이 능력을 보여줍니다.

의의 및 주장

본 논문은 **액션 공간 설계(action-space design)**가 탐색 에이전트 훈련을 위한 보상 설계의 보완적이고 결정적인 축이라고 주장합니다. 저자들은 자유 형식 쿼리 인터페이스 내에서 단순히 보상을 조밀하게 만드는 것(예: 프로세스 보상이나 정보 이득을 통한)은 인터페이스 자체가 쿼리와 증거 사이의 다대일(many-to-one) 매핑을 허용하기 때문에 검색-동등성 붕해 문제를 근본적으로 해결할 수 없다고 주장합니다.

검색 인터페이스를 이산적(discrete), 검증 가능하며, 미리보기 가능한 방식으로 재정의함으로써 Harness-G는 다음을 가능하게 합니다:

1. 진정한 탐색 (Genuine Exploration): 서로 다른 액션이 실제로 다른 검색 결과를 이끌어내도록 보장합니다.
2. 정밀한 크레딧 할당 (Precise Credit Assignment): 에이전트가 동일한 결정 상태에서 어떤 특정 증거 또는 엔티티 선택이 다른 대안보다 우수한지 학습할 수 있도록 합니다.
3. 비마이오픽 학습 (Non-Myopic Learning): 즉각적으로 높은 보상을 주지는 않지만 이후의 성공에 필수적인 "브리지(bridge)" 단계를 수행하도록 에이전트를 효과적으로 가르칩니다.

본 연구는 Harness-G가 현재 텍스트 전용이지만, 액션 공간과 크레딧 할당에 대한 구조적 접근 방식이 탐색 에이전트를 훈련하기 위한 견고한 프레임워크를 제공하며, 향-후 연구가 이러한 원칙을 멀티모달 증거로 확장할 수 있음을 시사하며 마무리됩니다.