기술 요약: 다중 홉 추론에서 자원 제약 에이전트와 다비드 골리앗

문제 정의

본 논문은 엄격한 자원 제약 하에서 소형 언어 모델 (SLM) 에이전트를 다중 홉 추론 (예: 다중 홉 질문 응답) 수행하도록 훈련하는 과제를 다룹니다. 강화 학습 (RL) 은 복잡한 작업을 수행하는 에이전트 훈련에 성공적으로 적용되어 왔으나, 기존 접근법은 대규모 배치 크기와 광범위한 온-폴리시 롤아웃 (예: 업데이트당 수천 개의 궤적) 을 포함하는 고비용 설정에 의존하는 경향이 있습니다. 이러한 설정은 상용 하드웨어 (예: 4×RTX 3090 GPU) 를 사용하는 연구자들에게는 접근이 불가능합니다.

저예산 제약 조건 (소규모 배치, 적은 롤아웃) 하에서 그룹 상대 정책 최적화 (GRPO) 와 같은 표준 RL 방법은 중요한 병목 현상에 직면합니다: 각 업데이트는 현재 정책에서 의미 있는 이점 추정을 형성하기에 충분한 유용한 궤적을 포함하지 못합니다. 구체적으로, 다중 홉 검색에서 에이전트는 여러 개의 지지 문서 (연결 증거 및 답변 증거) 를 누적해야 합니다. 희소한 롤아웃의 경우, 에이전트는 종종 유용한 증거를 전혀 검색하지 못해 "정책 붕괴"가 발생하며, 이는 에이전트가 보상을 전혀 받지 못하고 학습할 수 없게 만듭니다. 기존 해결책들은 이러한 영역에서 실패합니다:

• SFT 기반 초기화는 주석 달린 궤적이 부족할 때 과적합됩니다.
• 검색 수준 보상은 전체 증거 세트의 범위를 최적화하지 않고 개별 문서에 크레딧을 부여하는 경우가 많습니다.
• 롤아웃 확장(예: Tree-GRPO) 은 증거 진행 신호가 없는 접두사에서 확장할 때 컴퓨팅 자원을 낭비합니다.

방법론: DAVID-GRPO

저자들은 현재 정책 내부와 외부의 정보를 활용하여 소규모 궤적 배치를 더 유익하게 만드는 예산 효율적인 RL 프레임워크인 DAVID-GRPO를 제안합니다. 이 방법은 두 가지 핵심 구성 요소로 이루어집니다:

1. 전문가 부트스트래핑 (오프-폴리시 주입)

에이전트의 자체 탐색이 보상을 전혀 산출하지 않을 때 초기 정책 붕괴를 방지하기 위해, DAVID-GRPO 는 RL 업데이트 그룹에 소수의 오프-폴리시 전문가 궤적을 주입합니다.

• 메커니즘: 지도 미세 조정 (SFT) 을 위해 수천 개의 주석 달린 궤적에 의존하는 대신, 이 방법은 $k$개의 예제만 포함하는 "퓨샷" 전문가 궤적 풀 ($X_{inj}$) 을 사용합니다 (여기서 $k \ll |X_{train}|$).
• 통합: 주어진 입력에 대해, 훈련 그룹은 하나의 오프-폴리시 전문가 궤적 ($\tau^*$) 과 현재 정책 ($\pi_\theta$) 에서 샘플링된 $G-1$개의 온-폴리시 궤적으로 구성됩니다.
• 목적: 손실 함수는 전문가 궤적에 특정 이점을 할당하여 모방을 장려하고, 온-폴리시 궤적은 표준 그룹 상대 이점을 통해 업데이트되는 혼합 목적 함수를 포함하도록 수정됩니다. 이는 에이전트의 탐색이 실패하더라도 기울기 신호를 제공합니다.

2. 증거 유도 탐색 (온-폴리시 재사용)

완벽한 보상을 달성하는 궤적이 없는 비최적 배치 문제를 해결하기 위해, 이 방법은 더 밀집된 보상 신호와 부분적 성공을 재사용하는 메커니즘을 도입합니다.

• 증거 범위 보상 ($r_g$): 최종 답변 정확도 ($r_o$) 에만 의존하는 대신, 이 방법은 전체 궤적에 걸쳐 누적된 검색 문서 집합 $\hat{D}_{union}$ 내에서 전체 지지 집합 $D$의 재현율 (recall) 을 기반으로 보상을 계산합니다.
  $$r_g(\tau) = \frac{|\hat{D}_{union} \cap D|}{|D|}$$
  총 보상은 가중 합입니다: $R(\tau) = \lambda r_g(\tau) + (1-\lambda)r_o(\tau)$. 이는 에이전트가 최종 답변뿐만 아니라 필요한 모든 연결 및 답변 문서를 검색하도록 장려합니다.
• 접두사 계속: 배치에서 가장 좋은 궤적도 여전히 비최적 (즉, 불완전한 증거 범위) 인 경우, 이 방법은 증거 범위가 증가한 마지막 단계 $t'$를 식별합니다. 궤적을 $t'$에서 잘라내고 현재 정책에서 계속 부분을 재샘플링합니다. 새로운 계속 부분이 보상을 개선하면, 이는 배치에서 가장 나쁜 궤적을 대체합니다. 이는 추가 전체 롤아웃 없이 유망한 접두사를 "재활용"하여 더 높은 품질의 예제를 생성합니다.

주요 기여

1. DAVID-GRPO 프레임워크: 제한된 컴퓨팅으로 소형 모델에서 다중 홉 추론 훈련을 가능하게 하기 위해 전문가 부트스트래핑과 증거 유도 탐색을 결합한 새로운 RL 프레임워크.
2. 효율성 향상: 소형 에이전트 (최대 15 억 파라미터) 가 Tree-GRPO 와 같은 고비용 베이스라인이 요구하는 롤아웃 예산의 4.7% 만 사용하여 복잡한 다중 홉 검색 전략을 학습할 수 있음을 입증.
3. 행동 변화: DAVID-GRPO 는 여러 검색 작업을 수행하고 전체 증거 세트를 누적하는 것을 학습하는 반면, 이전 저예산 베이스라인들은 종종 검색을 건너뛰거나 얕은 검색 후 중단함을 보여줌.
4. 강건성: 이 방법은 다양한 모델 크기 (05 억~15 억) 에서 안정적으로 유지되며, 위키백과 스타일 QA 를 넘어선 도구 사용 체인 (예: BFCL 도구 사용 벤치마크) 으로 일반화됨.

실험 결과

저자들은 4×RTX 3090 GPU 에서 훈련된 Qwen2.5 및 Llama-3.2 모델 (05 억 및 15 억 파라미터) 을 사용하여 6 가지 다중 홉 QA 벤치마크 (HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle, BamTwoogle, AntiLeakBench) 에서 DAVID-GRPO 를 평가했습니다.

• 고예산 베이스라인 대비 성능: 고비용 Tree-GRPO 베이스라인의 롤아웃 예산의 4.7% 만 사용함에도 불구하고, DAVID-GRPO 는 2WikiMultiHopQA, MuSiQue, Bamboogle 에서 더 높은 정확 일치 (EM) 점수를 달성했습니다.
• 저예산 베이스라인 대비 성능: 동일한 저예산 제약 하에서 DAVID-GRPO 는 다른 저예산 방법 (Tree-GRPO, StepSearch, Search-R1-v0.3) 보다 크게 우월했습니다. 예를 들어, 15 억 규모 AntiLeakBench 에서 두 번째로 좋은 베이스라인보다 EM 에서 19.6 퍼센트 포인트 더 높았습니다.
• 검색 행동: 분석 결과, DAVID-GRPO 에이전트는 평균적으로 2~3 회 검색 작업을 수행하여 연결 및 답변 문서를 성공적으로 모두 커버한 것으로 나타났습니다. 반면, Tree-GRPO 와 같은 베이스라인들은 종종 매개변수 지식에 의존하며 검색 작업을 전혀 수행하지 않았습니다.
• 어블레이션 연구: 전문가 부트스트래핑 또는 증거 유도 탐색 구성 요소 중 하나를 제거하면 성능이 저하되어 두 메커니즘의 필요성을 확인했습니다. 이 방법은 "실버 증거"(고정된 답변 - 지지 쌍과 짝지어진 생성된 질문) 로 훈련될 때도 강건함을 보였습니다.

중요성과 주장

본 논문은 소형 에이전트의 다중 홉 추론에 대한 주요 병목 현상이 모델 크기 자체만이 아니라 자원 제약 하에서 밀집된 증거 수준의 훈련 신호 부재라고 주장합니다. DAVID-GRPO 를 도입함으로써 저자들은 다음과 같은 것을 입증합니다:

• 소형 에이전트는 밀집된 롤아웃 예산 없이도 효과적인 다중 홉 검색 전략을 학습할 수 있습니다.
• 소수의 오프-폴리시 전문가 궤적과 온-폴리시 증거 유도 재사용을 결합하면 훈련을 안정화하고 샘플 효율성을 향상시킬 수 있습니다.
• 이 접근법은 에이전트 연구에 대한 컴퓨팅 장벽을 낮추어, 상용 하드웨어를 갖춘 학술 연구실에서도 자원이 풍부한 조직에 국한되었던 에이전트 능력을 재현하고 확장할 수 있게 합니다.

저자들은 이 연구가 상용 하드웨어에서 능동적인 검색 에이전트를 훈련하는 길을 제공한다고 결론지었으나, 향후 작업은 검색기 품질과 코퍼스 커버리지에 대한 의존성을 더 줄일 수 있다고 언급했습니다.