기술 요약: ABSeeker - 정답 역추적 신용 할당을 통한 장기 탐색 에이전트 학습

1. 문제 정의

장기 탐색(Long-horizon search) 에이전트는 복잡한 질의를 해결하기 위해 정보를 검색, 검증 및 통합하는 여러 단계의 순차적인 행동을 필요로 합니다. 그러나 지도 미세 조정(SFT)과 강화 학습(RL)을 포함한 기존의 학습 방법들은 일반적으로 **궤적 수준의 감독(trajectory-level supervision)**에 의존합니다. 이 패러다임에서는 궤적 내의 모든 단계가 동일하게 취급됩니다. 즉, 성공적인 궤적은 전체가 보상을 받고, 실패한 궤적은 전체가 벌점을 받습니다.

이러한 균등한 처리는 근본적인 **신용 할당 문제(credit-assignment problem)**를 야기합니다:

• 거짓 음성(False Negatives): 실패한 궤적이라 할지라도 그 안에 결정적인 증거를 발견하거나 가설을 정교화하는 것과 같은 매우 유용한 중간 단계가 포함되어 있을 수 있지만, 최종 답변이 틀렸다는 이유로 보상을 전혀 받지 못합니다.
• 거짓 양성(False Positives): 성공적인 궤적이라도 오류가 있거나, 불필요하거나, 혹은 탐색 과정을 방해하는 잘못된 단계가 포함될 수 있음에도 불구하고 전체 보상을 받게 됩니다.
• 세밀함의 부족(Lack of Granularity): 기존 방식은 개별 행동의 기여도를 구별하지 못하므로, 핵심적인 탐색 및 추론 동작을 최적화하는 데 한계가 있습니다.

2. 방법론: 정답 역추적 신용 할당 (Answer-Backtracked Credit Assignment, ABC)

저자들은 정교한 궤적 수준의 결과를 밀도 높은 단계별 감독으로 변환하는 미세한 프레임워크인 **정답 역추적 신용 할당(ABC)**을 제안합니다. 핵심 통찰은 정답(ground-truth answer)이 확보되면, 탐색 작업은 자연스럽게 **역추적(backtrackable)**이 가능하다는 점입니다. 검증된 정답으로부터 역추적함으로써, 마땅히 발견되었어야 할 중간 증거(단서)들을 복구할 수 있습니다.

이 프레임워크는 두 가지 주요 단계로 작동합니다.

2.1 정답 역추적 단서 복구 (Answer-Backtracked Clue Recovery)

질의 $q$와 검증된 정답 $a^*$가 주어지면, 시스템은 LLM을 사용하여 문제를 해결하는 데 필요한 증거 체인을 재구성합니다.

• 프로세스: 복구 모델은 능동적인 에이전트로서 역할을 수행하며, 웹 검색을 수행하고 페이지를 방문하여(순방향 에이전트와 동일한 도구 호출 프로토콜 사용) 정답으로부터 질의의 제약 조건까지의 증거를 역추적합니다.
• 출력: 일련의 중간 증거 단서 세트 $C = \{c_1, c_2, ..., c_K\}$를 생성합니다. 이 단서들은 질의와 정답을 연결하는 검증된 증거 체인을 형성하는 구체적이고 검증 가능한 정보(엔티티, 사실, 속성 또는 관계)입니다.
• 역할: 이 단서들은 최종 결과와 무관하게 모든 탐색 궤적의 품질을 평가하기 위한 고정된 앵커(anchor) 역할을 합니다.

2.2 단서 기반 단계 점수 산정 (Clue-Anchored Step Scoring)

수집된 궤적(성공 또는 실패 여부와 상관없이)의 모든 단계 $s_t$는 복구된 단서 세트 $C$를 기준으로 평가됩니다.

• 점수 산정 메커니즘: 각 단계는 기본 점수 1.0에서 시작합니다. 점수는 단계의 추론, 도구 호출 및 응답에서 감지된 특정 행동에 따라 조정됩니다.
  • 양의 변화량(Positive Deltas): 올바른 단서 발견/검증 (+0.8), 잘못된 후보 제외 (+0.4), 또는 검증된 정답 제출 (+1.0).
  • 음의 변화량(Negative Deltas): 올바른 단서를 잘못 제외 (-0.8)하거나, 잘못된 정답 제출 (-1.0).
• 최종 보상: 단계 보상 $r_t$는 $[0, 2.0]$ 범위로 클리핑(clipped)된 누적 점수입니다. 결정적으로, 실패한 궤적 내에서 올바른 단서를 발견한 단계는 양(+)의 보상을 받는 반면, 성공한 궤적 내에서 유용한 증거를 버린 단계는 벌점을 받습니다.

2.3 학습 파이프라인

이러한 밀도 높은 단계별 보상을 바탕으로 저자들은 두 가지 학습 알고리즘을 개발했습니다.

1. ABC-SFT (보상 가중치 적용 지도 미세 조정): 표준 SFT를 수정하여 각 턴의 손실(loss)에 가중치를 다시 부여합니다. 가중치 $w(r_t)$는 단계 보상의 시그모이드 함수를 통해 계산되며, 이를 통해 고품질의 단계는 그래디언트에 더 강하게 기여하고 오류가 있는 단계는 가중치를 낮춥니다.
2. ABC-GRPO (단계별 강화 학습): 단계별 점수는 그룹 상대 정책 최적화(GRPO) 알고리즘의 보상으로 사용됩니다. 단일 궤적 수준의 어드밴티지 대신, 알고리즘은 각 토큰에 대해 할인된 단계별 어드밴티지를 계산하여 정교한 정책 업데이트를 가능하게 합니다.

3. 주요 기여

• 정답 역추적 신용 할당 (ABC): 검증된 정답을 활용하여 중간 증거 단서를 재구성함으로써, 최종 궤적 결과와 무관하게 개별 탐색 단계를 평가할 수 있게 하는 새로운 프레임워크를 제안합니다.
• ABC-SFT 및 ABC-GRPO: ABC에서 파생된 두 가지 학습 알고리즘으로, 각각 SFT 손실의 가중치를 재부여하고 RL 정책을 최적화하기 위해 밀도 높은 단계별 보상을 활용합니다.
• ABSeeker: 4B 파라미터 백본(Qwen3.5-4B)을 사용하여 8.5k개의 예시만으로 학습된 탐색 에이전트입니다. 이는 정교한 과정 감독(process supervision)이 거대한 모델 규모 없이도 높은 성능을 낼 수 있음을 보여줍니다.

4. 실험 결과

저자들은 다섯 가지 벤치마크(BrowseComp, BrowseComp-ZH, xbench-2505, xbench-2510, GAIA-text)에서 ABSeeker를 평가했습니다.

• 성능:
  • BrowseComp: 컨텍스트 관리 미적용 시 37.3%, 컨텍스트 관리 적용 시 **55.3%**로 향상.
  • BrowseComp-ZH: 컨텍스트 관리 미적용 시 39.1%, 컨텍스트 관리 적용 시 **52.9%**로 향상.
  • xbench-2505: 77.0%.
  • xbench-2510: 46.0%.
  • GAIA-text: 81.6%.
• 비교:
  • ABSeeker는 모든 4B 규모 탐색 에이전트 중 최고의 성능을 기록했습니다 (QUEST-4B, DR-Venus, AgentCPM-Explore를 능가).
  • 동일 규모의 베이스라인을 크게 앞지르며, 여러 벤치마크에서 Tongyi DeepResearch나 OpenSeeker와 같은 **훨씬 더 큰 규모의 에이전트(~30B)**의 성능과 대등하거나 이를 상회합니다.
• 절제 연구 (Ablation Studies):
  • 표준 SFT를 ABC-SFT로 교체했을 때 모든 벤치마크에서 일관된 성능 향상이 나타났습니다.
  • 표준 궤적 수준의 GRPO를 ABC-GRPO로 교체했을 때 성능이 더욱 향상되었으며, 이는 단계별 신용 할당이 탐색 정확도와 탐색적 행동(exploratory behavior) 모두를 개선함을 입증합니다.
  • 보상 분포 분석 결과, 성공적인 궤적에서도 약 4%의 단계가 저품질인 반면, 실패한 궤적의 약 10%는 고품질인 것으로 나타났습니다. ABC는 후자를 성공적으로 식별하여 보상하고 전자를 억제하는 데 성공했습니다.

5. 의의 및 주장

본 논문은 정답 역추적 신용 할당이 명시적이고 정교한 과정 감독을 제공함으로써 장기 탐색에서의 신용 할당 문제를 효과적으로 해결한다고 주장합니다.

• 효율성: 이 방법은 컴팩트한 4B 모델이 훨씬 더 큰 에이전트들을 능가할 수 있게 함으로써, 탐색 작업에서는 단순한 모델 규모보다 훈련 감독의 품질(유용한 단계와 오류가 있는 단계를 구분하는 것)이 더 중요하다는 것을 시사합니다.
• 일반화: BrowseComp 스타일의 질문으로만 학습되었음에도 불구하고, ABSeeker는 xbench 및 GAIA에서 효과적으로 일반화되는 성능을 보여주어 강력한 교차 벤치마크 능력을 입증했습니다.
• 과정 감독: 유용한 행동에는 보상을 주고 성공적인 궤적 내의 오류는 억제하는 것이 더 효율적이고 신중한 탐색 행동을 이끌어낸다는 점을 결과가 입증합니다.

저자들은 이 접근 방식이 확장 가능한 탐색 에이전트 훈련을 위한 명시적인 과정 감독의 중요성을 강조하며, 결과(outcome)를 중간 증거로 역추적할 수 있는 다른 장기 과제들로 이 프레임워크를 확장할 것을 제안하며 결론을 맺습니다.