기술 요약: 시각적으로 접지된 장기적 정보 탐색 에이전트를 위한 정보 인지적 신용 할당 (Information-Aware Credit Assignment)

문제 정의

장기적(long-horizon) 강화 학습(RL)을 수행하는 정보 탐색 에이전트는 두 가지 주요 병목 현상에 직면해 있습니다: **희소한 신용 할당(sparse credit assignment)**과 불안정한 정보 표현(unstable information representation).

1. 희소한 신용 할당: 다단계 웹 브라우징이 필요한 작업에서, 최종 보상은 단지 최종 답변이 정답인지 여부만을 나타냅니다. 이는 어떤 특정 검색이나 페치(fetch) 동작이 성공에 필요한 결정적인 정보를 획득했는지를 식별하지 못합니다. 이로 인해 에이전트는 유용한 증거 획득과 비생산적인 탐색을 구분할 수 없게 되어, 중간 단계의 정보 검색 의사결정을 최적화하기 어려워집니다.
2. 불안정한 표현: 기존 에이전트들은 웹페이지를 처리하기 위해 텍스트 기반 파싱 파이프라인(선형화, 요약 또는 청킹)에 의존하는 경우가 많습니다. 이러한 방식은 레이아웃 구조, 시각적 단서, 표 등을 누락시키는 경우가 많습니다. 또한, 동일한 웹페이지라도 컨텍스트 예산이나 도구 파이프라인의 변화에 따라 서로 다르게 파싱, 절단 또는 요약될 수 있으며, 이는 획득된 증거를 서로 식별하거나 비교 불가능하게 만듭니다.

방법론

저자들은 장기적 웹 에이전트 학습을 증거 귀속(evidence attribution) 문제로 취급하는 프레임워크인 **정보 인지적 신용 할당(Information-Aware Credit Assignment, ICA)**을 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 시각적 스냅샷 기반 증거 단위 (Visual Snapshot-Based Evidence Units)

본 프레임워크는 페치된 웹페이지를 선형화된 텍스트 대신 렌더링된 스냅샷으로 표현합니다. 이 스냅샷은 레이아웃, 표 및 멀티모달 단서를 포함한 전체 가시적 콘텐츠를 보존합니다.

• 안정성: 스냅샷은 안정적인 콘텐츠 수준의 관측치 역할을 하여, 서로 다른 궤적(trajectory) 간에도 동일한 정보원을 일관되게 식별하고 비교할 수 있게 합니다.
• 효율성: 레이아웃을 보존함으로써 스냅샷은 토큰 사용량을 크게 줄이며(파싱된 텍xt 대비 27%~65% 감소), 장기적 작업에서 흔히 발생하는 컨텍스트 오버플로 문제를 완화합니다.

2. 정보 인지적 신용 할당 (ICA)

ICA는 정보의 유용성에 기초하여 중간 단계에 조밀한 보상을 할당하는 사후(post-hoc) 보상 전파 방법입니다.

• 원자적 증거 연관 (Atomic Evidence Association): 시스템은 "원자적 증거 단위"(예: 특정 검색 결과 또는 전체 웹페이지 스냅샷)를 정의합니다. 그리고 해당 단위를 획득한 궤적과 그렇지 않은 궤적의 성공률을 비교하여 각 단위에 대한 연관 기반 유용성 점수($\Delta_e$)를 계산합니다.
  • $P^+_e$: 증거 $e$가 획득되었을 때의 성공 확률.
  • $P^-_e$: 증거 $e$가 획득되지 않았을 때의 성공 확률.
  • $\Delta_e = P^+_e - P^-_e$.
• 턴 단위 보상 전파 (Turn-Level Reward Propagation):
  • 도구 턴 (Tool Turns): 검색 또는 페치 턴이 높은 유용성을 가진 증거 단위(획득된 단위 중 상위 비율에 속하는 단위)를 도입한 경우, 양의 이진 보상을 받습니다.
  • 답변 턴 (Answer Turns): 최종 답변 턴은 정답 여부에 따라 비대칭적인 형태의 보상을 받으며, 에이전트가 철저히 탐색했을 경우 실패에 대한 페널티를 덜 부여하는 버젯 인지형 셰이핑(budget-aware shaping)을 적용합니다.
  • 어드밴티지 계산: 보상은 정규화되어 턴 단위 어드밴티지로 할당되며, 이를 통해 검색 품질 감독을 최종 답변 결과와 분리합니다.

3. ICA-GSPO 최적화

이 방법은 ICA를 **그룹 시퀀스 정책 최적화(Group Sequence Policy Optimization, GSPO)**와 통합합니다. 전체 궤적에 대해 중요도 비율을 계산하는 표준 GSPO와 달리, ICA-GSPO는 각 턴에 대해 독립적으로 중요도 비율을 계산합니다. 이러한 설계는 에이전트의 다중 턴 구조에 부합하며, 단일 토큰에서의 급격한 정책 변화가 궤적 수준의 추정치를 오염시키는 것을 방지합니다. 최종 목적 함수는 고정된 가중치 인자를 사용하여 도구 턴과 답변 턴의 대리 손실(surrogate loss)을 합산합니다.

주요 기여

1. 증거 귀속 공식화: 장기적 웹 에이전트 학습을 단순히 최종 결과에 의존하는 것이 아니라, 도입된 정보에 기반하여 검색 동작을 최적화하는 증거 귀속 문제로 재정의했습니다.
2. 안정적인 시각적 관측치: 렌더링된 웹페이지 스냅샷을 안정적인 콘텐츠 수준의 관측 모달리티로 도입하여, 페치된 정보에 대한 일관된 교차 궤적 비교를 가능하게 했습니다.
3. ICA 메커니즘: 도구로 획득한 정보에 대한 연관 기반 유용성 점수를 추정하고, 고유용 증거를 도입한 특정 검색 및 페치 턴에 조밀한 보상을 전파하는 사후 신용 할당 방법을 제안했습니다.
4. 성능 향상: ICA를 GSPO와 결래한 결과, 여러 벤치마크에서 일관된 성능 향상을 보였으며, 8B 모델이 15B 미만의 대부분의 오픈 소스 에이전트를 능가했습니다.

실험 결과

저자들은 네 가지 장기적 정보 탐색 벤치마크인 BrowseComp, GAIA, Xbench-DS, Seal-0에서 접근 방식을 평가했습니다.

• 성능: 제안된 Qwen3-VL-8B-ICA 모델은 BrowseComp에서 25.0, GAIA에서 69.9, Xbench-DS에서 71.0, Seal-0에서 25.2의 Pass@1 정확도를 달성했습니다. 이는 텍스트 기반 베이스라인(예: WebExplorer-8B는 BrowseComp에서 15.7 기록)을 크게 상회하며, 대규모 독점 시스템과 경쟁할 만한 수준입니다.
• 절제 연구 (Ablation Studies):
  • 스냅샷 vs. 텍스트: 지도 미세 조정(SFT)에서 스냅샷을 사용하는 것이 텍스트 파싱보다 일관된 개선을 보였으며, 특히 레이아웃에 민적한 벤치마크(GAIA, Xbench-DS)에서 두드ことが 있었습니다.
  • ICA vs. GSPO: ICA는 바닐라 GSPO보다 일관되게 우수한 성능을 보였으며, 가장 큰 이득은 장기적이고 노이즈가 많은 작업에서 관찰되었습니다.
  • 증거 충분성: ICA에 의해 선택된 증거(유용성 점수 기준 상위 p%)가 무작위 또는 저득점 베이스라인에 비해 훨씬 높은 답변 정확도(71.0%)를 달와하여, 답변을 뒷받래는 증거를 식별하는 방법의 능력을 입증했습니다.
  • 토큰 효율성: 스냅샷 기반 접근 방식은 모든 데이터셋에서 컨텍스트 오버플로 발생률을 0.0%로 낮춘 반면, 텍스트 기반 베이스라인은 BrowseComp에서 최대 36.0%의 오버플로율을 겪었습니다.

의의 및 한계점

의의:
본 논문은 시각적으로 구조화된 외부 관측치에 강화 학습을 접지시키고, 획득된 증거의 세밀한 수준에서 신용 할당을 수행하는 것이 장기적 웹 에이전트 학습을 위한 중요한 진전임을 주장합니다. 이는 효과적인 최적화를 위해서는 단순히 정답을 보상하는 것뿐만 아니라, 유용한 정보를 도입한 특정 검색 동작에 명시적으로 신용을 할당하는 것이 필요함을 보여줍니다.

한계점:
저자들은 두 가지 주요 한계를 인정합니다:

1. 시각적 중복성: 현재 프레임워크는 Vision Transformer에 직접 입력되는 압축되지 않은 시각적 표현에 의존하므로, 특히 시각적으로 밀도가 높거나 매우 긴 웹페이지의 경우 토큰 중복과 계산 오버헤드가 발생합니다.
2. 컨텍스트 관리: 시스템에 동적 컨텍스트 축소나 메모리 기반 슬라이딩 윈도우와 같은 정교한 컨텍스트 관리 전략이 부족하여, 매우 깊은 검색 작업 시 컨텍스트 오버플로나 초기 획득 증거의 손실이 발생할 수 있습니다.

저자들은 향후 연구가 이러한 효율성 병목 현상을 해결하기 위해 시각적 토큰 압축 및 적응형 메모리 관리에 집중해야 한다고 제안합니다.