1. 문제 정의 (Problem)

기존의 시각적 검색 증강 생성 (Visual RAG) 시스템은 대규모 시각 - 언어 모델 (LVLM) 에 외부 시각 지식을 결합하지만, 다음과 같은 한계를 가지고 있습니다:

• 세밀한 시각 의미의 부재: 일반적인 검색 신호 (Similarity Score) 는 복잡한 추론에 필요한 세밀한 시각적 의미 (예: 차트의 특정 구간, 문서의 레이아웃 등) 를 포착하지 못합니다.
• 수동적인 시각 활용: 기존 방법들은 전체 이미지를 수동적으로 인코딩하여, 불필요한 배경 노이즈를 포함시키고 컨텍스트 용량을 낭비합니다.
• 희소 보상 (Sparse Reward) 의 한계: 강화학습 (RL) 기반 방법들이 최종 답변의 정확도만 평가하는 희소 보상을 사용하여, 검색 (Retrieval), 선택 (Selection), 크롭 (Cropping) 등 중간 단계의 의사결정에 대한 명확한 피드백 (Credit Assignment) 을 제공하지 못합니다.

이로 인해 환각 (Hallucination) 이 발생하거나, 중요한 정보에 집중하지 못해 복잡한 추론 작업에서 성능이 저하됩니다.

2. 방법론 (Methodology)

저자들은 UniDoc-RL을 제안하며, 이는 LVLM 에이전트가 검색, 재순위화, 능동적 시각 인식, 추론을 통합적으로 수행하는 강화학습 프레임워크입니다.

A. 계층적 행동 공간 (Hierarchical Action Space)

시각 정보 획득을 ' coarse-to-fine(거시에서 미시)' 순서로 진행하는 3 단계 행동 공간을 정의합니다:

1. 이미지 검색 (Search Action): 외부 검색 도구를 사용하여 광범위한 후보 이미지 집합을 검색합니다.
2. 정밀 선택 (Precise Selection Action): 검색된 후보들 중 LVLM 이 쿼리와 의미적으로 가장 관련 있는 이미지를 선별하여 불필요한 노이즈를 제거합니다. 이는 검색과 추론 간의 의미적 간극을 메꿉니다.
3. 능동적 시각 인식 (Visual Perception Action): 선택된 이미지 내에서 중요한 정보 (Region of Interest) 가 포함된 영역을 자동으로 찾아 크롭 (Crop) 및 줌 (Zoom) 을 수행합니다. 이는 인간의 시각적 주의 메커니즘을 모방하여 고해상도 세부 정보를 추출하고 중복성을 줄입니다.

B. 밀집 다중 보상 체계 (Dense Multi-Reward Scheme)

중간 단계의 의사결정을 최적화하기 위해 각 행동 단계에 맞는 구체적인 보상을 설계합니다:

• 검색 보상 (NDCG-based): 검색된 후보 목록의 순위를 평가합니다.
• 선택 보상 (Selection-based): LVLM 이 선택한 이미지가 정답 (Ground Truth) 에 포함되었는지 여부를 평가합니다. (가짜 양수 (Pseudo-positive) 전략을 통해 학습 신호를 강화)
• 시각 인식 보상 (IoU-based): 예측된 크롭 영역과 정답 영역 간의 IoU(Intersection over Union) 를 계산하여 위치 정확도를 평가합니다.
• 패턴 보상 (Pattern Reward): XML 태그 (<search>, <select>, <bbox> 등) 의 올바른 사용 여부를 검증합니다.
• 결과 보상 (Outcome Reward): 최종 답변의 정확도를 평가합니다.

이러한 보상들은 가중치 합으로 통합되어 GRPO(Group Relative Policy Optimization) 알고리즘을 통해 모델을 학습시킵니다. 별도의 가치 네트워크 (Value Network) 없이도 효율적인 학습이 가능합니다.

C. 데이터 구축

고품질의 추론 궤적 (Reasoning Trajectories) 과 세밀한 행동 주석을 포함하는 대규모 데이터셋을 구축했습니다. Qwen3-VL-235B 와 같은 강력한 교사 모델을 사용하여 검색, 선택, 크롭 동작을 포함한 합성 데이터를 생성하고, 엄격한 필터링 과정을 거쳐 SFT 및 RL 학습용 데이터 (각각 12,621 개, 5,537 개) 를 확보했습니다.

3. 주요 기여 (Key Contributions)

1. UniDoc-RL 프레임워크: 검색, 재순위화, 능동적 시각 인식, 추론을 단일 의사결정 과정으로 통합한 최초의 통합 RL 프레임워크 제안.
2. 고품질 데이터셋: 세밀한 행동 주석이 포함된 다양한 추론 궤적 데이터셋을 공개하여 향후 Visual RAG 연구의 기반을 마련.
3. 성능 향상: 3 개의 벤치마크에서 기존 최첨단 (SOTA) 방법들을 일관되게 능가하며, 특히 기존 RL 기반 방법 대비 최대 17.7% 의 성능 향상을 달성.

4. 실험 결과 (Results)

ViDoSeek, SlideVQA, MMLongBench 등 3 개의 벤치마크에서 Qwen2.5-VL(3B, 7B) 기반 모델을 사용하여 실험했습니다.

• 성능: UniDoc-RL 은 OCR 기반 RAG, 기존 ReAct, Search-R1, 그리고 가장 강력한 베이스라인인 VRAG-RL 을 모두 압도했습니다. 특히 3B 모델 기준 VRAG-RL 대비 17.5%, 7B 모델 기준 17.7% 의 큰 격차로 우위를 점했습니다.
• Ablation Study:
  • 정밀 선택 (Selection): 복잡한 추론 작업 (SlideVQA, ViDoSeek) 에서 검색된 컨텍스트의 품질을 높여 성능을 크게 개선했습니다.
  • 시각 인식 (Visual Perception): MMLongBench 와 같은 세밀한 시각 디테일이 필요한 작업에서 크롭 동작을 통해 성능을 추가적으로 향상시켰습니다.
  • 다중 보상: 희소 보상 대비 밀집 보상을 적용했을 때 중간 단계의 정확도가 향상되어 전체적인 추론 경로가 더 견고해졌습니다.
• 분석: RL 학습 후 모델은 수동적인 전체 이미지 읽기에서 벗어나, 질문이 필요로 할 때만 능동적으로 크롭을 수행하는 전략을 학습한 것으로 확인되었습니다.

5. 의의 (Significance)

UniDoc-RL 은 시각적 RAG 시스템이 단순히 이미지를 검색하는 것을 넘어, 어떤 정보를 찾아야 하는지 (검색), 어떤 이미지가 중요한지 (선택), 그리고 이미지의 어느 부분을 자세히 봐야 하는지 (인식) 를 스스로 판단하고 최적화할 수 있음을 증명했습니다.

• 효율성: 불필요한 배경 노이즈를 제거하고 정보 밀도가 높은 영역에 집중함으로써 컨텍스트 효율성을 극대화합니다.
• 학습 패러다임: 희소 보상에서 밀집 다중 보상 체계로의 전환은 복잡한 다단계 에이전트 학습에서 중간 단계의 의사결정을 최적화하는 새로운 표준을 제시합니다.
• 실용성: 복잡한 문서, 차트, 보고서 분석 등 실제 산업 환경에서 요구되는 정밀한 시각적 추론 작업에 적용 가능한 강력한 솔루션을 제공합니다.

결론적으로, UniDoc-RL 은 시각적 정보 처리를 위한 계층적 행동과 밀집 보상을 결합함으로써, LVLM 기반의 시각적 RAG 성능을 한 단계 도약시킨 획기적인 연구로 평가됩니다.