기술 요약: VisRAG2.0 (EVisRAG)

문제 정의

시각적 검색 증강 생성(Visual Retrieval-Augmented Generation, VRAG)은 시각-언어 모델(VLM)이 파라미터 지식을 넘어서는 질문에 답할 수 있도록 외부 시각적 증거를 제공하는 것을 목표로 합니다. 그러나 기존의 VRAG 방식은 다중 이미지 환경에서 다음과 같은 중요한 문제에 직면해 있습니다:

1. 시각적 환각(Visual Hallucinations): VLM은 여러 개의 검색된 이미지 중에서 질문과 관련된 증거를 정확하게 식별하는 데 실패하는 경우가 많으며, 이로 인해 잘못된 답을 내놓거나 존재하지 않는 시각적 내용을 지어내기도 합니다.
2. 명시적 증거 수집의 부재: 현재의 방법들은 명시적인 교차 이미지 증거 수집 과정 없이 텍스트 기반 RAG 관행을 시각 영역으로 그대로 옮겨오는 경향이 있습니다. 이들은 외부 에이전트나 도구에 의존하며, 이는 구조적 복잡성과 계산 비용을 증가시킵니다.
3. 학습 불안정성: 혼합된 보상을 사용하여 시각적 인지와 추론을 공동 최적화하면 학습이 불안정해지는 경우가 많습니다. 명확한 신용 할당(credit assignment)의 부재는 서로 다른 목적 함수에서 발생하는 그래디언트가 관련 없는 토큰들 사이에서 충돌하게 만들어 신호 간의 간섭을 초래합니다.

방법론: EVisRAG

저자들은 VLM이 여러 이미지를 가로질러 정밀한 시각적 인지와 추론을 수행할 수 있도록 설계된 프레임워크인 EVisRAG(Evidence-guided Vision Retrieval-augmented Generation)를 제안합니다.

1. 증거 가이드 추론 프로세스 (Evidence-Guided Reasoning Process)

EVisRAG는 관찰, 증거 기록, 추론을 명시적으로 분리함으로써 표준적인 사고 사슬(Chain-of-Thought, CoT)을 넘어 생성 과정을 네 가지 단계로 구조화합니다:

• 검색(Retrieval): 쿼리와 관련된 상위-$k$개의 문서 페이지 스냅샷을 검색합니다.
• 시각적 인지(관찰)(Visual Perception (Observation)): 모델은 검색된 이미지를 순차적으로 관찰하며, 시각적 내용에 대한 이해를 확립하기 위해 페이지 인지적 관찰($y_o$)을 생성합니다.
• 증거 기록(Evidence Recording): 쿼리와 관찰 내용에 기반하여, 모델은 이미지별 증거 시퀀스($y_e$)를 생성합니다. 결정적으로, 모델은 증거가 없는 이미지에 대해 "관련 정보 없음"을 명시적으로 기록함으로써, 모델이 관련 없는 세부 사항을 추론 과정에 강제로 끼워 넣는 것을 방지합니다.
• 답변 추론(Answer Reasoning): 모델은 집계된 증거($y_p = \{y_o, y_e\}$)를 바탕으로 "탐정 스타일"의 추론($y_r$)을 수행하며, 가설을 세우고, 모순을 교차 검증하며, 최종 답변($y_a$)을 생성하기 전 일관된 궤적을 구성합니다.

2. 보상 범위 지정 그룹 상대 정책 최적화 (Reward-Scoped Group Relative Policy Optimization, RS-GRPO)

EVisRAG를 효과적으로 훈련하기 위해, 저자들은 다단계 추론에서의 신용 할당 문제를 해결하는 GRPO의 확장판인 RS-GRPO를 도입합니다.

• 보상 범위(Reward Scopes): 출력 시퀀스는 관찰($T_o$), 증거 기록($T_e$), 추론($T_r$), 답변($T_a$)의 네 가지 범위로 나뉩니다.
• 세분화된 보상(Fine-Grained Rewards): 세 가지 특정 보상이 적용됩니다:
  • 형식 보상($R_{format}$): 구조화된 워크플로우(관찰 $\to$ 기록 $\to$ 추론 $\to$ 답변) 준수를 강제합니다.
  • 인지 보상($R_{perception}$): 질문과 관련된 영역이 증거 기록 단계에서 올바르게 국소화되고 요약되었는지 평가합니다.
  • 도출 보상($R_{derivation}$): 최종 답변이 기록된 증거로부터 올바르게 도출되었는지 평가합니다.
• 범위 지정 최적화(Scoped Optimization): 전체 시퀀스에 보상을 방송하는 전통적인 방식과 달리, RS-GRPO는 각 보상을 유효한 토큰 범위(예: $R_{perception}$은 $T_o$와 $T_e$만을 감독)로 제한합니다. 이는 단계 간 간섭을 줄이고, 최적화 신호를 날카롭게 하며, 학습을 안정화합니다.

주요 기여

1. EVisRAG 프레임워크: 시각적 증거 수집을 추론으로부터 명시적으로 분리하여, VLM이 결론을 내리기 전에 이미지별로 증거를 수집하고 검증하는 "탐정"처럼 행동할 수 있게 하는 새로운 아키텍처입니다.
2. RS-GRPO 알고리즘: 보상 신호를 특정 토큰 구간에 정렬시키기 위해 범위별 보상을 도입하는 훈련 전략입니다. 이는 인지와 추론 목적 사이의 간섭을 완화하여 더 안정적이고 효과적인 공동 최적화를 이끌어냅니다.
3. 포괄적인 평가: 다섯 가지 다양한 VQA 벤치마크(ChartQA, InfoVQA, DocVQA, SlideVQA, ViDoSeek)를 통한 광범한 실험을 통해 접근 방식의 효용성을 입증했습니다.

실험 결과

• 성능 향상: EVisRAG(7B 파라미터 백본 사용)는 베이스라인인 Qwen2.5-VL-7B보다 평균 정확도에서 19%, F1 점수에서 27% 더 높은 성능을 일관되적으로 보여줍니다. 또한 더 큰 32B 모델 및 다른 최첨단 VLRM 및 VRAG 방법들을 능가합니다.
• 환각 감소: 이 프레임워크는 시각적 환각을 실질적으로 감소시킵니다. 잘못된 검색이 발생한 시나리오에서 EVisRAG는 잘못된 답을 생성하는 대신 절제(답변 거부)가 통제된 방식으로 증가함을 보여주며, 이는 검색된 내용에 대한 충실도가 향상되었음을 나타냅니다.
• 절제 연구(Ablation Studies):
  • 일반적인 CoT를 증거 가이드 추론으로 대체했을 때 일관된 이득이 발생하여, 구조화된 증거 국소화의 가치를 입증했습니다.
  • RS-GRPO는 DAPO 및 StepGRPO보다 우수한 성능을 보여, 범위 지정된 신용 할당이 성능에 결정적임을 확인했습니다.
• 어텐션 분석: EVisRAG는 비교된 방법들 중 가장 높은 시각적 증거 어텐션 비율(인간이 주석을 단 증거 박스에 대한 집중도)을 달하며, 이는 높은 추론 정확도와 강한 상관관계를 보입니다.
• 효율성: 다단계 생성에도 불구하고, EVisRAG는 경쟁력 있는 추론 지연 시간(약 100초)과 출력 길이를 유지하며, 유사하거나 더 낮은 정확도를 가지면서 더 높은 계산 비용을 유발하는 R1-Router와 같은 베이스라인보다 뛰어난 성능을 보입니다.

의의

본 논문은 명시적 증거 수집과 범위 지정 보상 설계가 다중 이미지 환경에서 시각적 접지(visual grounding) 및 추론 신뢰성을 개선하는 데 효과적인 메커니즘임을 주장합니다. 인지와 추론을 분리하고 타겟팅된 감독을 적용함으로써, EVisRAG는 VRAG의 근본 원인인 시각적 환각 문제를 해결합니다. 이 연구는 이 프레임워크를 갖춘 7B 모델이 훨씬 더 큰 모델의 성능을 능가할 수 있음을 보여주며, 더 신뢰할 수 있고 해석 가능하며 환각에 강한 시각적 검색 증강 생성 시스템을 향한 실용적이고 확장 가능한 경로를 제시합니다.