기술 요약: 반복적 검색 증강 생성 (iRAG) 을 위한 증거 연쇄 (CoE)

1. 문제 정의

반복적 검색 증강 생성 (iRAG) 은 외부 문서를 점진적으로 검색하고 추론함으로써 복잡한 다단계 (multi-hop) 질문에 답변하는 패러다임으로 등장했습니다. 그러나 현재 iRAG 시스템은 실제 세계의 시각적으로 풍부한 문서 (예: PDF, 슬라이드, 웹 보고서) 를 처리할 때 세 가지 치명적인 병목 현상에 직면해 있습니다:

1. 검증 병목 현상: 기존 시스템은 "[출처: Doc-1]"과 같은 거시적 수준의 텍스트 인용만 제공합니다. 다단계 시나리오에서는 사용자가 긴 문서를 수동으로 스캔하여 특정 지지 문장을 찾아야 하므로 인지 부하가 매우 높습니다.
2. 텍스트 변환 과정의 정보 손실: OCR 또는 파싱을 통해 시각적으로 풍부한 문서를 선형 텍스트로 변환하면 공간적 논리와 레이아웃 단서 (예: 차트 추이, 다이어그램 흐름, 슬라이드 계층 구조) 가 파괴됩니다. 많은 문서에서 증거는 텍스트뿐만 아니라 요소 간의 시각적 관계에 존재하므로, 텍스트 기반 인용은 근본적으로 불충분합니다.
3. 불투명한 추론 연쇄: 사용자는 의사결정 경로를 가시화할 수 없습니다. 현재 방법론들은 중간 증거가 어떻게 다단계 경로에서 다음 문서를 선택하게 했는지, 즉 '증거 연쇄'를 시각화하지 못합니다.

2. 방법론: 증거 연쇄 (CoE)

이러한 한계를 해결하기 위해 저자들은 파싱된 텍스트가 아닌 문서 스크린샷을 직접 처리하는 리트리버 무관 (retriever-agnostic) 인 시각적 어트리뷰션 프레임워크인 **증거 연쇄 (Chain of Evidence, CoE)**를 제안합니다.

핵심 아키텍처

• 시각 우선 패러다임: CoE 는 취약한 텍스트 파싱 파이프라인을 우회합니다. 상류 리트리버로부터 후보 문서 스크린샷 세트를 입력받아 이미지 ($d^{vis}_i \in \mathbb{R}^{H \times W \times 3}$) 로 처리합니다.
• 리트리버 무관 설계: 이 프레임워크는 상위 k 개의 후보 집합을 반환하는 일반적인 상류 리트리버를 가정합니다. CoE 는 리트리버 특정 매개변수를 도입하지 않고 이러한 후보 내에서 증거를 선택, 순서화, 그리고 근거화 (grounding) 하는 데 중점을 둡니다.
• 출력 형식: 텍스트 인용 대신 CoE 는 다음과 같이 구성된 구조화된 증거 연쇄를 출력합니다:
  • 선택된 후보 이미지 식별자.
  • 증거 영역 (텍스트 단락, 표 셀, 다이어그램) 을 정확히 지시하는 정밀한 바운딩 박스 $[(x_1, y_1), (x_2, y_2)]$.
  • 각 단계 (hop) 에 대한 자연어 하위 쿼리 또는 추론 사고.
• 생성 과정: 모델은 단일 자기회귀 (autoregressive) 패스를 수행하여 쿼리와 후보 스크린샷을 답변과 $(document, \text{bounding boxes}, \text{reasoning})$ 튜플의 시퀀스로 매핑하는 완전한 증거 연쇄를 생성합니다.

학습 전략

저자들은 Qwen3-VL-8B-Instruct 모델을 사용하여 2 단계 커리큘럼 학습 전략을 적용합니다:

1. 1 단계 (단일 단계): 모델이 단일 이미지에서 증거를 위치시키는 시각적 근거화 (visual grounding) 능력을 확립하도록 학습합니다.
2. 2 단계 (다단계): 1 단계 체크포인트에서 워밍업하여 상위 5 개 후보 스크린샷에 대한 다단계 증거 연쇄 생성을 도입합니다.

• 데이터 증강: 견고성을 보장하기 위해 학습에는 공간 증강 (자르기, 이동), 해상도 변형 (다양한 시각적 밀도 처리), 그리고 증거 순열 (전달 순서와 논리적 추론 순서의 분리) 이 포함됩니다.

3. 데이터셋 및 평가

저자들은 다양한 수준의 시각적 복잡성에서 CoE 를 엄격하게 평가하기 위해 이중 벤치마크 전략을 도입했습니다:

• Wiki-CoE: 2WikiMultiHopQA에서 파생된 대규모 데이터셋으로, 70,418 개의 다단계 질문을 포함합니다. 구조화된 레이아웃 (표, 정보상자) 을 위한 바운딩 박스 주석이 달린 위키백과 페이지의 고정밀 스크린샷이 특징입니다.
• SlideVQA: 공간적 배열이 의미상 결정적인 복잡한 다이어그램, 자유형 레이아웃, 차트가 포함된 프레젠테이션 슬라이드 데이터셋입니다.

평가 지표:

• 답변 정확도 (EM): 생성된 답변의 정확한 일치 (Exact Match).
• 증거 위치 정확도 (Loc-Acc): 올바른 후보 이미지 선택과 정답과의 바운딩 박스 중첩 (IoU $\ge$ 0.3) 을 모두 요구하는 결합 지표.
• 추론 연쇄 정확도 (Chain-Acc): 선택된 문서의 순서화된 시퀀스가 금표 (gold) 추론 경로와 일치하는지 확인합니다.

4. 주요 결과

실험 결과, CoE 는 특히 시각적 레이아웃 이해가 필요한 시나리오에서 텍스트 기반 베이스라인 및 제로샷 비전 - 언어 모델 (VLM) 보다 현저히 우수한 성능을 보였습니다.

• Wiki-CoE 성능: CoE-8B 는 82.3% EM, 94.4% Chain-Acc, 80.4% Loc-Acc를 달성했습니다. 일반적인 VLM(예: GPT-5) 은 경쟁력 있는 답변 정확도를 보이지만, 어트리뷰션 품질은 현저히 낮습니다 (예: GPT-5 는 Loc-Acc 31.7% 만 달성).
• SlideVQA 성능: 시각 우선 접근법의 이점이 여기서 가장 두드러집니다. 텍스트 기반 베이스라인은 레이아웃 정보 손실로 인해 실패합니다. CoE-8B 는 58.8% EM, 87.5% Chain-Acc, 61.0% Loc-Acc를 달성했습니다. 반면, 제로샷 Qwen3-VL-235B 는 6.8% Loc-Acc로 급락했으며, 텍스트 기반 OCR 베이스라인은 다이어그램이 많은 슬라이드에서 심각한 어려움을 겪었습니다.
• 시각적 복잡성의 영향: 플로우차트 및 데이터 차트가 포함된 슬라이드에서 CoE 는 OCR 기반 방법보다 최대 **28.1%**까지 높은 정확도로 성능을 상회하여, 비선형 정보 구조에서는 시각적 어트리뷰션이 단순한 향상이 아닌 필수 요소임을 입증했습니다.
• 애블레이션 연구:
  • 커리큘럼 학습: 단일 단계 사전 학습 단계를 제거하면 Loc-Acc 가 크게 하락합니다 (예: Wiki-CoE 에서 -7.3 포인트), 이는 고립된 근거화가 다단계 추론의 전제 조건임을 확인시켜 줍니다.
  • 해상도: 고해상도 입력 (1536×1536) 이 결정적입니다. 해상도를 512×512 로 낮추면 정보상자의 세밀한 텍스트에서 특히 치명적인 성능 저하가 발생합니다.
  • 모달리티: 텍스트 전용 베이스라인 (OCR 사용) 은 시각 모델에 비해 Wiki-CoE 에서 약 26 포인트, SlideVQA 에서 약 22 포인트의 성능 격차를 보이며, 이러한 컨텍스트에서 시각적 구조가 논리적 정보의 주요 전달자임을 입증했습니다.

5. 의의 및 주장

본 논문은 **증거 연쇄 (CoE)**가 취약한 텍스트 파싱에서 견고한 시각적 추론으로 전환함으로써 iRAG 에서 패러다임의 전환을 가져왔다고 주장합니다.

• 추론의 필수 조건으로서의 시각적 근거화: 저자들은 복잡한 문서의 경우 시각적 모달리티가 단순한 해석 가능성 기능이 아니라 추론을 위한 근본적인 요구사항이라고 주장합니다. 공간적 논리는 종종 선형 텍스트를 능가하며, 이를 폐기하면 환각 현상과 검증 불가능한 답변으로 이어집니다.
• 검증 병목 현상 해결: 픽셀 수준의 바운딩 박스를 제공하고 완전한 추론 연쇄를 시각화함으로써, CoE 는 즉각적인 시각적 검증 메커니즘을 제공합니다. 이는 사용자가 답변이 생성된 '이유'를 감사할 수 있게 하여 현재 iRAG 시스템의 불투명성을 해결합니다.
• 리트리버 무관 해석 가능성: CoE 는 어휘, 밀집, 하이브리드, 또는 시각적 등 모든 상류 리트리버와 호환되는 픽셀 수준 해석 가능한 iRAG 솔루션을 정립하여, 추론 및 어트리뷰션 능력을 검색 메커니즘과 분리합니다.
• 신뢰할 수 있는 AI: 이 연구는 소스 어트리뷰션과 추론 투명성이 필수적인 고위험 분야에서 검증 가능한 차세대 AI 시스템을 위한 청사진을 제공합니다.

저자들은 그들의 작업이 정보 검색에 대한 지배적인 텍스트 중심적 관점에 도전하며, 신뢰할 수 있고 해석 가능한 다단계 추론을 위해 시각적 의미론을 보존하는 것이 결정적임을 입증했다고 결론지었습니다.