Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels

기술 요약: 좌표나 영역 레이블 없는 시각적 문서 이해에서의 증거 귀속(Evidence Attribution)

문제 정의
신뢰할 수 있는 시각적 문서 이해(VDU)를 위해서는 모델이 질문에 답하는 것뿐만 아니라, 해당 답변을 문서 내 특정 증거 영역에 귀속시키는 능력이 필요합니다. CiteVQA와 같은 기존 벤치마크 및 시스템은 모델이 증거를 표시하기 위해 바운딩 박스 좌표($x_1, y_1, x_2, y_2$)를 출력하도록 강제하는 **좌표 인터페이스(coordinate interface)**를 적용합니다. 저자들은 이 인터페이스 하에서 시각-언어 모델(VLM)이 귀속 환각(Attribution Hallucination) 현상을 빈번하게 겪는다는 점을 관찰했습니다. 즉, 모델은 정답은 생성하지만 증거 영역을 식별하는 데 실패하며, 종종 실제 정답(ground truth)과 겹치지 않는 좌표를 출력합니다. 본 논문은 이러한 실패가 오픈 모델의 근본적인 그라운딩(grounding) 능력 부족 때문인지, 아니면 좌표 출력 형식 자체로 인한 인위적인 결과인지를 조사합니다. 또한, 긴 문서에 대해 모델이 증거를 국지화(localize)하도록 학습시키는 것은 비용이 많이 드는 영역 단위의 주석(annotation)을 요구한다는 실질적인 문제도 다룹니다. 이는 대규모로 수집하기 매우 어렵습니다.

방법론
저자들은 좌표 인터페이스와 영역 수준의 감독(supervision)을 우회하는 비교 연구와 새로운 학습 패러다임을 제안합니다.

1. 언어 인터페이스 vs. 좌표 인터페이스:

   • 좌표 조건(Coordinate Condition): 모델은 표준 CiteVQA 프로토콜을 따라 바운딩 박스 좌표를 자기회귀적(autoregressively)으로 생성합니다.
   • 언어 조건(Language Condition): 모델은 좌표 대신 증거의 **축자적 텍스트 인용구(verbatim text quotes)**를 출력합니다. 이후 별도의 파이프라인이 이 인용구를 문서 영역으로 해결(resolve)합니다:
     • 레이아웃 파서(MinerU)가 문서를 의미론적 블록(단락, 표, 그림, 캡션)으로 분할합니다.
     • 각 블록은 이미지 크롭(crop)으로 렌더링되고 멀티모달 인코더를 통해 임베딩됩니다.
     • 모델이 생성한 인용구는 임베딩되어 헝가리안 알고리즘(Hungarian algorithm)을 통한 일대일 할당을 통해 가장 잘 부합하는 의미론적 블록과 매칭됩니다.
   • 이 설정을 통해 저자들은 입력과 점수 산정 로직을 동일하게 유지하면서 두 인터페이스 하에서 동일한 백본 모델을 평가할 수 있습니다.

2. 영역 레이블이 필요 없는 강화 학습 (GRPO):

   • 비용이 많이 드는 영역 레이블 없이 귀속 성능을 개선하기 위해, 저자들은 언어 인터페이스를 학습 스캐폴드(scaffold)로 사용합니다.
   • 보상 구성(Reward Construction): 시각-언어 판사(judge)가 질문, 정답 골드 데이터, 그리고 인용된 영역의 추출된 이미지 크롭(원문 텍스트 인용구가 아님)을 바탕으로 모델의 출력을 평가합니다. 판사는 다음을 점수화합니다:
     • $a$: 답변의 정확성.
     • $erel$: 증거의 관련성 (크롭이 답변을 뒷받침하는가?).
     • $ecov$: 증거의 커버리지 (크롭 세트가 필요한 모든 정보를 포함하는가?).
   • 보상 함수는 $r = \frac{a}{5} \cdot \frac{erel + ecov}{10}$로 정의됩니다. 이 곱셈 구조는 답변이 정답일 때만 증거 점수가 기여하도록 보장하여, 귀속 환각을 직접적으로 겨냥합니다.
   • 최적화: 모델은 비대칭 클리핑(DAPOs)을 사용하는 그룹 상대 정책 최적화(GRPO)를 사용하여 학습됩니다. 정책은 판사의 보상을 최대화하기 위해 더 나은 인용구를 생성하도록 학습되며, 이는 학습 과정에서 영역 좌표를 전혀 보지 않고도 올바른 영역을 가리키는 법을 효과적으로 학습하게 합니다.

주요 기여

1. 인터페이스 분석: 오픈 VLM의 증거 귀속 성능 저하가 근본적인 능력 격차가 아니라 주로 **인터페이스의 인위적 결과(artifact)**임을 보여주는 통제된 연구를 수행했습니다. 좌표에서 인용 및 추출 기반의 언어 인터페이스로 전환함으로써 귀속 능력을 크게 회복시켰습니다.
2. 언어 증거 인터페이스: 텍스트 RAG에서 흔히 쓰이는 인용 기반 방식을 시각적 문서에 적응시킨 새로운 방법론입니다. 이는 추출(retrieval)을 통해 자연어 인용구를 픽셀 영역으로 해결함으로써, 모델이 정밀한 좌표를 생성해야 하는 부담을 없앱니다.
3. 영역 레이블이 필요 없는 학습 레시피: 질문-답변 쌍과 추출된 크롭을 평가하는 판사만을 사용하여 엄격한 귀속 정확도(strict attributed accuracy)를 향상시키는 강화 학습 레시피를 제공합니다. 이는 비용이 많이 드는 수동 영역 수준 주석의 필요성을 제거합니다.

결과
6개의 오픈 VLM(8B에서 31B 파라미터 범위)을 대상으로 검증된 CiteVQA 하위 집합(이중 언어 질문 719개)에서 평가한 결과는 다음과 같습니다:

• 귀속 회복(Attribution Recovery): 좌표 인터페이스 하에서 증거 재현율(IoU $\ge$ 0.5)은 최대 **8.1%**였으며, 환각률(오답 증거를 가진 정답 생성)은 82%에서 97% 사이였습니다. 언어 인터페이스로 전환했을 때 재현율은 **25.9%46.9%**로 상승했고, 환각률은 **38.6%65.4%**로 감소했습니다.
• 학습 효과: 8B 백본에 GRPO 학습 레시피를 적용했을 때, 엄격한 귀속 정확도(SAA)가 **22.4%에서 33.8%**로 증가했으며, 환각률은 **28.4%**로 더욱 낮아졌습니다.
• 답변 품질: 답변의 정확도는 인터페이스 간에 대체로 안정적으로 유지되었으며, 이는 개선 사항이 일반적인 추론이 아닌 귀속 능력에 특화되어 있음을 나타냅니다.
• 절제 연구(Ablation): 이러한 회복은 추출 메커니즘 자체보다는 모델이 생성한 언어(인용구)에 인코딩된 정보 덕분인 것으로 밝혀졌습니다. 언어 인터페이스는 모델이 좌표 형식이 포착하지 못했던 위치 정보를 표현할 수 있게 해주었습니다.

의의 및 주장
본 논문은 오픈 VLM에서 관찰되는 "귀속 환각"이 극복 불가능한 그라운딩 능력의 결여가 아니라, 모델이 언어로 표현할 수 있는 증거와 좌표 인터페이스 간의 제약 사이의 불일치에서 기인한다고 주장합니다. 인용 및 추출(quote-and-retrieve) 접근 방식을 채택함으로써, 저자들은 시각적 문서에서 고품질의 증거 귀속을 달성하는 실질적인 경로를 제시했습니다. 결정적으로, 이 경로는 다음을 요구하지 않습니다:

• 좌표 출력 인터페이스.
• 비용이 많이 드는 영역 수준의 감독 데이터.

이러한 결과는 오픈 모델이 자연어로 위치를 표현할 수 있게 허용될 경우 이미 증거 위치를 식별할 수 있는 능력을 갖추고 있으며, 추출된 크롭에 대한 판사 기반 보상을 사용하는 강화 학습이 이 능력을 효과적으로 정교화할 수 있음을 시사합니다. 저자들은 레이아웃 파서에 대한 의존성(성능의 상한선을 설정함) 및 현재 범위가 단일 문서 귀속에 한정되어 있다는 점을 한계로 언급했습니다.