LFRAG: Layout-oriented Fine-grained Retrieval-Augmented Generation on Multimodal Document Understanding

기술 요약: LFRAG – 멀티모달 문서 이해를 위한 레이아웃 지향 세밀한 검색 증강 생성

문제 제기
멀티모달 검색 증강 생성 (RAG) 은 시각적으로 풍부한 문서 (예: 과학 논문, 재무 보고서) 로부터 외부 지식을 활용하여 대규모 언어 모델 (LLM) 을 강화하는 패러다임으로 부상했습니다. 그러나 기존 멀티모달 RAG 시스템은 주로 거시적 페이지 단위 검색에 의존합니다. 이 접근 방식은 전체 문서 페이지를 최소 검색 단위로 취급하여 다음과 같은 중대한 한계를 초래합니다:

1. 세밀한 구조의 손실: 페이지 내 계층적 의미와 레이아웃 구조 (예: 표의 행 - 열 관계 또는 그림 - 텍스트 연관성) 를 포착하지 못합니다.
2. 중복된 컨텍스트: 전체 페이지를 검색하면 상당한 관련 없는 콘텐츠가 포함되어 하류 생성 작업의 계산 오버헤드를 증가시키고, 환각 (hallucination) 위험을 높입니다.
3. 해상도 손실: 비전 - 언어 모델 (VLM) 의 고정 해상도 이미지 패칭은 종종 고해상도 페이지를 다운샘플링하여 세밀한 정보를 잃게 만듭니다.

현재 솔루션들은 OCR 을 통해 문서를 일반 텍스트로 변환하여 시각적/구조적 데이터를 폐기하거나, VLM 을 사용하여 전체 페이지를 인코딩하여 페이지 내 레이아웃을 무시합니다. 레이아웃 정보를 보존하면서 문서를 의미적으로 일관된 블록으로 효과적으로 분할하여 정밀한 검색을 가능하게 하는 프레임워크는 부족합니다.

방법론: LFRAG 프레임워크
이러한 과제를 해결하기 위해 저자들은 LFRAG(레이아웃 지향 세밀한 검색 증강 생성) 를 제안합니다. 이는 검색 패러다임을 페이지 단위에서 블록 단위로 전환하는 프레임워크입니다. 이 시스템은 네 가지 핵심 단계를 통해 작동합니다:

1. 레이아웃 분할 및 의미적 블록 집계:

   • 시스템은 먼저 레이아웃 감지 모델 (DocLayout-YOLO) 을 사용하여 구조적 영역 (제목, 그림, 표, 단락 등) 을 식별합니다.
   • 과도한 분할 (예: 그림과 캡션을 분리) 을 방지하기 위해 그래프 기반 의미적 블록 집계 알고리즘을 사용합니다. 이 알고리즘은 공간적으로 인접하고 의미적으로 호환되는 영역 (중첩, 수직 거리, 유형 일관성 기반) 을 일관된 블록으로 병합합니다.
   • 개별 컷에서 포착되지 않은 글로벌 배경 컨텍스트를 유지하기 위해 보조 "마스크된 페이지" 블록도 생성됩니다.

2. 의미 - 레이아웃 특징 융합 인코딩:

   • 계층적 인코딩 전략이 설계됩니다. 블록 이미지는 비전 인코더에 의해 인코딩되는 반면, 전체 페이지는 글로벌 임베딩을 생성하기 위해 인코딩됩니다.
   • 크로스 어텐션 메커니즘은 글로벌 레이아웃 컨텍스트를 로컬 블록 표현에 통합합니다.
   • 레이아웃 유형 태그 (예: <Figure>, <Table>) 가 인코딩되어 투사된 비전 임베딩과 연결되어 구조적 인식을 강화합니다.

3. 블록 단위 후기 상호작용 검색:

   • 검색은 후기 상호작용 메커니즘 (ColBert 에서 영감) 을 활용합니다. 쿼리 토큰과 블록 표현은 다중 벡터 임베딩으로 인코딩됩니다.
   • 관련성은 MaxSim 점수(쿼리 토큰과 블록 토큰 간의 최대 내적) 를 사용하여 계산되며, 조기 융합 없이 세밀한 정렬을 가능하게 합니다.
   • 이 점수를 기반으로 상위-k 개의 관련 블록이 검색됩니다.

4. 증강 생성:

   • 검색된 상위-k 개 블록과 원본 쿼리가 답변 생성을 위해 VLM 에 입력됩니다. 전체 페이지가 아닌 정밀한 블록으로 입력을 제한함으로써 모델은 구조적으로 근거 있는 증거를 기반으로 작동하여 노이즈를 줄입니다.

벤치마크 구축: LFDocQA
세밀한 평가 기준의 부재를 인식한 저자들은 블록 단위 바운딩 박스 주석을 포함한 최초의 멀티모달 문서 벤치마크인 LFDocQA를 구축했습니다.

• 구성: LF-Docmatix(일반 문서에서 유래) 와 LF-PaperTab(복잡한 레이아웃을 가진 학술 논문에서 유래) 의 두 하위 집합으로 구성됩니다.
• 주석: 반자동 파이프라인은 LLM 을 사용하여 특정 쿼리에 대한 정답 관련 블록을 식별하여, 쿼리가 전체 페이지가 아닌 레이아웃 영역과 명시적으로 정렬되도록 보장합니다.
• 규모: 이 데이터셋은 텍스트, 표, 차트 등 다양한 콘텐츠 유형을 포괄하는 1,000 개의 QA 쌍과 상세한 블록 단위 주석을 포함합니다.

실험 결과
LFDocQA 및 공개 벤치마크 (ViDoRe V1, VisDoMBench) 에 대한 광범위한 실험은 다음과 같은 결과를 보여줍니다:

• 검색 성능: LFRAG 는 최첨단 성능을 달성합니다. LFDocQA(도메인 내) 에서 블록 단위 nDCG@3 에서 최상위 베이스라인 (ColQwen2.5-v0.2) 보다 4.95% 더 높고, Recall@3 에서 3.85% 더 높습니다.
• 생성 성능: LFRAG 는 최상위 베이스라인 대비 답변 정확도를 7.20% 향상시킵니다.
• 효율성: 관련 없는 컨텍스트를 필터링함으로써 LFRAG 는 생성 작업에서 입력 토큰 소비를 73.07% 감소시킵니다 (약 810k 토큰에서 약 1.72.9k 토큰으로 감소) 하며, 답변 품질은 유지하거나 향상시킵니다.
• 일반화: 이 프레임워크는 공개 페이지 단위 벤치마크에서 강력한 일반화를 보여주며, ViDoRe V1 에서 평균 Recall@5 가 가장 높고 VisDoMBench 에서 평균 ANLCS 가 가장 높습니다.

의의 및 기여
본 논문은 세 가지 주요 기여를 주장합니다:

1. LFRAG 프레임워크: 레이아웃 분할, 의미 - 레이아웃 융합 인코딩, 블록 단위 후기 상호작용을 통합하여 정밀한 검색과 효율적인 생성을 가능하게 하는 새로운 멀티모달 RAG 프레임워크.
2. LFDocQA 벤치마크: 기존 페이지 단위 평가의 간극을 메우고 엄격한 세밀한 평가를 가능하게 하는 최초의 블록 단위 멀티모달 검색 및 QA 벤치마크.
3. 실증적 검증: 페이지 단위에서 블록 단위 검색으로 전환하는 것이 검색 정확도를 크게 향상시키고, 생성 오버헤드를 줄이며, 시각적으로 풍부한 문서 이해에서 환각 위험을 완화한다는 것을 확인하는 광범위한 실험.

저자들은 효과적인 세밀한 검색은 임의의 분할이 아닌 의미 있는 의미적 분할에 의존하며, 복잡한 문서 구조를 처리하기 위해 레이아웃 정보를 통합하는 것이 중요하다고 결론지었습니다. 향후 작업은 프레임워크를 표와 같은 구조화된 데이터를 더 잘 처리하도록 확장하고 적응적 세분화 전략을 탐구하는 방향으로 계획되어 있습니다.