기술 요약: MM-BizRAG

문제 정의

최근 멀티모달 검색 증강 생성(MM-RAG)의 발전은 "최소 파싱(minimal parsing)" 전략을 선호하는 경향을 보이고 있습니다. 이러한 접근 방식은 페이지 수준의 이미지를 사용하여 리트리버 임베딩을 생성하고, 이를 시각-언어 모델(VLM)의 직접적인 입력값으로 활용합니다. 저자들은 이러한 방식이 효율적이기는 하지만, 복잡한 기업 문서(예: 재무 보고서, 법적 서류, 슬라이드 덱)에 내재된 풍부하고 구조화된 정보를 명시적으로 처리하는 과정을 간과한다고 주장합니다.

현재의 최첨단 방법론들은 문서 구조의 이해를 사전 학습된 임베딩이나 VLM에 위임하며, 이 모델들이 레이아웃과 의미적 관계를 암시적으로 포착할 수 있다고 가정합니다. 그러나 본 논문은 사전 학습된 모델들이 훈련 데이터와 크게 다른 복잡한 기업 문서의 구조화된 정보를 암시적으로 포착하는 데 어려움을 겪는다고 지적합니다. 또한, 기존 파이프라인은 문서 표현 및 인입(ingestion) 설계의 표준화가 부족하여, 이질적인 기업 데이터에 대해 최적화되지 않은 성능을 보입니다.

방법론: MM-BizRAG

MM-RAG은 암시적 이해에 의존하기보다 문서 구조를 선제적으로 추출하고 표현하도록 설계된 멀티모달 RAG 프레임워크입니다. 이 시스템은 "문서 구조가 인입 전략을 결정해야 한다"는 핵심 전제하에 작동합니다.

1. 문서 구조 인식 분할 (Document Structure-Aware Split)

파이프라인은 LLM 기반 분류기(또는 파일 메타데이터)를 사용하여 문서를 두 가지 범주로 분류하며 시작됩니다:

• 수직형 문서 ($D_V$): 보고서, 공시 자료 및 선형적 읽기 순서를 가진 텍스트 중심 문서.
• 수평형 문서 ($D_H$): 슬라이드 덱 및 프레젠테이션과 같이 콘텐츠가 공간적으로 배치되어 있으며, 페이지 수준에서 전체론적인 의미를 갖는 문서.

2. 방향별 특화 인입 파이프라인 (Orientation-Specific Ingestion Pipelines)

분류 결과에 따라 문서는 서로 다른 파이프라인으로 라우팅됩니다:

• 수직형 문서 ($D_V$)의 경우:

  • 레이아웃 인식 파싱: Docling과 같은 도구를 사용하여 정렬된 텍스트 블록, 표, 페이지 내 이미지를 추출합니다.
  • 아티팩트 변환 (Artifact Transformation):
    • 텍스트: 표와 이미지에 고유한 플레이스홀더(placeholder)를 삽입하여 읽기 순서를 유지하며 선형화합니다.
    • 표: 마크다운(Markdown)으로 변환한 후 LLM에 전달하여 행 단위 설명을 생성합니다.
    • 이미지: VLM을 통해 설명을 생성하며, 정보 가치가 없는 요소(예: 로고)는 필터링합니다.
  • 위치 정렬: 통합된 LLM 기반 파이프라인을 사용하여 표와 이미지가 해당 텍스트 위치의 플레이스홀더와 일치하도록 합니다.

• 수평형 문서 ($D_H$)의 경우:

  • 전체론적 표현 (Holistic Representation): 슬라이드의 경우 명시적인 레이아웃 파싱이 효과적이지 않다고 판단합니다. 대신, 시스템은 각 슬라이드를 하나의 전체론적인 의미 단위로 취급합니다.
  • 페이지 수준 처리: VLM이 페이지 전체의 모든 의미적 콘텐츠(텍스트, 시각 요소, 관계)를 포착하는 종합적인 텍스트 설명($\delta$)을 생성합니다.
  • 표현 방식: 단위는 페이지 이미지와 생성된 설명의 쌍으로 구성됩니다.

3. 적응형 검색 및 생성 (Adaptive Retrieval and Generation)

프레임워크는 검색 가능한 청크와 임베딩을 구축하는 방식에서 차이가 있는 세 가지 변체(TCTE, PCMHE, TCMIE)를 도입하지만, 공통된 추론 스택을 공유합니다:

• 분리된 표현 (Decoupled Representations): 핵심적인 구조적 차이점은 검색에 사용되는 표현과 생성에 사용되는 표현을 분리하는 것입니다.
  • 검색: 청크를 임베딩(텍스트 또는 멀티모달 모델 사용)하고 인덱싱합니다.
  • 생성 (추론 시 조립): 검색된 청크를 멀티모달 컨텍스트로 동적으로 조립합니다. 수직형 문서의 경우, 원래의 플레이스홀더 위치에 표 마크다운과 이미지 아티팩트를 다시 주입합니다. 수평형 문서의 경우, 페이지 이미지와 그 설명을 결합합니다.
• 미세 조정 없음 (No Finetuning): 시스템은 별도의 모델 미세 조정 없이 즉시 사용 가능한(out-of-the-box) LLM 및 인코더 모델과 작동하도록 설계되었습니다.

4. 평가 지표: FastRAGEval

저자들은 미세한 생성적 재현율(generative recall)을 위한 단일 호출 LLM 판사 지표인 **FastRAGEval (FRE)**을 도입합니다. 두 번의 순차적인 LLM 호출을 통해 답변을 원자적 주장(atomic claims)으로 분해하는 RAGChecker와 달리, FRE는 단 한 번의 패스로 정밀도(precision), 재현율(recall), F1 점수를 계산합니다. 이는 비용과 지연 시간을 절반으로 줄이면서도 인간의 판단과 더 강력한 일치성을 달성합니다.

주요 기여

1. MM-BizRAG 프레임워크: 교차 모달 정렬을 보존하기 위해 방향별 특화 인입 파이프라인(수직형은 레이아웃 인식, 수평형은 전체론적 방식)을 통해 문서를 동적으로 라우팅하는 새로운 시스템을 제안합니다.
2. 추론 시 멀티모달 조립: 검색 인덱스를 팽창시키지 않으면서도 더 풍부하고 근거 있는 답변을 가능하게 하는, 검색 인덱싱과 생성 컨텍스트를 분리하는 구조적 혁신을 제공합니다.
3. 통제된 변체 연구: 대규모 내부 기업 데이터셋과 공개 벤치마크(SLIDEVQA, FINRAGBENCH-V)를 대상으로 세 가지 MM-RAG 변체(TCTE, PCMHE, TCMIE)를 체계적으로 평가하여, 인입 및 임베딩 전략의 영향을 격리하여 분석했습니다.
4. FastRAGEval (FRE): RAG 시스템의 생성적 재현율을 평가하는 데 있어 더 효율적이고 인간의 판단과 일치하는 단일 호출 평가 지표를 제공합니다.

결과

본 논문은 세 가지 데이터셋(SLIDEVQA, FINRAGBENCH-V, 내부 기업 데이터셋)에 대해 MM-RAG 변체를 최첨단 비전 중심 베이스라인(ColPali, VisRAG) 및 텍스트 전용 RAG 베이스라인과 비교 평가했습니다:

• SLIDEVQA: MM-RAG 변체들이 FRE-Recall 측면에서 ColPali 및 VisRAG보다 3.6~11.1% 높은 성능을 보였습니다.
• FINRAGBENCH-V: 프레임워크는 상당한 이득을 보였으며, 비전 중심 베이스라인보다 최대 32 퍼센트 포인트 높은 성능을 기록했습니다. 저자들은 비전 전용 파이프라인이 밀도가 높은 수직 구조 보고서에서 성능이 크게 저하되는 반면, MM-RAG의 레이아웃 인식 파싱은 탁월한 성능을 보인다고 언급했습니다.
• 내부 기업 데이터셋: MM-RAG는 텍스트 전용 베이스라인보다 일관되게 우수한 성능을 보였으며, 특히 텍스트 전용 베이스라인이 명확한 성능 저하를 보인 표 또는 이미지 분석이 필요한 질문에서 두드러졌습니다.
• 효율성: TCTE(토큰 수준 청킹, 텍스트 임베딩) 변체가 권장되는 프로덕션 구성으로 강조되었습니다. 이 변체는 최적의 구성 대비 재현율 차이가 1~3% 내외이면서, 멀티모달 임베딩 변체(PCMHE)보다 지연 시간이 약 절반 수준입니다.

의의 및 주장

본 논문은 멀티모달 RAG에서 직접적이고 구조를 인식하는 문서 이해의 가치를 재정립한다고 주장합니다. 저자들은 기업용 애플리케이션의 경우, 페이지 수준의 이미지와 VLM의 암시적 구조 이해에만 의 Rely하는 것은 불충분하다고 주장합니다.

저자들은 MM-RAG가 파싱 기반 접근 방식과 임베딩 기반 접근 방식을 조화시키는 실질적인 청사진을 제공한다고 확언합니다. 문서 구조를 명시적으로 다루고 검색과 생성을 분리함으로써, 시스템은 미세 조정 없이도 더 높은 품질의 엔드 투 엔드 성능을 달성합니다. 또한, FastRAGEval의 도입이 RAG 시스템의 생성적 재현율을 평가하는 데 있어 더 효율적이고 인간의 판단과 일치하는 방법을 제공한다고 주장합니다.

본 논문은 한계점에 대해서도 겸허하게 기술하고 있습니다. 공개 벤치마크(SLIDEVQA 등)가 산업 현장의 복잡한 프레젠테이션을 완전히 반영하지 못할 수 있다는 점과, 계산 능력의 제약으로 인해 FINRAGBENCH-V에 대한 평가가 영어 PDF의 일부 집합으로 제한되었다는 점을 인정했습니다. 또한, 주요 평가에 사용된 독자적인 기업 데이터셋은 현재 공개할 수 없음을 밝히고 있습니다.