mKG-RAG: Leveraging Multimodal Knowledge Graphs in Retrieval-Augmented Generation for Knowledge-intensive VQA

"mKG-RAG: 지식 집약적 VQA 를 위한 검색 증강 생성에 멀티모달 지식 그래프 활용" 논문의 상세 기술 요약입니다.

1. 문제 제기

지식 집약적 시각 질문 답변 (VQA) 은 훈련 데이터나 즉각적인 시각 입력에 존재하지 않는 외부, 백과사전적, 또는 롱테일 사실에 의존하는 질문에 답하기 위해 모델이 외부 지식을 활용해야 함을 요구합니다. 멀티모달 대규모 언어 모델 (MLLM) 은 상식 추론에서는 뛰어나지만, 구체적인 사실적 쿼리에는 어려움을 겪으며 종종 환각을 일으키거나 답변을 거부합니다.

현재의 검색 증강 생성 (RAG) 접근법은 외부 문서를 검색함으로써 이를 해결하려 시도합니다. 그러나 기존 방법들은 세 가지 치명적인 한계를 겪고 있습니다:

1. 비구조적 노이즈: 비구조화된 텍스트 청크나 단락에 의존하여 관련 없는 문맥과 "노이즈"를 도입하므로, MLLM 이 핵심 사실을 분리해 내기 어렵습니다.
2. 구조적 관계의 부재: 지식 요소 간의 논리적 연결을 간과하여 모델이 다단계 추론을 수행하는 능력을 제한합니다.
3. 모달리티 간격: 대부분의 RAG 시스템은 단일 모달 검색기 (텍스트 전용 또는 비전 전용) 를 사용하거나 시각 및 텍스트 증거를 효과적으로 정렬하지 못해 멀티모달 시나리오에서 최적되지 않은 검색 결과를 초래합니다.

2. 방법론: mKG-RAG

저자들은 RAG 파이프라인에 멀티모달 지식 그래프 (KG) 를 통합하는 mKG-RAG 프레임워크를 제안합니다. 이 프레임워크는 두 가지 주요 단계로 구성됩니다:

A. 멀티모달 지식 그래프 구축

구체적/롱테일 지식이 부족한 기존 KG 를 사용하는 대신, mKG-RAG 는 비구조화된 멀티모달 문서 (예: 텍스트와 이미지가 포함된 위키피디아 페이지) 로부터 동적이고 고품질의 KG 를 구축합니다.

• 텍스트 그래프 추출: MLLM 을 사용하여 텍스트 세그먼트에서 개체와 관계를 추출하여 텍스트 서브그래프 ($G_t$) 를 형성합니다.
• 시각 그래프 추출: 장면 그래프 생성 (SGG) 기법을 사용하여 이미지 내 객체와 그들의 공간적/의미적 관계를 탐지하여 시각 서브그래프 ($G_v$) 를 형성합니다.
• 멀티모달 그래프 집계: 핵심 혁신으로, MLLM 이 비전 - 텍스트 매처 역할을 수행합니다. 이는 의미적 일관성에 기반하여 $G_t$와 $G_v$의 개체 및 관계를 정렬합니다.
  • 메커니즘: MLLM 은 이미지, 텍스트 그래프 (자연어 형태), 그리고 시각 그래프 (객체 ID, 카테고리, 바운딩 박스 형태) 를 입력받습니다. 그리고 매칭된 쌍을 출력하여 시각적 속성 (바운딩 박스, 객체 카테고리) 을 텍스트 개체에 효과적으로 연결합니다.
  • 결과: 노드와 엣지가 텍스트 설명과 시각적 그라운딩을 모두 갖는 통합된 멀티모달 KG 가 생성됩니다.

B. 이중 단계 멀티모달 검색

대규모 그래프를 검색하는 계산 비용을 처리하기 위해 mKG-RAG 는 두 단계 검색 전략을 사용합니다:

1. 거시적 문서 검색:
   • 쿼리 인식 멀티모달 검색기 (QM-Retriever) 를 사용하여 전체 문서 코퍼스에서 벡터 검색을 수행합니다.
   • QM-Retriever 는 멀티모달 쿼리 (이미지 + 질문) 를 증거 (이미지 + 텍스트) 와 정렬하도록 훈련됩니다. 여기에는 잠재 공간에서 질문을 진술문으로 변환하여 증거 텍스트와 더 잘 매칭되도록 하는 "질문 변환기"가 포함됩니다.
   • 이 단계는 검색 공간을 상위-$K$개 후보 문서로 축소합니다.
2. 다중 세분도 그래프 검색:
   • 후보 문서의 오프라인 KG 를 병합하여 쿼리별 서브그래프를 구축합니다.
   • 개체/관계 검색: 쿼리에 대한 임베딩 유사도를 기반으로 특정 노드와 엣지를 검색합니다.
   • 서브그래프 확장: 검색된 서브그래프에서 $l$-hop 이웃 탐색 (너비 우선 탐색) 을 수행하여 문맥적 연결을 포착하지만, 노이즈를 방지하기 위해 유사도 임계값을 초과하는 이웃만 포함합니다.

C. 답변 생성

MLLM 에게 제공되는 최종 컨텍스트에는 원본 이미지, 질문, 검색된 구조화된 그래프 요소 (지식 개요 제공), 그리고 관련 텍스트 청크 (상세 정보 제공) 가 포함됩니다.

3. 주요 기여

1. 멀티모달 KG 증강 RAG: 지식 집약적 VQA 를 위해 구축된 멀티모달 KG 를 RAG 에 통합한 최초의 프레임워크로, 구조적 관계와 교차 모달 단서를 포착합니다.
2. 새로운 구축 파이프라인: MLLM 기반 추출과 비전 - 텍스트 매칭을 사용하여 비구조화된 멀티모달 문서를 구조화된 KG 로 정제하는 방법으로, 모달리티 간 의미적 일관성을 보장합니다.
3. 이중 단계 검색 및 QM-Retriever: 문서 $\to$ 그래프의 두 단계 검색 패러다임과 모달리티 간격을 해소하기 위해 대비 학습 및 질문 재형성 목표를 통해 훈련된 특수 쿼리 인식 멀티모달 검색기를 도입했습니다.
4. 최고 수준의 성능: 이 접근법은 표준 벤치마크에서 기존 베이스라인을 크게 능가합니다.

4. 실험 결과

이 방법은 E-VQA(5.8K 샘플) 와 InfoSeek(73K 검증 샘플) 두 가지 벤치마크에서 평가되었습니다.

• 성능:
  • E-VQA: 36.3% 정확도 (All set) 를 달성하여 이전 최고 성능 (ReflectiVA*) 을 크게 상회했습니다.
  • InfoSeek: 40.5% 정확도 (All set) 를 달성하여 새로운 최고 수준을 설정했습니다.
  • 개선: 제로샷 MLLM 과 비교하여 mKG-RAG 는 E-VQA 에서 20% 이상, InfoSeek 에서 31% 이상의 정확도 향상을 보였습니다.
• 검색 효율성: QM-Retriever 는 최상의 단일/교차 모달 베이스라인 (CLIP 등) 대비 평균 재현율 (Recall) 을 E-VQA 에서 9.9%, InfoSeek 에서 7.0% 향상시켰습니다.
• 절대 실험 (Ablation Studies):
  • QM-Retriever 를 제거하고 CLIP 을 사용할 경우 정확도가 약 4-5% 하락했습니다.
  • 그래프 검색을 청크 기반 검색으로 대체할 경우 정확도가 약 8% 하락했습니다.
  • 서브그래프 확장은 약 1.3% 의 추가 향상을 기여했습니다.
• 일반화: 파라미터 크기와 관계없이 다양한 MLLM 아키텍처 (Phi3V, LLaMA-3.2, Qwen2.5-VL 등) 에서 일관된 성능 향상 (평균 +9.4%) 을 보였습니다.
• 효율성: 복잡한 파이프라인에도 불구하고 무거운 KG 구축은 오프라인에서 수행됩니다. 온라인 추론은 제로샷 생성 대비 1.14 배의 계산 비용만 추가하지만, 단순 RAG 대비 1.37 배의 정확도 향상을 제공합니다.

5. 의의

이 논문은 시각 및 텍스트 단서가 얽혀 있을 때 구조화된 외부 지식을 추론하는 현재 모델의 inability(불능) 라는 멀티모달 AI 의 치명적인 병목 현상을 해결합니다. 비구조화된 텍스트 검색에서 구조화된 멀티모달 그래프 검색으로 전환함으로써 mKG-RAG 는 다음과 같은 효과를 냅니다:

• 환각 감소: MLLM 을 안내하는 정밀하고 구조화된 증거를 제공합니다.
• 추론 강화: 그래프 구조가 관계를 명시적으로 모델링하여 다단계 추론 (예: 이미지 내 객체를 문서의 특정 사실과 연결) 을 돕습니다.
• 모달리티 간극 해소: QM-Retriever 와 비전 - 텍스트 매칭을 통해 시각 및 텍스트 증거가 별도의 실체로 취급되지 않고 일관되게 검색 및 정렬되도록 보장합니다.

이 연구는 구조화된 지식 표현 (KG) 을 생성 모델과 통합하는 것이 전통적인 RAG 보다 지식 집약적 작업에 우월한 패러다임임을 입증하며, 더 신뢰할 수 있고 사실적인 멀티모달 AI 시스템을 위한 길을 엽니다.