기술 요약: MKG-RAG-Bench

문제 정의

검색 증강 생성(RAG)은 대규모 언어 모델(LLM)의 사실적 근거를 개선했지만, 기존 방식은 주로 비구조화된 텍스트 코퍼스에 의존하고 있습니다. 지식 그래프(KG) 기반 RAG(KG-RAG)는 구조화된 데이터를 활용하여 노이즈와 파편화 문제를 해결하지만, 현재의 방법들은 주로 텍스트 지식 그래프에 국한되어 있습니다. 이러한 한계는 이미지, 차트, 표를 통해 중요한 정보가 전달되는 실제 시나리오에서의 적용성을 제한합니다.

본 연구에서 다루는 구체적인 과제는 다중 모달리티를 가로질러 구조화된 지식을 통합하는 **멀티모달 KG-RAG (MKG-RAG)**입니다. 그러나 이 분야에는 이를 평가하기 위한 전용 벤치마크가 부족합니다. 기존의 멀티모달 RAG(M-RAG) 벤치마크는 비구조화된 코퍼스에서 정보를 검색하며, KG-RAG 벤치마크는 텍스트 그래프에 집중되어 있습니다. 두 방식 모두 MKG-RAG의 고유한 도전 과제들을 포착하지 못합니다. 구체적으로는 다음과 같습니다:

1. 이질적 검색 (Heterogeneous Retrieval): 쿼리와 대상 트리플렛(triplet)이 서로 다른 모달리티 조합을 포함할 수 있습니다 (예: 시각적 증거가 필요한 텍-스트 전용 쿼리, 또는 텍스트 관계를 요구하는 멀티모달 쿼리).
2. 교차 모달 정렬 (Cross-Modal Alignment): 관련성 판단은 단순한 표면적 매칭이 아니라, 모달리티와 그래프 토폴로지를 가로지르는 추론을 필요로 합니다.
3. 벤치마크 유용성 (Benchmark Utility): 기존의 멀티모달 지식 그래프는 유용성이 낮거나 일반적인 트리플렛을 포함하고 있어 모호한 쿼리를 생성함으로써, 검색 메커니즘의 진정한 기여도를 가릴 수 있습니다.

논문의 예비 분석에 따르면, 기존의 멀티모달 지식 그래프(예: MedMKG)를 다운스트림 태스크에 단순히 결합할 경우, 작업과 무관한 지식의 검색 및 필수 지식의 부재로 인해 RAG를 사용하지 않는 베이스라인보다 성능이 저하되는 현상이 나타납니다.

방법론

저자들은 MKG-RAG에서의 검색과 생성을 명시적으로 평가하기 위해 설계된 교차 도메인 벤치마크인 MKG-RAG-Bench를 제안합니다. 이 벤치마크는 세 단계로 구성된 원칙적인 LLM 기반 큐레이션 파이프라인을 통해 구축되었습니다:

1. LLM 기반 유용성 필터링 (LLM-based Utility Filtering): LLM이 소스 지식 그래프(일반 도메인을 위한 MarKG 및 의료 도메인을 위한 MedMKG)의 트리플렛을 평가하여 유용성이 낮은 데이터를 걸러냅니다. 쿼리가 너무 일반적이거나 외부 증거를 필요로 하지 않는 트리플렛은 제거하여, 쿼리가 잘 근거를 갖추고 검색이 반드시 필요한 상태가 되도록 합니다.
2. 제어된 완전성 시뮬레이션 (Controlled Completeness Simulation): 정확한 감독(supervision)이 가능한 쿼리를 만들기 위해, 파이프라인은 보존된 트리플렛의 구성 요소를 마스킹함으로써 불완전성을 시뮬레이션합니다.
   • 관계 마스킹 (Relation Masking): 관계를 숨겨, 헤드(head)와 테일(tail) 엔티티로부터 추론하도록 유도합니다.
   • 테일 마스킹 (Tail Masking): 테일 엔티티를 숨겨, 헤드와 관계로부터 추론하도록 유도합니다.
   • 헤드 엔티티는 멀티모달 그라운딩을 용이하게 하기 위해 의미론적 앵커로서 보존됩니다.
3. 하이브리드 질문 합성 (Hybrid Question Synthesis): LLM(GPT-5)은 마스킹된 트리플렛으로부터 두 가지 모드로 자연어 질문을 합성합니다:
   • 텍스트 전용 (Text-only): 텍스트 전용 지식에 대해, 누락된 구성 요소를 명시적으로 겨냥하는 질문을 생성합니다.
   • 이미지 기반 (Image-grounded): 시각적 엔티티가 포함된 트리플렛의 경우, 이미지를 LLM에 제공하고 엔티티를 [Image]로 참조하게 하여 시각적 그라운딩을 강제하고 단순한 어휘 매칭을 방지합니다.

결과물인 데이터셋은 검색 평가를 위한 정렬된 쿼리-트리플렛 쌍과 생성 평가를 위한 질문-답변 쌍을 포함합니다. 벤치마크는 쿼리 모달리티(텍스트 전용 vs 멀티모달)와 후보 트리플렛 범위(텍스트 전용 vs 멀티모달 vs 전체)에 따라 변화하는 다섯 가지 특정 평가 설정(S1–S5)을 다룹니다.

평가 프레임워크는 학습이 필요 없는 (training-free) 환경에서 네 가지 범주의 리트리버(retriever)를 테스트합니다:

• 텍스트 전용 리트리버 (트리플렛을 평문 텍스트로 취급).
• 융합 기반 멀티모달 리트리버 (공유 표현 공간 활용).
• 캡셔닝 기반 리트리버 (이미지를 텍스트로 변환).
• 리랭킹 기반 리트리버 (다단계 필터링).

주요 기여

1. 연구 공백 식별: 본 연구는 MKG-RAG에서의 검색이 현재의 멀티모달 RAG 연구에서 충분히 탐구되지 않았으며 제대로 평가되지 않고 있음을 강조합니다.
2. 최초의 교차 도메인 MKG-RAG 벤치마크: 두 개의 멀티모달 지식 그래프와 그에 대응하는 QA 데이터셋으로 구성된 MKG-RAG-Bench를 도입하여, 검색 품질과 다운스트림 생성을 체계적으로 평가할 수 있게 합니다.
3. 원칙적인 큐레이션 파이프라인: 이질적 검색, 멀티모달 정렬, 벤치마크 유용성 문제를 해결하기 위해 LLM을 사용하여 저유용성 지식을 필터링하고 구조적으로 근거가 확실한 쿼리를 생성하는 새로운 파이프라인을 제시합니다.
4. 통합 평가 프레임워크: 다양한 멀티모달 설정에 걸친 포괄적인 실험을 통해, 엔드 투 엔드 MKG-RAG 성능에서 효과적인 검색의 결정적인 역할을 입증합니다.

결과

대표적인 리트리버 아키텍처를 사용하여 MKG-RAG-Bench-G (일반) 및 MKG-RAG-Bench-M (의료) 데이터셋에 대해 광범위한 실험을 수행했습니다. 주요 결과는 다음과 같습니다:

• 검색 난이도: 효과적인 멀티모달 검색은 여전히 큰 과제입니다. 의료 도메인(MedMKG)에서 멀티모달 리트리버(Fusion, Reranking)는 멀티모달 설정에서 텍스트 전용 및 캡셔닝 기반 리트리버보다 크게 우수한 성능을 보였으나, 성능은 모달리티 정렬 상태에 따라 크게 달라졌습니다.
• 모달리티의 영향:
  • 일반 도메인에서는 **융합 기반 리트리버(Fusion-based retrievers)**가 가장 높은 NDCG@K 및 Recall@K (예: 멀티모달 쿼리와 멀티모달 트리플렛의 경우 Recall@100 약 62%)를 달성하여 텍스트 전용 및 캡셔닝 접근 방식보다 우수했습니다.
  • 의료 도메인에서는 **리랭킹 기반 리트리버(Reranking-based retrievers)**가 복잡한 멀티모달 설정(예: 멀티모달 쿼리와 전체 트리플렛의 경우 Recall@100 약 51%)에서 더 우수한 성능을 보였으며, 이는 다단계 파이프라인이 노이즈가 많거나 복잡한 의료 데이터를 처리하는 데 효과적임을 시사합니다.
• 검색이 생성을 결정함: 본 논문은 검색 품질이 생성 결과에 강력한 영향을 미친다는 점을 입증합니다. 열악한 검색은 노이즈를 주입하거나 핵심 사실의 부재를 초래하여 최종 답변의 품질을 저하시킵니다.
• 베이스라인 비교: 큐레이션 없이 기존 그래프를 사용한 예비 연구에서, RAG를 사용하지 않는 모델이 오히려 검색 증강 모델보다 높은 성능을 보였습니다. 이는 제공된 MKG-RAG-Bench와 같이 큐레이션된 고유용성 데이터셋의 필요성을 뒷받-줍니다.

의의

본 논문은 MKG-RAG-Bench가 현재 멀티모달 지식 그래프 시스템의 한계를 진단하기 위한 원칙적인 토대를 제공한다고 주장합니다. 이 벤치마크를 통해 연구자들은 다음을 수행할 수 있습니다:

• 효과적인 검색으로부터 오는 개선과 생성적 사전 지식(generative priors)으로부터 오는 개선을 구분할 수 있습니다.
• 현실적인 사용 사례를 반영하기 위해 다양한 모달리티 구성을 체계적으로 다룰 수 있습니다.
• 구조화된 멀티모달 지식에 특화된 더 강력한 리트리버 개발을 촉진할 수 있습니다.

본 연구는 이러한 벤치마크 없이는 지식 소스, 검색 목표, 그리고 평가 지표 사이의 불일치로 인해 MKG-RAG 시스템의 진정한 능력과 한계가 가려져 있을 것이라고 단언합니다.