기술 요약: DualG-MRAG

문제 정의

멀티모달 검색 증강 생성(MM-RAG)은 거대 언어 모델(LLM)이 이질적인 데이터 소스(텍스트, 이미지, 표)를 활용할 수 있는 잠재력을 보여주었습니다. 그러나 기존 방식들은 복잡한 멀티홉(multi-hop) 추론 작업을 처리할 때 상당한 한계에 직면해 있습니다. 현재의 접근 방식은 주로 정적인 임베딩을 사용하는 인스턴스 수준의 매칭에 의존하며, 이는 모달리티와 문서 간의 명시적인 관계를 포착하지 못합니다.

본 논문은 그래프 강화 방식을 멀티모달 시나리오로 확장할 때 발생하는 세 가지 핵심 과제를 식별합니다:

1. 세밀도와 노이즈 간의 트레이드오프 (Granularity vs. Noise Trade-off): 미세한 시각적 특징을 글로벌 그래프에 무분별하게 통합하면 그래프가 급격히 팽창하고 검색 노이즈가 발생하며, 반대로 거친 수준의 표현을 사용하면 중요한 국소적 증거를 놓치게 됩니다.
2. 정적 구조와 동적 의도의 불일치 (Static vs. Dynamic Mismatch): 기존의 그래프 리트리버는 대개 정적인 토폴로지와 쿼리에 무관한 전파 규칙에 의존하므로, 복잡한 멀티모달 맥락에서 사용자의 특정 의도에 적응하지 못합니다.
3. 명시적 구조적 융합의 부재 (Lack of Explicit Structural Fusion): 전통적인 MM-RAG는 검색된 문서들을 평탄화된 리스트로 취급하며, 이로 인해 생성 모델이 문서 간의 교차 관계를 암묵적으로 재구성하도록 강제하여 인지 부하를 높이고 멀티홉 추론을 방해합니다.

방법론: DualG-MRAG

저자들은 매크로 추론(글로벌 토폴로지)과 마이크로 매칭(로컬 검증)을 분리하는 이중 계층 프레임워크인 DualG-MRAG를 제안합니다. 이 시스템은 세 가지 쿼리 주도 단계로 작동합니다:

1. 이중 계층 멀티모달 그래프 구축

단일 평면 그래프 대신, 프레임워크는 두 개의 구별된 레이어를 구축합니다:

• 매크로 추론 그래프 ($T_M$): 글로벌 엔티티와 관계를 나타내는 상위 수준의 구조적 백본입니다. 시각 정보는 고정된 시각-언어 모델(VLM)을 통해 생성된 간결한 사실적 캡션 형태로 포함되며, 이는 텍스트와 병합된 후 개방형 정보 추출(OpenIE)을 통해 처리됩니다. 연결성을 높이기 위해 의미론적 엔티티 해상도(semantic entity resolution)를 기반으로 동등성 엣지가 추가됩니다.
• 마이크로 매칭 그래프 ($T_m$): 특정 이미지와 표 내의 미세한 의존성을 포착하도록 설계되었습니다. 마이크로 팩트는 4-튜플 $(u, r, v, d)$로 정의됩니다. 여기서 $u$와 $v$는 텍스트 앵커이며, $r$은 풍부한 시각적 세부 사항(공간적 관계, 속성)을 인코딩하고, $d$는 소스 문서(원본 이미지/표)에 대한 포인터입니다. 이러한 추상화는 글로벌 그래프의 크기를 폭발시키지 않으면서 시각적 충실도를 보존합니다.

2. 쿼리 주도 GNN 리트리버

검색은 NBFNet 아키텍처를 기반으로 한 그래프 신경망(GNN)을 사용하여 매크로 그래프 상에서 동적인 메시지 패싱 과정으로 정식화됩니다.

• 계층 간 정렬 및 활성화 (Cross-Tier Alignment & Activation): 시스템은 먼저 마이크로 그래프에서 관련 마이크로 팩트를 식별하기 위해 서브그래프 매칭을 수행합니다. 이들은 글로벌 엔티티와 정렬되어 쿼리 특화 바이너리 마스크를 초기화합니다.
• 동적 상태 초기화 (Dynamic State Initialization): 정적인 GNN과 달리, 은닉 상태는 동적으로 초기화됩니다. 쿼리와 관련된 노드는 쿼리의 의미론적 임베딩을 받는 반면, 나머지 노드는 0으로 처리되어 검색 공간을 효과적으로 가지치기(pruning)합니다.
• 관계적 메시지 패싱 (Relational Message Passing): GNN은 $L$ 레이어의 메시지 패싱을 수행하며, 이때 엣지 메시지는 소스 노드 상태, 관계 프로젝션, 타겟 노드 상태를 통합합니다. 이를 통해 모델은 다양한 추론 깊이에서 서로 다른 탐색 로직을 학습할 수 있습니다.
• 관련성 점수 산출 (Relevance Scoring): 최종 노드 점수는 문서 공간으로 다시 투영됩니다. 결정적으로, 시각적 점수는 마이크로 매칭 점수에 의해 조절되어 검증되지 않은 시각적 노이즈를 억제하며, 구조적으로 검증된 시각적 증거를 가진 문서가 더 높은 순위를 갖도록 보장합니다.

3. 명시적 경로 디코딩 (Explicit Path Decoding)

하위 MLLM을 가이드하기 위해, 프레임워크는 레이어별 동적 프로그래밍 알고리즘을 사용하여 GNN의 순전파 과정에서 직접 명시적인 추론 경로를 추출합니다.

• 로컬 흐름 분해 (Local Flow Decomposition): 메시지 패싱 중 각 엣지의 기여도는 로컬 흐로 확률(Local Flow Probability)로 정량화됩니다.
• 경로 추출 (Path Extraction): 알고리즘은 $L$ 홉에 의해 형성된 계산 방향성 비순환 그래프(DAG) 상에서 가장 확률이 높은 추론 체인(경로)을 식환합니다.
• 직렬화 (Serialization): 이러한 경로들은 구조화된 증거 그래프로 직렬화됩니다. 추상적인 매크로 엔티티들은 원래의 멀티모달 소스(텍스트, 이미지 영역, 표)로 역매핑되며, 생성 프롬프트 내에서 단계별 추론 체인으로 구어체화됩니다.

주요 기여

1. 이중 계층 아키텍처: 매크로 토폴로지 라우팅과 마이크로 특징 검증을 분리하여, 멀티홉 추론을 위한 연결성을 유지하면서도 시각적 검색 노이즈를 완화하는 새로운 프레임워크를 제시했습니다.
2. 쿼리 주도 GNN 메커니즘: MM-RAG에 쿼리 가이드 메시지 패싱 메커니즘을 최초로 적용하여, 이질적인 증거의 동적 정렬과 논리적 추론 체인의 명시적 추출을 가능하게 했습니다.
3. 명시적 경로 주입: 고립된 검색 인스턴스를 투명하고 검증 가능한 추론 경로로 변환하여, 생성 모델의 암묵적 추론 부담을 줄이는 메커니즘을 구축했습니다.

실험 결과

프레임워크는 벡터 기반 RAG(예: VisRAG, VLM2Vec) 및 그래프 강화 RAG(예: HM-RAG, MMGraphRAG)를 포함한 최신 베이스라인들과 함께 MMQA, WebQA, ScienceQA 벤치마크에서 평가되었습니다.

• QA 성능: DualG-MRAG는 모든 지표에서 모든 베이스라인을 능가했습니다. Qwen3-VL-4B 백본을 사용한 MMQA에서 Exact Match(EM) **44.20%**를 달성하여 가장 강력한 베이스라인보다 7% 절대적으로 향상된 성능을 보였습니다. ScienceQA에서는 평균 정확도 **90.99%**를 기록하여 특정 하위 카테고리에서 인간의 성능을 넘어섰으며, Chain-of-Thought를 사용하는 GPT-4를 능가했습니다.
• 검색 유효성: 모델은 우수한 재현율을 입증하였으며, MMQA에서 61.9% R@5를 달성하여 그래프 기반 베이스라인인 MMGraphRAG(42.1%)를 크게 앞질렀습니다.
• 효율성: 그래프 추론의 복잡성에도 불구하고, DualG-MRAG는 평균 쿼리 지연 시간 약 0.44초의 서브 세컨드 수준을 유지하여, 느린 그래프 기반 방식들과 비교했을 때 검색 효율성과 추론 깊이 사이의 경쟁력 있는 트레이드오프를 제공했습니다.
• 절제 연구 (Ablation Studies): 매크로 그래프를 제거했을 때 MMQA에서 재현율이 (61.9%에서 21.8% R@5로) 급격히 떨어졌으며, 이는 글로벌 토폴로지의 필요성을 확인시켜 줍니다. 마이크로 그래프를 제거하면 WebQA에서의 성능이 감소하여, 로컬 시각적 노이즈를 필터링하는 역할을 확인했습니다.

의의

본 논문은 DualG-MRAG가 미세한 시각적 증거의 필요성과 검색 노이즈의 위험 사이의 균형을 맞추는 멀티모달 검색의 근본적인 딜레마를 해결한다고 주장합니다. 이 계층 구조를 통해 프레임워크는 검색 정밀도를 희생하지 않으면서도 깊은 멀티홉 추론을 가능하게 합니다. 또한, 추론 경로를 명시적으로 추출하고 주입함으로써 하위 MLLM의 인지 부하를 줄여, 이질적이고 복잡한 증거 소스로부터 더 정확한 답변을 생성할 수 있도록 합니다. 이 연구는 효과적이면서도 계산 효율적인, 구조화된 그래프 강화 멀티모달 추론의 새로운 패러다임을 구축합니다.