💬 NLP

Dual-Path LLM Reasoning for Multimodal Few-Shot Knowledge Graph Completion

이 논문은 보정된 관계 그래프와 이중 수준 구조적 추론을 통해 노이즈를 완화하고 엔티티 표현을 강화함으로써 강건한 퓨샷 지식 그래프 완성을 달성하기 위해, 멀티모달 LLM 유래 사전 지식과 사실적 그래프 구조를 통합하는 이중 경로 LLM 추론 프레임워크인 DuPLeR을 제안한다.

원저자: Jinlan Liu, Zhiying Tu, Yongchao Xing, Yicheng Liu, Bolin Zhang, Dianbo Sui, Dianhui Chu, Hongliang Sun

게시일 2026-07-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jinlan Liu, Zhiying Tu, Yongchao Xing, Yicheng Liu, Bolin Zhang, Dianbo Sui, Dianhui Chu, Hongliang Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 세계의 사실들을 담은 거대하고 끊임없이 커지는 퍼즐을 완성하려 한다고 상상해 보세요. 여기서 모든 퍼즐 조각은 "엘비스 프레슬리"와 "로큰롤의 왕"처럼 두 대상 사이의 연결 고리입니다. 이것이 과학자들이 말하는 **지식 그래프(Knowledge Graph)**입니다. 이는 모든 것이 다른 것과 어떻게 연결되는지를 보여주는 디지털 지도이며, 스마트 비서나 검색 엔진을 구동합니다. 하지만 문제는 현실 세계는 무질서하다는 점입니다. 새로운 유명인, 새로운 과학적 발견, 새로운 신조어처럼 새로운 사실들이 매일 등장합니다. 하지만 지도는 아직 이들을 연결할 충분한 조각을 가지고 있지 못할 때가 많습니다. 이것이 바로 지식 그래프 완성(Knowledge Graph Completion), 즉 누락된 연결 고리를 추측해야 하는 문제입니다.

보통 컴퓨터는 이전에 본 적 있는 조각들이 있다면 이 일을 아주 잘 해냅니다. 하지만 만약 당신이 한 번도 본 적 없는 새로운 퍼즐 조각을 손에 쥐었는데, 그 주변에는 힌트가 될 만한 조각이 단 하나나 두 개뿐이라면 어떨까요? 이것이 바로 퓨샷(few-shot) 또는 제로샷(zero-shot) 도전 과제입니다. 이는 마치 이야기의 첫 문장만을 보고 결말을 추측하라는 요구와 같습니다. 이를 돕기 위해, 연구자들은 이제 인터넷의 거의 모든 것을 읽은 초지능형 AI 챗봇인 **대규모 언어 모델(LLM)**로부터 기술을 빌려오고 있습니다. 이 AI들은 특정 퍼즐을 직접 본 적이 없더라도, 사물들이 보통 어떻게 연결되는지에 대한 "직관"을 가지고 있습니다. 하지만 이 AI들은 때때로 너무 자신만만하여 사실을 지어내거나(환각 현상), 텍text와 일치하지 않는 이미지 때문에 혼란을 겪기도 합니다. 큰 질문은 이것입니다: 어떻게 하면 이 AI의 "직관"을 사용하여 헛소리를 만들어내지 않으면서 빈칸을 채울 수 있을까요?

여기에 진란 리우(Jinlan Liu)와 동료 연구자들이 제안한 새로운 프레임워크인 DuPLeR가 등장합니다. 이는 누락된 퍼즐 조각을 찾는 초정밀 조직적인 탐정 역할을 합니다. DuPLeR는 단순히 AI에게 "네 생각은 어때?"라고 묻고 결과가 좋기를 바라는 대신, AI의 추측을 실제 증거와 대조하기 위해 영리한 **이중 경로 전략(dual-path strategy)**을 사용합니다.

먼저, 시스템은 AI에게 어떤 유형의 것들이 연결될 수 있는지 예측하도록 요청합니다 (예를 들어, "음악가"는 "노래"와 연결될 가능성이 높다고 추측하는 것). 하지만 AI를 맹목적으로 신뢰하지는 않습니다. 시스템은 AI의 제안을 바탕으로 이미 알려진 실제의 확고한 사실들과 일치하지 않는 부분들을 제거하여 "교정된(calibrated)" 지도를 구축합니다. 이는 마치 선생님이 학생의 에세이를 검토하는 것과 같습니다. 선생님은 좋은 아이디어는 유지하되, 증거와 맞지 않는 지어낸 세부 사항들은 지워버립니다.

그다음, 진짜 마법이 일어납로납니다. 바로 이중 경로 멀티모달 강화(dual-path multimodal enhancement) 단계입니다. 당신이 용의자 선상에서 용의자를 식별하려고 한다고 상상해 보세요.

경로 1 (탐정의 집중): 시스템이 현재 질문에 대한 구체적인 단서들을 살펴볼 때, "쿼리 특정적(query-specific)" 필터를 사용합니다. 시스템은 AI에게 이렇게 묻습니다. "이봐, 이 특정 관계를 볼 때, 사진이나 텍스트 설명 중 실제로 중요한 부분은 어디지?" 그러면 AI는 배경 소음을 무시하고 오직 관련 있는 시각적 또는 텍스트 힌트에만 집중합니다.
경로 2 (일반 지식): 탐정이 구체적인 업무를 마친 후, 시스템은 다시 한 걸음 물러나 전체 그림을 봅니다. 시스템은 용의자의 전체적이고 여과되지 않은 설명과 이미지를 가져와서, 특정 필터가 놓쳤을지도 모르는 크고 일반적인 세부 사항들을 놓치지 않았는지 확인합니다.

이 두 가지 경로, 즉 특정 질문에 레이저처럼 집중하는 경로와 전체적인 그림을 유지하는 경로를 결 сочета함으로써, 시스템은 누락된 연결 고리에 대해 훨씬 더 강력하고 정확한 추측을 만들어냅니다.

연구진은 컴퓨터가 단 하나의 예시(1-shot) 또는 세 개의 예시(3-shot)만을 가지고 학습해야 하는 상황을 시뮬레이션하며, 두 가지 주요 지식 그래프 벤치마크의 여덟 가지 버전에 대해 이를 테스트했습니다. 결과는 유망했습니다. DuPLeR는 기존의 방식들과 심지어 다른 AI 보조 접근 방식들보다 일관되게 우수한 성능을 보였습니다. 예를 들어, FB15K-IMG-R 데이터셋에서 DuPLeR는 1-shot 설정에서 **71.77%**의 Hits@10 점수를 기록하며, 이전 최고 점수인 **61.20%**를 크게 앞질렀습니다. 아무런 예시도 제공되지 않은 제로샷(zero-shot) 시나리오에서도 시스템은 여전히 예측력을 향상시켰으며, 이는 이 이중 경로 방식이 AI가 아무런 정보 없이 헤맬 때도 현실에 기반을 두도록 돕는다는 것을 시사합니다.

이 연구는 AI가 새로운 사실을 이해하는 데 도움이 되는 출발점을 제공할 수는 있지만, 실제 데이터로부터의 "현실 점검"과 구체적인 단서와 일반적인 지식 사이의 영리한 균형이 필요하다는 점을 시사합니다. DuPLeR가 우주의 퍼즐을 풀었다고 주장하는 것은 아니지만, 정보가 부족할 때 빈칸을 채우는 견고하고 새로운 방법을 제시하며, 우리의 디지털 세계 지도가 완전하고 신뢰할 수 있는 상태를 유지하도록 돕습니다.

기술 요약: DuPLeR – 멀티모달 퓨샷 지식 그래프 완성을 위한 이중 경로 LLM 추론 (Dual-Path LLM Reasoning for Multimodal Few-Shot Knowledge Graph Completion)

1. 문제 정의

본 논문은 멀티모달 지식 그래프(MMKG) 내의 퓨샷(few-shot) 및 제로샷(zero-shot) 설정에서의 귀납적 지식 그래프 완성(Inductive KGC) 문제를 다룹니다.

과제: 전통적인 트랜스덕티브(transductive) KGC 방식은 훈련 과정에서 보지 못한 새로운 엔티티와 관계를 마주할 때 실패합니다. 실제 시나리오에서 새롭게 등장하는 엔티티들은 매우 희소한 로컬 이웃(퓨샷)을 갖거나, 지원하는 트리플(support triple)이 전혀 없는(제로샷) 경우가 많습니다.
멀티모달 제약 사항: 텍스트 설명이나 이미지와 같은 멀티모달 정보는 희소한 구조적 데이터를 보완할 수 있지만, 무분별한 융합은 노이즈, 교차 모달 이질성(cross-modal heterogeneity), 그리고 환각(hallucination)을 유발합니다. 이는 특히 퓨샷 설정에서 노이즈가 섞인 모달리티가 엔티티 표현을 왜곡할 수 있다는 점에서 치명적입니다.
LLM 격차: 대규모 언어 모델(LLM)은 풍부한 세계 지식을 제공하여 희소한 컨텍스트를 풍부하게 할 수 있지만, 기존 방식들은 모달리티별 신뢰도를 명시적으로 처리하거나, LLM에서 유도된 의미론적 사전 지식(semantic priors)과 MMKG의 사실적 멀티모달 증거 사이의 입도(granularity) 불일치를 해결하는 데 어려움을 겪습니다.

2. 방법론: DuPLeR 프레임워크

저자들은 멀티모달 LLM 유도 사전 지식을 구조적 추론과 통합하면서 노이즈를 완화하도록 설계된 프레임워크인 DuPLeR(Dual-Path LLM Reasoning)을 제안합니다. 이 아키텍처는 네 가지 핵심 구성 요소로 이루어져 있습니다.

2.1 이중 수준 구조적 추론 (Dual-Level Structural Reasoning)

제한된 감독 학습을 활용하기 위해, DuPLeR는 두 가지 상호 보완적인 수준에서 추론을 수행합니다.

관계 수준 (CCoRGE): 문맥 강화 공생 관계 그래프 인코더(Context-Enhanced Co-occurrence Relation Graph Encoder)는 고차 관계 그래프를 구축합니다. 이는 위상적 공생(topological co-occurrence)에 기반하여 관계들 사이의 전이 가능한 상호작용 패턴(예: 관계들이 헤드/테일 엔티티를 공유하는 방식)을 포착합니다. 이 단계는 특정 엔티티 정체성에 대한 의존도가 낮습니다.
엔티티 수준 (MAPNet): 멀티모달 인식 예측 네트워크(Multimodal-Aware Prediction Network)는 CCoRGE에서 얻은 관계 임베딩을 사용하여 엔티티 그래프 상의 메시지 패싱을 가이드합니다. 이는 관계를 인식하는 구조적 경로를 식별하고 후보 엔티티의 점수를 매깁니다.

2.2 사전 지식 주입 (LLM 통합)

관계와 관련된 트리플의 부족 문제를 해결하기 위해, DuPLeR는 멀티모달 LLM을 활용하여 보이지 않는 관계에 대한 그럴듯한 헤드 및 테일 엔티티 타입을 추론합니다.

프롬프팅 전략: 프레임워크는 이미지를 선택적 증거로 취급하는 정교하게 설계된 프롬프트를 사용합니다. LLM은 시각적 정보가 관계와 관련이 있고 텍스트와 일치할 때만 이를 사용하고, 그렇지 않으면 시각적 노이즈를 줄이기 위해 이를 무시하도록 지시받습니다.
위상 정교화 (Topology Refinement): LLM의 환각을 완화하기 위해, 사실적 트리플 기반 정교화 단계가 도입됩니다. 이는 LLM 유도 의미론적 그래프( $G_{sem}$ )와 구조적 그래프( $G_{ins}$ )를 병합하여 예비 관계 그래프를 구축합니다. 이후 간접적인 노이즈 필터링 전략을 통해 타겟 관계를 주변 이웃과 연결하는 엣지 중 "노이즈 정도"(병합된 그래프와 구조적 그래프 간의 불일치)가 높은 것들을 제거하여, 교정된 관계 그래프( $G_R$ )를 생성합니다.

2.3 이중 경로 멀티모달 강화 (Dual-Pathway Multimodal Enhancement)

관계 조건부 필터링이나 쿼리 불가지론적(query-agnostic) 융합 중 어느 것도 단독으로는 충분하지 않다는 점을 인식하여, DuPLeR는 멀티모달 신호를 주입하기 위해 두 가지 상호 보완적인 경로를 채택합니다.

쿼리 특정 조절 (프로세스 주입 경로): 구조적 메시지 패싱 중에 텍스트와 시각적 특징이 쿼리 관계에 따라 동적으로 융합됩니다. 관계 가이드 저계수 어텐션(relation-guided low-rank attention) 메커니즘과 **모달리티별 저계수 게이트(modality-specific low-rank gates)**가 시각적 신호의 기여도를 제어합니다. 이는 소프트한 조절기 역할을 하여, 구조적 추론이 지배적인 상태를 유지하면서도 쿼리와 관련된 멀티모달 큐에 의해 가이드되도록 합니다.
쿼리 불가지론적 LMF-Max (포스트 주 injection 경로): 그래프 전파 후, 최대 풀링을 포함한 저계수 융합(LMF-Max) 모듈이 정보 손실을 보충합니다. 이는 유효하지 않은 이미지를 제외하기 위해 마스크드 맥스 풀링(masked max pooling)을 사용하여 핵심적인 시각적 증거를 포착하고, 서로 다른 저계수 의미 공간에 학습 가능한 가중치를 할당합니다. 이 경로는 최종 예측을 위해 쿼리와 독립적인 전체적인 엔티티 수준의 세만틱을 제공합니다.

2.4 사전 학습 및 추론

DuPLeR는 공유된 학습 가능 구성 요소를 사용하여 여러 MMKG에서 사전 학습됩니다. 보이지 않는 그래프에 대한 추론 시, 모델은 LLM 출력을 통해 보이지 않는 관계에 대한 표현을 도출하고, 이를 그래프에 주입하며, 타겟 그래프에 대한 재학습 없이 링크 예측을 수행합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다.

DuPLeR 프레임워크: 희소하고 노이즈가 많은 감독 하에서의 귀납적 KGC에서 표현 왜곡을 완화하기 위해, 멀티모달 LLM 유도 관계 사전 지식과 구조적 추론을 통합하는 새로운 접근 방식을 제시합니다.
이중 경로 메커니즘: 멀티-모달 통합을 메시지 패싱 중의 쿼리 조건부 조절과 전파 후의 쿼리 독립적 보충으로 분리하여 견고한 멀티모달 융합을 가능하게 하는 설계를 제공합니다.
실증적 검증: 두 개의 MMKG 벤치마크(FB15K-IMG-R 및 OpenBG-IMG-R)의 8가지 귀납적 변형 모델에 대해 광범-한 실험을 수행하여, 귀납적 일반화 및 강건성 측면에서 일관된 개선을 입증했습니다.

4. 실험 결과

저자들은 DuPLeR를 세 가지 범주의 베이스라인과 비교 평가했습니다: 전통적인 KG 임베딩(DistMult, RotatE), 단일 모달 귀납 모델(InGram, ULTRA, ProLINK), 그리고 멀티모달 모델(MMSN)입니다.

성능: DuPLeR는 FB15K-IMG-R 및 OpenBG-IMG-R 모두에서 1-shot 및 3-shot 설정에 걸쳐 모든 베이스라인을 일관되게 능가했습니다.
- **FB15K-IMG-R (v1, 1-shot)**에서, DuPLeR(Qwen3-8B 사용)는 71.63% Hits@10을 달성하여 ProLINK(61.40%)와 ULTRA(27.00%)를 크게 앞질렀습니다.
- **OpenBG-IMG-R (v1, 1-shot)**에서, DuPLeR는 25.73% Hits@10를 달성하여 ProLINK(22.37%) 및 MMSN(11.17%)보다 우수한 성능을 보였습니다.
제로샷 능력: 제로샷 설정에서도 DuPLeR는 특히 약한 LLM 백본(예: Llama2-7B)을 사용할 때 ProLINK보다 명확한 개선을 보여, 정보 결핍을 완화하는 능력을 입증했습니다.
절제 연구 (Ablation Studies): 멀티모달 LLM 사전 지식을 제거했을 때 제로샷 설정에서 약 28.2%의 상대적 성능 저하가 발생하여, 그 결정적인 역할을 확인했습니다. 또한 이중 경로 멀티모달 강화 기능을 제거했을 때 성능이 크게 저하되어, 두 주입 경로의 필요성을 확인했습니다.
강건성: DuPLeR는 다양한 LLM 백본(Llama2, Qwen, DeepSeek) 전반에서 높은 성능을 유지하였으며, 이는 이중 경로 멀티모달 모듈이 LLM의 사전 지식이 불충분할 때도 관계적 컨텍스트를 효과적으로 보완함을 입증합니다.

5. 의의 및 주장

본 논문은 DuPLeR를 멀티모달 환경에서의 귀납적 퓨샷 KGC 문제에 대한 원칙적인 솔루션으로 포지셔닝합니다. 그 의의는 다음과 같습니다.

격차 해소: LLM의 의미론적 사전 지식을 멀티모달 큐와 효과적으로 정렬함으로써, MMKG에 내재된 신뢰도 및 입도 불일치 문제를 해결합니다.
노이즈 완화: 위상 정교화 모듈과 이중 경로 주입 메커니즘을 도입함으로써, 데이터가 부족한 시나리오에서 LLM 및 로우(raw) 멀티모달 데이터를 사용할 때 발생하는 노이즈와 환각 위험을 구체적으로 겨냥합니다.
확장성: 프레임워크는 재학습 없이도 새로운 엔티티에 대한 정밀한 링크 예측을 가능하게 하여, 어노테이션 비용이 높은 확장 가능한 지능형 애플리케이션에 적합합니다.

저자들은 LLM 유도 사전 지식이 필수적인 관계 컨텍스트를 제공하지만, 이중 경로 멀티모달 강화가 이러한 사전 지식을 사실적인 엔티티 수준의 세만틱에 접지(grounding)시켜 견고한 귀납적 일반화를 달성하는 데 핵심적이라고 결론짓습니다.