Salient Knowledge Pathways: Sparse Cross-Modal Routing for Efficient Knowledge-Intensive Multimodal Question Answering

기술 요약: 핵심 지식 경로 (Salient Knowledge Pathways, SKIP)

문제 정의
지식 집약적 멀티모달 질의응답(KI-MMQA)은 이미지 콘텐츠만으로는 해결할 수 없는 시각적 질문에 답하기 위해 외부 세계 지식의 검색을 필요로 합니다. 현재의 최첨단 시스템들은 "밀집 가격 책정(dense pricing)" 문제에 직면해 있습니다: 즉, 쿼리의 실제 복잡성이나 정보 요구 사항과 관계없이 모든 쿼리에 대해 세 가지 고비용 프리미티브(primitive)의 전체 계산 비용을 일률적으로 부과한다는 점입니다. 이러한 비용에는 다음이 포함됩니다:

1. 긴 시각적 토큰 시퀀스: 현대적인 비전 인코더는 수백 개의 패치 토큰(예: 576개)을 생성하며, 이 중 대부분은 특정 질문과 무관합니다.
2. 밀집 검색(Dense Retrieval): 전역 이미지-질문 쿼리를 사용하여 방대한 외부 코퍼스(수백만 개의 구절)를 검색하는 과정입니다.
3. 전체 교차 모달 퓨전(Full Cross-Modal Fusion): 모든 시각적 토큰, 질문 토큰, 그리고 검색된 모든 지식 청크의 합집합에 대해 어텐션을 수행함으로써 발생하는 이차 함수적(quadratic) 어텐션 비용입니다.

이러한 일률적인 비용 구조로 인해 KI-MMQA 시스템은 온디바이스 배포 및 인터랙티브 애플리케이션에 적용하기에 지나치게 비싸며, 비용은 $O(V \cdot T \cdot K \cdot d)$ (여기서 $V$는 시각적 토큰, $T$는 질문 길이, $K$는 검색된 청크, $d$는 모델 너비)로 스케일링됩니다. 저자들은 쿼리의 정보 요구 사항이 매우 불균형하다는 점에 주목했습니다. 어떤 쿼리는 정밀한 시각적 국소화(localization)와 최소한의 검색을 필요로 하는 반면, 다른 쿼리는 최소한의 시각적 그라운딩(grounding)과 함께 광범위한 검색을 필요로 합니다.

방법론: SKIP 아키텍처
저자들은 질문 조건부의 희소 경로(sparse, question-conditional pathways)를 따라 계산을 라우팅하는 통합 추론 아키텍처인 SKIP(Salient Knowledge-Injected Pathways)을 소개합니다. SKIP은 희소성을 고립된 최적화로 취급하는 대신, 시각적 인코딩, 검색, 퓨전 단계 전반에 걸쳐 구성적으로 적용합니다. 이 시스템은 다섯 가지의 학습된 컴포넌트로 구성됩니다:

1. 질문 가이드 시각적 돌출도(Question-Guided Visual Saliency, QVS): 검색이 일어나기 전에 질문과의 관련성을 기준으로 시각적 토큰의 점수를 매기는 교차 어텐션 모듈입니다. QVS는 무관한 토큰을 조기에 제거함으로써, 이후의 검색 쿼리가 질문 관련 영역에서만 유도되도록 보장하여 배경 노이즈가 검색 신호를 희석하는 것을 방지합니다.
2. 영역 조건부 희소 검색(Region-Conditional Sparse Retrieval, RCSR): 단일 전역 쿼리 대신, RCSR은 유지된 시각적 토큰을 돌출된 영역으로 클러스터링하고 각 영역에 대해 별도의 검색 쿼리를 발행합니다. 이 접근 방식은 전역 검색이 놓치기 쉬운 작은 변별적 이미지 영역(예: 로고, 텍스트, 미세한 엔티티)과 연결된 지식을 표면화합니다.
3. 이분 희소 교차 어텐션(Bipartite Sparse Cross-Attention, BSCA): 학습된 호환성 임계값을 초과하는 (시각적 토큰, 지식 청크) 쌍에 대해서만 어텐션을 제한하는 연산자입니다. 이는 구조적으로 무관한 교차 모달 엣지를 건너뜀으로써 지배적인 퓨전 FLOP 항을 한 자릿수 수준으로 줄여줍니다.
4. 난이도 적응형 예산 컨트롤러(Difficulty-Adaptive Budget Controller, DBC): 전역 이미지-질문 특징을 기반으로 쿼리당 계산 예산(시각적 토큰 수 $V'$ 및 검색된 청크 수 $K'$)을 예측하는 경량 MLP입니다. 이는 수동적인 난이도 레이블 없이도 어려운 쿼리에는 용량을 집중시키고 쉬운 쿼리에는 용량을 줄입니다.
5. 추측적 지식 검증(Speculative Knowledge Verification, SKV): 쉬운 쿼리(예: 개수 세기, 공간 질문)를 추측하여 답변함으로써 전체 검색이 필요한지 결정하는 작은 "드래프터(drafter)" 모델입니다. 드래프터가 확신을 가지면 파이프라인은 숏컷(short-circuit)되며, 그렇지 않으면 전체 파이프라인이 실행됩니다. 이를 통해 34~41%의 쿼리를 빠른 경로(fast path)로 라우팅합니다.

이론적 기여
논문은 피스와이즈 리프시츠(piecewise-Lipschitz) 상호 정보량 가정 하에 정보 병목 경계(Theorem 4.3)를 도출합니다. 저자들은 정확도를 밀집 베이스라인 대비 $\varepsilon$ 이내로 유지하기 위한 최적의 시각적 희소율이 $O(1/\sqrt{V})$ (구체적으로 $V' \ge C \cdot \sqrt{V} \cdot \log(1/\varepsilon)$)로 스케일링됨을 증명합니다. 이는 적은 수의 시각적 토큰만으로도 고정밀 KI-MMQA를 수행하기에 충분하다는 경험적 관찰에 대한 이론적 근거를 제공합니다.

실험 결과
SKIP은 OK-VQA, A-OKVQA, InfoSeek, Encyclopedic-VQA, ViQuAE 등 5개의 KI-MMQA 벤치마크에서 평가되었습니다.

• 정확도: SKIP은 모든 데이터셋에서 강력한 밀집 베이스라인(예: RA-CM3)과 대등하거나 이를 능가하는 정확도를 보여줍니다. 특히, 지식 접근이 중요한 엔티티 중심 및 미세 조정 작업에서 가장 강력한 베이스라인보다 2.7~4.3 포인트 높은 성능을 보였습니다.
• 효율성: SKIP은 밀집 베이스라인에 비해 3.4~6.8배 적은 FLOPs와 **2.7배 적은 엔드 투 엔드 지연 시간(latency)**을 사용하여 이러한 결과를 달성했습니다.
• 계산-정확도 프런티어(Compute-Accuracy Frontier): OK-VQA 벤치마크에서 SKIP은 밀집 시스템보다 5배 적은 계산량으로도 59% 이상의 정확도를 유지하며 모든 베이스라인을 파레토 우위(Pareto-dominate)합니다. 동일한 FLOP 예산에서, SKIP은 검색 미사용 모델(예: OK-VQA에서 BLIP-2 대비 +17.3 포인트)을 크게 압도합니다.
• 절제 실험(Ablations): 단 하나의 컴포넌트라도 제거하면 성능이 저하됩니다. QVS는 정확도 측면에서 가장 핵심적인 컴포넌트로 식별되었으며, 이를 무작위 제거(random pruning)로 대체할 경우 정확도가 9.1 포인트 하락합니다. BSCA는 효율성의 주요 동력으로, 정확도 손실을 거의 없이 FLOPs를 한 자릿수 수준으로 줄입니다.

의의 및 주장
저자들은 SKIP이 통일된 질문 조건부 라우팅 정책 하에서 시각적 희소성과 검색 희소성을 공동으로 최적화하는 최초의 시스템이라고 주장합니다. 논문은 지식 집약적 멀티모달 추론이 현재의 시스템들이 가정하는 것보다 본질적으로 더 희소하다고 논증합니다. 희소성을 모달리티와 검색을 아우르는 일차적인 설계 원칙으로 다룸으로써, SKIP은 상당한 계산적 여유 공간을 확보합니다. 저자들은 이 접근 방식이 단순히 정확도를 속도와 맞바꾸는 것이 아니라, 검색과 퓨전의 비용을 줄임으로써 시스템이 더 큰 효과적 코퍼스에서 정보를 검색하고 더 풍부한 컨텍스트를 퓨전할 수 있게 하여 오히려 정확도를 향상시킨다고 강조합니다. 이론적 경계와 경험적 결과는 서로 일치하며, 이는 KI-MMQA 쿼리의 저차원 구조가 효율적인 추론을 위해 효과적으로 활용될 수 있음을 시사합니다.