기술 요약: UniHEAR

문제 정의

지식 기반 시각적 질의응기(Knowledge-Based Visual Question Answering, KB-VQA)는 모델이 질문에 답하기 위해 외부 엔티티 지식(예: 위키피디아)을 검색할 것을 요구합니다. 기존의 검색 증강 시스템은 두 가지 결정적인 한계에 직면해 있습니다:

1. 단일 소스 검색 병목 현상(Single-Source Retrieval Bottleneck): 기존 시스템은 일반적으로 이미지-대-이미지(I2I) 또는 이미지-대-텍스트(I2T) 중 하나의 단일 검색 모달리티에 의존합니다. 이러한 모달리티는 크게 상이합니다. I2I는 형태적 유사성(색상, 모양)을 우선시하는 반면, I2T는 의미론적 일관성을 강조합니다. 결과적으로, 제한된 검색 예산 하에서 정답 엔티티가 한쪽 소스에 의해서만 포착될 수 있으며, 이는 단일 소스 검색을 본질적으로 불완전하게 만들고 VQA 정확도의 상한선을 억제합니다.
2. 검색 소스 무시 재순위화(Retrieval-Source-Blind Reranking): 기존의 재순위화 모델(reranker)은 종종 모든 후보군에 대해 균등한 모달리티 주의(attention)를 할당하며, 이는 거친 단계(coarse stage)의 검색 과정에서 확립된 검색 기원 및 후보 수준의 사전 정보(prior)를 무시합니다. 이는 이미 대규모 거친 검색기에 의해 활용된 모달리티에 대한 중복 의존을 초해하여, 재순위화 과정의 변별력을 감소시키고 정답 엔티티의 순위 오류(misranking)를 유발합니다.

방법론: UniHEAR

저자들은 거친 검색과 미세한 재순위화를 통합된 아키텍처를 통해 연결하도록 설계된 경량 프레임워크인 UniHEAR(Unified Heterogeneous-Source Attentive Retrieval)를 제안합니다. 이 프레임워크는 세 단계로 작동합니다:

1. 이종 소스 거친 단계 검색 (Heterogeneous-Source Coarse-Grained Retrieval)

시스템은 쿼리 이미지를 두 개의 상호 보완적인 지식 베이스 소스인 엔티티 이미지(I2I) 및 텍스트 요약(I2T)과 동시에 매칭합니다.

• 후보 풀(Candidate Pool): 두 소스로부터 얻은 상위-$k$ 후보들의 합집합이 통합 후보 풀을 형성하여 상호 보완적인 커버리지를 보장합니다.
• 거친 검색 기술자(Coarse Retrieval Descriptor, CRD): 각 엔티티 후보는 사전 가이드로서 검색 증거를 인코딩하는 기술자 $D(e)$에 의해 특징지어집니다. 이 기술자에는 다음이 포함됩니다:
  • 각 소스 내에서의 정규화된 순위 ($r_s$)
  • 원시 유사도 점수 ($sim_s$) 및 z-정규화 유사도 ($z_s$)
  • 최상위 순위 엔티티와의 유사도 격차 ($\delta_s$)
  • 검색 분포의 집중도와 소스 신뢰도를 측정하기 위한 풀 수준의 엔트로피 ($H_s$)
    이 기술자는 대규모 거친 검색기와 경량 재순위화기 사이의 간극을 메워줍니다.

2. 검색 가이드형 멀티모달 엔티티 재순위화 (Retrieval-Guided Multimodal Entity Reranking)

이 단계에서는 VISTA 아키텍처를 기반으로 구축되었으며, 두 가지 새로운 모듈에 의해 강화된 경량 재순위화기를 사용합니다:

• 검색 가이드형 어텐티브 모달리티 게이팅 (Retrieval-Guided Attentive Modality Gating, RAMG): 모든 후보를 동일하게 취급하는 대신, RAMG는 거친 검색 기술자에 따라 모달리티 주의 가중치를 조건화합니다. 이는 기술자로부터 유도된 아핀 변조 파라미터($\gamma, \beta$)를 사용하여 어텐션 로짓(logits)을 조정합니다. 이를 통해 모델은 이미 거친 검색 과정에서 활용된 모달ities에 대한 의존도를 억제하고(예: I2I를 통해 이미 확인된 후보에 대한 시각적 주의 감소), 모달리티별 표현($C_{it}, C_t, C_i$)을 하나의 통합된 융합 표현으로 집계할 수 있습니다.
• 엔트로피 가중치 소스 융합 (Entropy-Weighted Source Fusion, EWSF): 이 모듈은 학습되지 않은 보완책으로서 거친 검색의 사전 정보를 학습된 재순위화 점수에 다시 통합합니다. 소스별 점수를 정규화된 순위 및 풀 엔트로피에 따라 가중치를 부여하고, 이를 풀 평균 비율로 보정(calibrate)한 후 학습된 재순위화 점수와 융합합니다.

3. 다중 엔티티 섹션 증강 생성 (Multi-Entity Section-Augmented Generation)

최종 답변 생성을 위해, 프레임워크는 상위-$k_e$ 재순위화된 엔티티들의 섹션들을 집계합니다.

• 섹션 선택: 미세한 섹션 수준의 IT2T 유사도와 엔티티 수준의 검색 점수를 결합합니다.
• 순위 비례 할당: 컨텍스트 예산을 가장 신뢰도가 높은 엔티티에 집중시키기 위해 순위에 비례하여 섹션을 할당합니다(예: 상위 순위 엔티티는 하위 순위 엔티티보다 더 많은 섹션을 받음).
• 생성: 멀티모달 대규모 언어 모델(MLLM)이 입력 이미지, 질문, 그리고 집계된 검색 섹션을 조건으로 최종 답변을 생성합니다.

학습 전략

UniHEAR은 단일 모델 내에서 엔티티 수준과 섹션 수준의 검색을 통합하기 위해 하이브리드 학습 전략을 채택합니다:

• 대조 학습 손실 ($L_{con}$): 양의 쌍(positive pairs)을 어려운 부정 쌍(hard negatives)으로부터 구별하도록 융합된 표현을 최적화합니다.
• 보조 모달리티 보존 손실 ($L_{aux}$): 보조 손실은 하위 단계의 섹션 수준 검색에 필요한 교차 모달 매칭 능력(IT2T, I2T, I2I)을 보존합니다. 여기에는 신뢰할 수 없는 양의 감독(예: ground-truth 이미지 라벨이 누락되었거나 URL에 접근할 수 없는 경우)을 필터링하는 이진 마스크가 포함되어 모달리티 붕괴를 방지합니다.

주요 기여

1. 통합 프레임워크: 이종 소스 엔티티 검색과 재순위화를 통합하고, 다중 소스 증거를 인코딩하는 거친 검색 기술자를 구축하는 경량 프레임워크인 UniHEAR을 제안합니다.
2. 새로운 게이팅 메커니즘: 모달리티 의존도를 완화하기 위해 검색 기술자에 따라 모달리티 주의를 조건화하는 Retrieval-Guided Attentive Modality Gating (RAMG)을 도입합니다.
3. 학습 불필요 융합: 추가적인 학습 오버헤드 없이 보정된 거친 검색 사전 정보를 재통합하는 Entropy-Weighted Source Fusion (EWSF)을 구현합니다.
4. 통합 학습 목적 함수: 단일 모델 내에서 원활한 엔티티-투-섹션 검색을 가능하게 하기 위해 대조 학습과 보조 모달리티 보존 손실을 결합한 학습 전략을 설계합니다.

실험 결과

E-VQA 및 InfoSeek 데이터셋에 대해 광범적인 실험이 수행되었습니다.

• 검색 성능: UniHEAR은 최첨단(SOTA) 검색 성능을 달성했습니다. E-VQA에서 가장 강력한 베이스라인인 OMGM보다 6.7 포인트, MLLM 기반 베이스라인인 ReflectiVA보다 33.9 포인트 향상된 Recall@1을 기록했습니다. InfoSeek에서는 OMGM보다 Recall@1을 1.2 포인트 향상시켰습니다.
• VQA 성능: 생성 파인튜닝 없이, Qwen2.5-VL-7B를 사용한 UniHEAR은 E-VQA에서 **53.2%**의 정확도를 달로성하여 동일한 생성기를 사용하는 모든 파인튜닝된 검색 증강 베이스라인을 능가했습니다. 생성기를 파인튜닝했을 때, E-VQA에서 50.4%, InfoSeek에서 **44.1%**를 달성하여 모든 베이스라인을 앞질렀습니다.
• 효율성: 이종 소스를 통합하고 더 큰 후보 풀을 처리함에도 불구하고, UniHEAR은 197M 파라미터만을 가진 경량 아키텍처를 유지합니다(BLIP-2 기반 경쟁 모델의 1.2B~1.7B 대비). RAMG 모듈은 단 0.59M 파라미터(0.3% 오버헤드)만을 추가하며, 이는 검색 가이드형 게이팅이 무시할 만한 파라미터 비용으로 성능을 향상시킨다는 것을 입증합니다.

의의

본 논문은 UniHEAR이 검색 가이드형 재순위화가 결합된 이종 소스 검색을 미래의 KB-VQA 연구를 위한 유망한 패러다임으로 확립한다고 주장합니다. 단일 소스 검색 병목 현상과 검색 소스 무시 재순위화 문제를 명시적으로 해결함으로써, 이 프레임워크는 여러 소스의 상호 보완적인 신호를 거친 검색 사전 정보에 따라 활용하는 것이 높은 효율성을 유지하면서도 검색 정확도와 다운스트림 VQA 성능을 모두 크게 향상시킬 수 있음을 보여줍니다. 결과는 경량화된 통합 모델이 이미 표출된 풍부한 증거를 효과적으로 활용함으로써 더 큰 단일 소스 또는 다단계 시스템을 능가할 수 있음을 시사합니다.