Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering

기술 요약: 끝에서 길을 잃다: 멀티모달 검색 증강 질의응답에서의 초두 효과(Primalcy Bias)

문제 정의
지식 기반 시각적 질의응답(KB-VQA) 시스템은 비전-언어 독자(VLM)가 이미지에 관한 질문에 답할 수 있도록 대규모 지식 베이스(예: 위키피디아 규모)에서 구절을 검색하여 조건화하는 방식에 의존한다. 순수 텍스트 기반의 롱 컨텍스트 거대 언어 모델(LLM)은 정보가 컨텍스트의 시작과 끝에는 활용되지만 중간 부분은 무시되는, 잘 알려진 "중간에서 길을 잃는(lost-in-the-middle)" 현상을 보인다(Liu et al., 2024). 그러나 이러한 현상이 배포된 멀티모달 KB-VQA 시스템으로 전이되는지는 알려진 바 없다. 기존의 멀티모달 위치 편향 연구들은 특정 KB-VQA 스택을 사용하기보다는 적은 수의 방해 요소(distractors)나 일반적인 이미지-텍스트 이해 벤치마크를 사용하여, 실제 배포 규모에서의 이 현상을 규명하지 못했다. 결과적으로, U자형 편향이 유지되는지, 아니면 다른 형태가 나타나는지, 편향의 기원이 어디인지(이미지 근접성 vs 텍스트 위치), 그리고 고정된(frozen) 독자를 위해 검색 측면의 최적화(예: 다양화, 재순위화)가 이 문제를 완화할 수 있는지 여부가 불분명하다.

방법론
저자들은 멀티모달 KB-VQA에서 독자 측의 위치 의존성을 격리하기 위해 통제된 "골드-포지션 프로토콜(gold-position protocol)"을 설계하였다.

• 프로토콜 설계: 각 질문에 대해, 단 하나의 "골드(관련 있는)" 구절의 위치만 다를 뿐 나머지는 비트 단위로 동일한 세 가지 프롬프트를 구성한다. 골드 구절은 첫 번째 슬롯(인덱스 0), 중간 슬롯(인덱스 $\lfloor(k-1)/2\rfloor$), 또는 마지막 슬롯(인덱스 $k-1$)에 배치된다. 나머지 $k-1$개의 슬롯은 동일한 방해 요소들로 채워진다.
• 규모 및 설정: 본 연구는 강력한 멀티 벡터 리트리버(PreFLMR ViT-G)의 상위 50개 후보를 사용하며, $k$를 최대 20까지 변화시키며 배포 규모에서 수행된다.
• 모델 및 벤치마크: 세 가지 오픈 소스 7B/8B 인스트럭션 튜닝된 VLM(Qwen2.5-VL-7B, InternVL3-8B, Qwen3-VL-8B)을 대상으로 두 가지 KB-VQA 벤치마크(INFOSEEK 및 E-VQA)에서 실험을 진행한다.
• 통계적 엄밀성: 연구는 정확한 쌍체 비교를 보장하기 위해 쌍체 부트스트랩 추론(10,000회 재표본 추출)을 포함한 프롬프트 내 쌍체 설계(within-prompt paired design)를 채택한다. 사후 분석(post-hoc harvesting)을 방지하기 위해 사전 등록된 5단계 분류기를 사용하여 효과 크기(예: 일반화, 증폭)를 범주화한다.
• 절제 실험(Ablations): 저자들은 효과의 위치를 결정하기 위해 표적 절제 실험을 수행한다:
  1. 텍스트 전용 대조군: 텍스트 모드의 기본 편향을 측정하기 위해 이미지를 제거한다.
  2. 이미지-위치 절제: 이미지 토큰 블록을 프롬프트의 끝으로 이동시켜 이미지 토큰 근접성 효과를 테스트한다.
  3. 방해 요소 셔플 절제: 검색 순위와 관련하여 방해 요소의 순서를 무작위화하여 프롬프트 슬롯 위치와 검색 유사성을 분리한다.
  4. 검색 측 해결책: 고정된 독자에 대해 최대 한계 다양성(MMR) 다양화, 오라클 재순위화(oracle reranking), 순위 기반 재정렬을 테스트한다.

주요 결과

1. U자형이 아닌 초두 효과(Primalcy Bias): 텍스트 전용 LLM의 U자형 "중간에서 길을 잃는" 현상과 달리, 멀로모달 KB-VQA는 강력한 초두 효과를 보인다. "골드가 첫 번째에 있는" 구성은 여섯 가지 독자-벤치마크 조합 모두에서 "골드가 마지막에 있는" 구성보다 16~26 퍼센트 포인트 더 높은 성능을 보였다. 성능 곡선은 U자형이 아니라 단조 감소 형태이며, 중간 위치와 마지막 위치는 종종 첫 번째 위치보다 낮은 수준에서 함께 붕괴된다.
2. 멀티모달 증폭: 텍스트 전용 절제 실험 결과, 초두 효과는 기본 텍스트 독자에게도 존재하지만, 멀티모달 환경에서는 2.2배에서 4.5배까지 증폭된다. 멀티모달 컨텍스트는 편향을 재형성하여, 첫 번째 위치와 마지막 위치 사이의 격차를 텍스트 전용 모드보다 훨씬 더 크게 만든다.
3. 위치는 프롬프트 슬롯 0: 편향은 인스트럭션 튜닝된 독자의 프롬프트 슬로 0에 고정되어 있다.
   • 이미지를 프롬프트 끝으로 이동시켜도 첫 번째와 마지막 사이의 격차가 줄어들지 않았으며, 이는 이미지 토큰 근접성이 주요 동인이 아님을 입증한다.
   • 방해 요소 셔플 실험에 따르면, 가장 유사한 방해 요소(순위 1)를 슬롯 0에서 멀리 떨어뜨려 놓았을 때, 독자의 오류율은 유사도 순위를 따르지 않고 방해 요소가 슬롯 0에 있을 때 여전히 높게 나타났다. 이는 독자가 검색 유사도와 상관없이 첫 번째 슬롯을 우선시함을 확인시켜 준다.
4. 검색 측 해결책의 실패: MMR 다양화, 오라클 재순위화(골드를 상단으로 강제), 순위 기반 재정렬을 포함한 훈련이 필요 없는(training-free) 검색 측 개입은 격차를 좁히는 데 실패했다. 첫 번째와 마지막 간의 성능 차이는 신뢰 구간 내에서 그대로 유지되었다.

의의 및 주장
본 논문은 고정된 독자에 의존하는 배포된 KB-VQA 시스템에서 Recall@k가 잘못된 지표라고 주장한다. 독자가 매우 앞부분에 나타나지 않는 한 관련 정보를 체계적으로 무시하거나 제대로 활용하지 못하기 때문에, 검색을 재현율(recall)을 위해 최적화하는 것(즉, 상위 $k$ 안에 골드 구절을 찾는 것)은 골드 구절이 최적의 슬롯에 위치하지 않는다면 시스템의 신뢰성을 보장하지 못한다.

저자들은 성능 격차를 해소하기 위해서는 검색 구성 요소의 추가 최적화보다는 독자 측의 개입(예: 위치 인식 미세 조정, 어텐션 교정 또는 데이터 재균형)이 필요하다고 결론짓는다. 저자들은 향후 독자 측 또는 훈련 단계의 개입을 평가하기 위한 통제된 도구로서 자신들의 골드-포지션 프로토콜을 공개한다.

저자가 인정한 한계점

• 범위: 결과는 7B/8B 규모의 오픈 소스 VLM, 짧은 컨텍스트($k \le 20$), 영어 위키피디아 유래 지식 베이스에 국한된다. 독점 모델이나 더 큰 규모에서는 다르게 동작할 수 있다.
• 메커니즘: 위치는 프롬프트 슬롯 0로 식별되었으나, 그 기저의 메커니즘(예: 특정 어텐션 패턴 또는 인스트럭션 튜닝 데이터 분포)은 완전히 규명되지 않았다.
• 혼재(Confounding): 텍스트 전용 절제 실험은 서로 다른 데이터셋(NQ-Open vs. M2KR)을 비교하므로, 보고된 "증폭"은 모달리티와 코퍼스 효과가 혼재되어 있다. 다만 저자들은 이 증폭이 멀티모달 KB-VQA 설정의 특성이라고 주장한다.
• 휴리스틱: 실패 진단(failure bucket diagnostic)은 문자열 매칭에 의존하므로, 표면 형태(surface-form) 오류와 의미론적(semantic) 오류가 혼재될 수 있다.