Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering

이 논문은 기존 멀티모달 지식 기반 시각적 질문 답변 (MKB-VQA) 벤치마크의 '시각적 단축키' 문제를 해결하기 위해 관련 엔티티를 포함하는 새로운 RETINA 벤치마크와 다중 이미지 검색 모델인 MIMIR을 제안하여 기존 모델의 한계를 규명하고 성능을 입증합니다.

핵심

1. 문제: "요령 (Visual Shortcut)"을 부리는 AI

지금까지의 AI 시험 (벤치마크) 은 매우 편한 요령이 있었습니다.

• 상황: 학생 (AI) 이 "이 동물이 사는 곳은 어디인가요?"라는 질문을 받습니다.
• 기존 방식: 시험지에 나온 동물 사진과 **정답이 적힌 책 (문서)**에 있는 사진이 완전히 똑같았습니다.
• AI 의 행동: AI 는 내용을 읽거나 지식을 찾아볼 필요도 없이, **"아! 이 사진이 책에 있는 그 사진이네! 그럼 정답은 그 책에 있겠지!"**라고 바로 추측했습니다.
• 결과: AI 는 지식을 전혀 쓰지 않고도, 사진만 보고도 높은 점수를 받았습니다. 마치 시험 문제를 풀 때, 문제지에 적힌 단서만 보고 정답을 맞히는 것과 같습니다.

이 논문은 **"이건 진짜 지능이 아니야. 그냥 사진 맞추기 게임일 뿐이야"**라고 지적하며, 기존 시험이 현실을 제대로 반영하지 못한다고 비판합니다.

2. 해결책 1: 새로운 시험지 'RETINA' 만들기

연구진은 AI 가 요령을 부릴 수 없도록 **새로운 시험지 (RETINA)**를 만들었습니다.

• 변화: 질문의 사진과 정답이 나오는 책의 사진이 서로 다른 것으로 바꿨습니다.
  • 예시: 질문에는 '감자' 사진이 나오고, 정답은 **'감자를 먹는 딱정벌레'**에 관한 책에 있습니다.
• 효과: AI 는 "아, 이 감자 사진이 책에 있는 딱정벌레 사진과 똑같네"라고 생각할 수 없게 됩니다. 이제 AI 는 감자 (질문 이미지) 와 딱정벌레 (책 내용) 의 관계를 진짜로 이해하고 추론해야만 정답을 맞출 수 있습니다.
• 결과: 기존 AI 모델들은 이 새로운 시험지를 보니 점수가 뚝 떨어졌습니다. 그들이 얼마나 요령에 의존했는지 증명된 셈입니다.

3. 해결책 2: 새로운 학습법 'MIMIR' 개발

이제 요령을 부리지 않고 진짜 지능을 가진 AI 를 만들었습니다. 바로 MIMIR입니다.

• 기존 방식 (MuKA): 책 한 권을 설명할 때, 책의 주인공 (메인 엔티티) 사진 하나만 붙여놓았습니다.
  • 비유: '감자'에 대한 책을 설명할 때 책 표지에 '감자' 사진만 붙여둔 상태.
• 새로운 방식 (MIMIR): 책 한 권을 설명할 때, 책에 나오는 관련된 모든 것들의 사진을 함께 붙여줍니다.
  • 비유: '감자'에 대한 책을 설명할 때, 표지에 '감자'뿐만 아니라 '감자를 먹는 딱정벌레', '감자 밭', '감자 요리' 등 관련된 다양한 사진들을 여러 장 붙여둔 상태.
• 왜 좋을까요?
  • 질문이 '감자' 사진일 때, AI 는 책 표지에 붙어있는 '감자' 사진만 찾는 게 아니라, 책 속에 붙어있는 '감자를 먹는 딱정벌레' 사진도 찾아볼 수 있게 됩니다.
  • 마치 도서관에서 책을 찾을 때, 책 제목만 보고 찾는 게 아니라 책 속에 들어있는 다양한 그림과 내용을 모두 훑어보며 정답을 찾는 것과 같습니다.

4. 결론: 현실 세계에 더 가까운 AI

이 연구는 두 가지 중요한 점을 보여줍니다.

1. 기존 시험의 한계: 우리가 믿고 있던 AI 의 높은 점수는 사실 '요령' 때문이었음을 폭로했습니다.
2. 진짜 지능의 가능성: 질문과 정답이 직접적으로 연결되지 않는 복잡한 현실 상황에서도, 여러 가지 관련 정보를 종합적으로 보는 MIMIR이라는 새로운 방식이 훨씬 잘 작동한다는 것을 증명했습니다.

한 줄 요약:

"AI 가 사진만 보고 정답을 맞히는 '요령'을 부리지 못하도록, **사진과 정답이 다른 새로운 시험 (RETINA)**을 만들고, **관련된 모든 그림을 함께 보는 새로운 학습법 (MIMIR)**을 개발하여 진짜 지능을 키웠습니다."

이제 AI 는 단순히 사진이 비슷한지 비교하는 게 아니라, 사물 간의 관계를 진짜로 이해하는 방향으로 발전하고 있습니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 멀티모달 지식 기반 시각적 질문 답변 (MKB-VQA) 벤치마크는 **'시각적 단서 (Visual Shortcuts)'**라는 심각한 편향을 가지고 있습니다.

• 현상: 기존 벤치마크 (InfoSeek, EVQA 등) 에서는 질문의 이미지 (Query Image) 와 정답 문서 (Ground Truth Document) 의 주된 엔티티가 시각적으로 일치하는 경우가 대부분입니다.
• 문제점: 모델이 실제 지식 추론이나 텍스트 - 이미지 융합 능력을 사용하지 않고, 단순히 "질문 이미지의 주체가 문서의 주체와 같다"는 시각적 패턴만 학습하여 정답을 유추할 수 있습니다.
• 증거: 저자들은 기존 모델이 텍스트 정보를 배제하고 이미지 정보만으로 벤치마크에서 높은 성능을 보임을 실험을 통해 입증했습니다. 이는 기존 벤치마크가 실제 세계의 복잡한 정보 검색 시나리오를 제대로 반영하지 못함을 의미합니다.

2. 제안 방법 (Methodology)

저자들은 이 문제를 해결하기 위해 새로운 벤치마크 RETINA와 이를 처리하기 위한 새로운 검색기 MIMIR을 제안했습니다.

A. RETINA: 시각적 단서를 제거한 새로운 벤치마크

• 목적: 질문 이미지와 정답 문서의 주된 엔티티가 일치하지 않는, 더 현실적인 시나리오를 구현합니다.
• 구축 프로세스 (LLM 기반 자동화 파이프라인):
  1. 지식 그래프 구성: 위키백과 문서의 본문에서 LLM 을 사용하여 주 엔티티 (Main Entity) 와 관련된 엔티티 (Related Entity) 들을 추출하고 1-hop 이웃 그래프를 생성합니다.
  2. 서브그래프 추출: 정답 엔티티 (Main Entity) 를 '답변'으로, 관련 엔티티 중 하나를 '질문 이미지'로, 그리고 모호성을 줄이기 위한 '조건부 엔티티 (Qualifying Entity)'를 선택하여 2-hop 서브그래프를 구성합니다.
  3. 질문 생성: LLM 을 활용하여 서브그래프 정보를 바탕으로 질문을 생성하되, 질문 텍스트에 이미지 속 엔티티의 이름을 직접 언급하지 않도록 하여 텍스트 유출을 방지합니다.
  4. 데이터셋 규모: 12 만 개의 학습 데이터와 인간이 검증한 2 천 개의 테스트 데이터 (Seen/Unseen) 로 구성됩니다.

B. MIMIR (Multi-Image MultImodal Retriever): 다중 이미지 기반 검색기

기존 모델은 문서당 하나의 이미지 (주 엔티티) 만을 사용하여 임베딩을 생성하므로, 질문 이미지가 관련 엔티티일 경우 정답 문서를 찾지 못합니다. MIMIR 은 이를 개선합니다.

• 다중 이미지 증강 (Multi-Image Augmentation): 문서 텍스트에 언급된 관련 엔티티들의 이미지를 추가로 수집하여 문서 임베딩에 통합합니다.
• 엔티티 토큰 임베딩 (Entity Token Embedding, ETE):
  • 텍스트와 이미지의 융합 과정에서, 특정 이미지와 직접적으로 관련된 텍스트 토큰 (엔티티 이름) 에 학습 가능한 벡터 (ETE) 를 추가합니다.
  • 이를 통해 크로스 어텐션 (Cross-Attention) 메커니즘이 해당 이미지와 관련된 텍스트 토큰에 더 집중하도록 유도하여, 텍스트와 이미지의 의미적 정렬을 강화합니다.
• 아키텍처: ColBERTv2(텍스트) 와 CLIP(이미지) 기반의 Late Interaction 방식을 확장하여, 텍스트, 글로벌 이미지 특징, 패치 수준의 멀티모달 특징을 통합합니다.

3. 주요 기여 (Key Contributions)

1. 기존 벤치마크의 한계 규명 및 RETINA 개발: MKB-VQA 분야에서 시각적 단서가 모델 성능을 과대평가하게 만든다는 사실을 규명하고, 이를 제거한 새로운 벤치마크 RETINA 를 구축했습니다.
2. MIMIR 제안: 단일 이미지 기반의 기존 접근법의 한계를 극복하고, 관련 엔티티의 다중 이미지를 문서 표현에 통합하여 현실적인 질의 (시각적 단서 부재) 에 효과적으로 대응하는 검색기를 제안했습니다.
3. 실험적 검증: RETINA 와 기존 벤치마크에서의 실험을 통해, 기존 모델이 시각적 단서에 의존함을 증명하고, 제안된 MIMIR 이 시각적 단서가 없는 상황에서도 뛰어난 성능을 발휘함을 입증했습니다.

4. 실험 결과 (Results)

• 기존 모델의 성능 저하: 기존 SOTA 모델 (MuKA, PreFLMR 등) 은 RETINA 벤치마크에서 성능이 급격히 떨어졌습니다. 특히 'Unseen' 설정에서는 시각적 단서가 없으므로 모델이 정답 문서를 찾지 못해 Recall@5 가 매우 낮았습니다.
• MIMIR 의 우수성:
  • Retrieval: RETINA 에서 MIMIR 은 기존 최상위 모델 (MuKA) 보다 약 2 배 높은 Recall@5 성능을 달성했습니다 (Seen: 43.2% vs 20.8%, Unseen: 36.9% vs 8.6%).
  • Answer Generation: 검색된 문서의 품질이 높아져 최종 답변 생성 정확도 (BEM) 역시 크게 향상되었습니다.
  • 기존 벤치마크에서의 효과: 시각적 단서가 있는 기존 벤치마크 (InfoSeek, EVQA) 에서도 MIMIR 은 기존 모델보다 우수한 성능을 보였습니다. 이는 관련 엔티티의 이미지가 시각적으로 유사한 경우 (예: 다른 종의 오리) 정답 문서 검색을 돕기 때문입니다.
• Ablation Study: 다중 이미지 (MI), 멀티모달 특징 (MMF), 엔티티 토큰 임베딩 (ETE) 순서로 추가할수록 성능이 향상되었으며, ETE 가 가장 큰 기여를 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실제 적용 가능성 증대: 기존 벤치마크가 가진 편향을 제거함으로써, 실제 세계의 복잡한 정보 검색 시나리오 (질문 이미지와 정답 문서의 주제가 다를 수 있는 경우) 에 더 적합한 평가 기준을 마련했습니다.
• 멀티모달 검색의 새로운 방향: 문서 표현에 단일 이미지가 아닌 '다중 관련 엔티티의 이미지'를 통합하는 것이 시각적 단서가 없는 상황뿐만 아니라, 일반적인 검색 성능 향상에도 필수적임을 보여주었습니다.
• 향후 과제: 이미지 외에도 텍스트, 오디오 등 다양한 모달리티의 관련 맥락을 문서에 통합하는 방향으로 연구가 확장될 수 있음을 시사합니다.

요약하자면, 이 논문은 MKB-VQA 분야의 '시각적 단서'라는 치명적인 결함을 발견하고, 이를 해결하기 위해 새로운 데이터셋 (RETINA) 과 이를 처리할 수 있는 다중 이미지 기반 검색 모델 (MIMIR) 을 제안하여, 모델의 실제 지식 추론 능력을 올바르게 평가하고 향상시키는 데 기여했습니다.