💻 computer science

M $^3$ -VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering

본 논문은 여러 시각 및 텍스트 소스에서 정보를 종합하도록 요구함으로써 세밀한 개체 이해와 복잡한 다단계 추론에 관한 멀티모달 대규모 언어 모델을 평가하기 위해 고안된 새로운 벤치마크인 M $^3$ -VQA 를 소개하며, 이는 지식 획득에서의 현저한 한계를 드러내고 추론 인지형 검색 방법의 우월성을 강조한다.

원저자: Jiatong Ma, Longteng Guo, Yuchen Liu, Zijia Zhao, Dongze Hao, Xuanxu Lin, Jing Liu

게시일 2026-04-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiatong Ma, Longteng Guo, Yuchen Liu, Zijia Zhao, Dongze Hao, Xuanxu Lin, Jing Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 어려운 시험을 치르고 있다고 상상해 보세요. 하지만 단순히 그림을 보고 "고양이의 색깔은 무엇인가요?" 같은 간단한 질문에 답하는 대신, 여러분은 동시에 탐정, 사서, 그리고 논리 퍼즐 마스터가 되어야 하는 복잡한 미스터리를 해결하라는 요청을 받습니다.

이것은 현재 AI 의 "두뇌"(멀티모달 대형 언어 모델이라고 불림) 가 얼마나 똑똑한지 테스트하기 위해 연구자들이 만든 새로운 "시험"인 M3-VQA에 대한 이야기입니다.

다음은 간단한 비유를 사용하여 이 논문이 말하는 내용을 정리한 것입니다:

1. 문제: 이전 시험들은 너무 쉬웠다

이전 AI 시험들을 "나 찾아봐 (I Spy)" 게임처럼 생각해보세요. 여러분이 빨간 차를 가리키면 AI 는 "그건 차예요"라고 말합니다. 또는 "개가 행복해 보이나요?"라고 물으면 AI 는 개의 얼굴을 보고 추측합니다.

연구자들은 이러한 이전 시험들이 바람이나 난기류가 없는 시뮬레이터에서 조종사를 훈련시키는 것과 같다고 말합니다. 너무 단순합니다. 실제 생활은 messy(어지럽고 복잡) 합니다. 실제 세계에서는 혼잡한 거리의 사진을 보고 다음과 같이 물을 수 있습니다: "이 세 사람 중 배경에 있는 경기장을 후원하는 브랜드로 만든 셔츠를 입고 있는 사람은 누구인가요?"

이에 답하기 위해 AI 는 다음이 필요합니다:

세 명의 서로 다른 사람을 찾아냅니다.
셔츠에 있는 아주 작은 로고를 읽습니다.
그 브랜드가 무엇인지 압니다.
그 브랜드를 후원하는 경기장이 어디인지 압니다.
그 두 사실을 연결합니다.

대부분의 현재 AI 는 이에 실패합니다. 세부 사항에 혼란을 겪거나 점들을 연결하지 못합니다.

2. 새로운 시험: M3-VQA

연구자들은 M3-VQA라는 훨씬 더 어려운 새로운 시험을 만들었습니다. 이를 AI 를 위한 다단계 탈출 게임이라고 생각해보세요.

세 가지 특별한 "하드 모드"가 있습니다:

다중 개체 (Multi-Entity): 질문이 한 가지 것에 관한 것이 아닙니다. 사람, 동물, 로고, 건물 등 한꺼번에 등장하는 전체 캐스트에 관한 것입니다. 마치 "이 방에서 가장 나이가 많은 사람은 누구이며, 가장 어린 사람의 좋아하는 음식은 무엇인가요?"라고 묻는 것과 같습니다.
다중 홉 추론 (Multi-Hop Reasoning): 답이 그림에 바로 있는 것이 아닙니다. AI 는 단서를 찾기 위해 "홉 (hop)"을 하고, 다음 단서를 찾기 위해 또 다른 "홉"을 해야 합니다. 보물 찾기처럼요.
- 홉 1: "이 새는 어떤 종류인가요?" -> 답: 펭귄입니다.
- 홉 2: "펭귄은 어디에 살까요?" -> 답: 남극대륙입니다.
- 홉 3: "그 나라의 수도는 무엇인가요?" -> 답: (잠깐, 남극대륙에는 수도가 없습니다!)
증거 도서관 (The Evidence Library): 연구자들은 AI 에게 단순히 그림만 준 것이 아니라, 답이 포함된 방대한 책 도서관 (위키피디아 페이지) 과 정확한 문장 목록 (골드 증거) 을 제공했습니다. 이를 통해 AI 가 실제로 올바른 페이지를 읽고 있는지 아니면 단순히 추측하고 있는지 확인할 수 있습니다.

3. 결과: AI 가 막혔습니다

연구자들은 GPT-4o 와 Qwen, InternVL 의 다양한 버전 등 이용 가능한 가장 똑똑한 AI 모델 16 개를 테스트했습니다.

나쁜 소식:
AI 가 그림과 질문만 보고 답하도록 (외부 도움 없이) 강요했을 때, 그들은 끔찍하게 수행했습니다. 가장 잘한 모델도 정답의 약 **32%**만 맞췄습니다.

비유: 학생에게 계산기나 교과서 없이 수학 문제를 풀게 했을 때, 그들은 기본 산술에 막혀버리는 것과 같습니다. AI 는 스스로 점들을 연결할 만큼 세계에 대한 사실을 충분히 "알고" 있지 않습니다.

좋은 소식 (단점이 있음):
연구자들이 답이 포함된 도서관의 정확한 문장들(골드 증거) 을 AI 에게 주었을 때, 점수는 크게 올랐습니다.

비유: 학생에게 답이 밑줄 친 교과서 페이지를 건네주면 문제를 풀 수 있습니다. 이는 AI 가 추론할 수 있음을 증명하지만, 처음에 정보를 찾는 것은 매우 서툴다는 것을 보여줍니다.

최고의 전략:
연구자들은 AI 가 정보를 찾도록 돕는 두 가지 방법을 시도했습니다:

휴리스틱 검색 (Heuristic Retrieval): 이는 거대한 그물을 도서관에 던져 올바른 물고기를 잡기를 바라는 것과 같습니다. 종종 너무 많은 잡물을 잡습니다.
에이전트 검색 (Agentic Retrieval): 이는 AI 에게 스마트 탐정 에이전트를 부여하는 것과 같습니다. 에이전트는 큰 질문을 작은 단계로 나누고, 하나의 단서를 찾은 다음 그 단서를 이용해 다음 단서를 찾습니다.
- 결과: "스마트 탐정" 접근 방식이 훨씬 더 잘 작동했습니다. AI 가 단계별로 생각하고 검색을 계획하도록 가르칠 때 훨씬 더 똑똑해진다는 것을 보여주었습니다.

4. 결론

이 논문은 우리의 AI 모델이 보고 말하는 능력은 나아지고 있지만, 여전히 깊고 복잡한 탐정 작업에는 서툴다고 결론 내립니다.

거대한 도서관에서 올바른 사실을 찾는 데 어려움을 겪습니다.
여러 사실을 연쇄적으로 연결하는 데 어려움을 겪습니다.
이러한 어려운 퍼즐을 풀기 위해 ("골드 증거" 힌트나 "스마트 탐정" 계획과 같은) 도움이 필요합니다.

연구자들은 이 새로운 시험 (M3-VQA) 이 AI 가 어디서 약한지 정확히 보여주기 위한 필수적인 "스트레스 테스트"라고 말합니다. 이를 통해 우리가 살아가는 복잡하고 다층적인 세계를 진정으로 이해할 수 있는 더 나은 시스템을 구축할 수 있기 때문입니다.

간단히 말해: 현재 AI 는 도서관 카탈로그를 사용하는 법을 잊어버린 매우 잘 읽은 학생과 같습니다. 여러분이 책을 건네주면 사실을 알지만, 질문이 복잡해지면 스스로 책을 찾을 수 없습니다. M3-VQA 는 이를 증명하는 시험이며, 우리는 그들에게 더 나은 검색 및 추론 기술을 가르쳐야 함을 시사합니다.

다음은 "M3-VQA: 멀티모달, 멀티엔티티, 멀티홉 시각적 질문 응답을 위한 벤치마크" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

현재의 멀티모달 대규모 언어 모델 (MLLM) 은 표면적 지각과 상식 추론에 뛰어나지만, 실제 시나리오에서 세밀한 엔티티 이해와 복잡한 멀티홉 추론에 어려움을 겪습니다. 기존 시각적 질문 응답 (VQA) 벤치마크 (예: OK-VQA, A-OKVQA) 는 주로 다음에 초점을 맞추고 있습니다:

대략적인 카테고리: 특정 명명된 엔티티가 아닌 기본 객체 (예: "개" 대 "특정 품종의 개").
단일 엔티티 추론: 질문이 일반적으로 하나의 주요 엔티티를 중심으로 구성됨.
단순 추론: 대부분의 질문이 한두 단계의 추론만 요구함.

이러한 한계는 여러 시각적 및 텍스트 소스에서 정보를 통합하고, 순차적 논리 체인을 구축하며, 특정 외부 지식을 검색하는 작업을 요구하는 MLLM 의 과제를 해결하지 못합니다.

2. 방법론: M3-VQA 벤치마크

저자들은 멀티모달 이해, 멀티엔티티 상호작용, 멀티홉 추론이라는 세 가지 핵심 능력을 동시에 테스트하도록 설계된 새로운 데이터셋 및 평가 프레임워크인 M3-VQA를 소개합니다.

A. 데이터셋 구축

소스: 이미지는 세밀한 데이터셋 (예: CelebTo 의 유명인, FGVD 의 차량, LogosInTheWild) 에서 추출되거나, 다양하고 다중 엔티티가 포함된 장면을 보장하기 위해 웹 검색을 통해 수동으로 수집되었습니다.
엔티티 링크: 엔티티는 Wikidata ID 에 매핑되고 해당 위키백과 페이지와 연결되어 추적 가능한 지식 기반을 생성합니다.
질문 생성:
- 병렬 멀티홉: 여러 엔티티 (시각적 또는 텍스트적) 에 대한 독립적인 추론이 필요한 후 종합하는 질문 (예: 이미지 내 두 가지 다른 동물의 기원을 비교).
- 순차적 멀티홉: 하나의 하위 질문의 답변이 다음 입력이 되는 "연결 엔티티"를 사용하는 질문 (예: 경기장 식별 $\rightarrow$ 그곳에서 수행되는 스포츠 결정 $\rightarrow$ 해당 스포츠의 원산국 찾기).
규모 및 복잡성: 데이터셋은 13,125개의 (이미지, 질문, 답변) 삼중항으로 구성됩니다.
- 엔티티: 질문당 평균 2.8 개의 엔티티 (최대 4 개 이상까지).
- 홉: 평균 3.1 개의 추론 홉 (최대 4 개 이상까지).
- 지식 기반: 정답 증거 주석 (답변을 뒷받침하는 특정 문장/섹션) 이 포함된 약 200 만 개의 위키백과 페이지로 구성된 큐레이션된 멀티모달 지식 기반.

B. 평가 프로토콜

저자들은 16 개의 주요 MLLM(GPT-4o, Qwen2.5-VL, InternVL2.5, LLaVA-OneVision 포함) 을 세 가지 다른 설정 하에서 평가합니다:

원본 (증거 없음): 모델은 내부 지식과 이미지만에 의존합니다.
오라클 (골드 증거): 모델이 답변에 필요한 정확한 정답 증거 (문장/섹션) 를 제공받습니다.
지식 기반 (검색 증강): 모델은 두 가지 전략을 사용하여 외부 지식 기반에서 관련 증거를 검색해야 합니다:
- 휴리스틱 검색: 전체 쿼리를 사용한 단일 샷 텍스트/이미지 검색.
- 에이전트 검색: 복잡한 질문을 분해하고 이미지를 세그먼트화하며 정보를 반복적으로 검색하는 다중 에이전트 프레임워크 (Planner, Executor, Solver).

C. 지표

교집합 대비 합집합 (IoU): 여러 유효한 답변이나 별칭이 있는 질문을 처리하기 위해 사용되며, 정확한 일치보다 더 견고한 정확도 측정을 제공합니다.
추적 가능성: 최종 답변을 특정 증거 단계로 연결하는 능력.

3. 주요 기여

새로운 벤치마크: M3-VQA 는 세밀한 멀티엔티티 인식, 병렬 및 순차적 멀티홉 추론, 그리고 대규모 멀티모달 지식 기반에서의 검색을 동시에 요구하는 최초의 VQA 벤치마크입니다.
종합 평가 프레임워크: 지식이 없는 모델, 완벽한 지식 (오라클) 을 가진 모델, 검색 메커니즘을 가진 모델을 비교하는 엄격한 테스트 프로토콜을 도입하여 모델이 실패하는 지점 (지식 획득 대 추론) 을 분리합니다.
에이전트 검색 프레임워크: 이 논문은 복잡한 쿼리를 분해하고 반복적 계획을 수행함으로써 전통적인 휴리스틱 방법보다 우수한 성능을 보이는 에이전트 검색 접근법을 제안하고 검증합니다.
오픈 리소스: 데이터셋, 코드, 지식 기반은 추가 연구를 장려하기 위해 공개적으로 제공됩니다.

4. 실험 결과

16 개 모델에 대한 평가는 현재 MLLM 능력에 상당한 격차가 있음을 보여줍니다:

외부 지식 없이 낮은 성능:
- 최고의 모델 (Qwen2.5-VL-72B) 조차도 "원본" 설정에서 **32.6%**의 정확도만 달성합니다.
- 순수 언어 모델은 비전 - 언어 모델보다 성능이 낮아, 이미지 설명만으로는 세밀한 엔티티 세부 사항을 처리하기에 부족함을 확인시켜 줍니다.
증거의 결정적 역할:
- 골드 증거 (오라클 설정) 를 제공하면 성능이 크게 향상됩니다 (예: Qwen2.5-VL-72B 는 **58.4%**에 도달).
- 그러나 완벽한 증거가 있더라도 모델이 100% 에 도달하지는 않아, 지식 검색뿐만 아니라 추론 능력(멀티홉 사실 통합) 이 여전히 병목 현상임을 나타냅니다.
검색 전략:
- 에이전트 검색은 휴리스틱 검색을 크게 능가합니다. Qwen2.5-VL-72B 의 경우 에이전트 검색은 **38.9%**를 달성한 반면 휴리스틱은 **36.6%**였습니다.
- 휴리스틱 방법은 여러 엔티티를 다룰 때 "과부하된 쿼리"로 고통받는 반면, 에이전트 방법은 문제를 성공적으로 분해합니다.
복잡성의 영향:
- 추론 홉 수와 엔티티 수가 증가함에 따라 정확도는 단조롭게 감소합니다.
- 흥미롭게도 "원본" 설정에서 모델은 때때로 더 높은 홉의 질문에서 더 좋은 성능을 보이는데, 이는 질문 텍스트 자체가 필요한 엔티티 이름 (일반 지식) 을 포함하기 때문이며, 증거 없이는 세밀한 시각적 추론이 실패하기 때문입니다.

5. 중요성 및 향후 방향

추론을 위한 새로운 표준: M3-VQA 는 단순한 지각을 넘어 의료 진단, 법률 문서 분석, 과학 연구 등 실제 응용 분야에서 요구되는 복잡하고 구조화된 추론을 평가하기 위한 MLLM 의 기준을 높입니다.
"추론 격차" 강조: 결과는 현재 모델이 외부 정보에 크게 의존하며, 해당 정보가 제공되더라도 다단계 논리적 통합을 수행하는 데 어려움을 겪고 있음을 보여줍니다.
검색 증강 생성 (RAG) 발전: 에이전트 검색의 성공은 미래의 MLLM 이 단순한 원샷 검색이 아닌 계획 및 반복적 추론을 통합하여 복잡한 멀티모달 작업을 처리해야 함을 시사합니다.
한계: 현재 데이터셋은 영어만 지원하며 위키백과에 의존합니다. 향후 작업은 다른 언어와 전문 분야 (예: 생물의학, 법률) 로 확장되어야 합니다.

결론적으로, M3-VQA 는 MLLM 의 세밀한 이해와 복잡한 추론에서의 현재 한계를 드러내어, 더 견고하고, 지식이 통합되며, 추론 능력이 있는 멀티모달 에이전트 개발을 위한 중요한 경로를 제공합니다.