🤖 AI

$M^3-Verse$ : A "Spot the Difference" Challenge for Large Multimodal Models

본 논문은 일관된 공간적 맥락 내에서 동적 객체 상태 변화를 추론하는 대규모 멀티모달 모델의 능력을 평가하고 향상시키기 위해 쌍으로 된 비디오 관측을 통해 $M^3-Verse$ 라는 포괄적인 벤치마크를 소개하며, 현재 한계를 드러내고 다중 상태 인식을 위한 효과적인 기준선을 제시합니다.

원저자: Kewei Wei, Bocheng Hu, Jie Cao, Xiaohan Chen, Zhengxi Lu, Wubing Xia, Weili Xu, Jiaao Wu, Junchen He, Mingyu Jia, Ciyun Zhao, Ye Sun, Yizhi Li, Zhonghan Zhao, Jian Zhang, Gaoang Wang

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kewei Wei, Bocheng Hu, Jie Cao, Xiaohan Chen, Zhengxi Lu, Wubing Xia, Weili Xu, Jiaao Wu, Junchen He, Mingyu Jia, Ciyun Zhao, Ye Sun, Yizhi Li, Zhonghan Zhao, Jian Zhang, Gaoang Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 글은 M3-Verse 논문을 쉽고 일상적인 언어로 설명하며, 개념을 명확히 하기 위해 비유를 사용합니다.

핵심 아이디어: AI 를 위한 "차이 찾기" 게임

두 장의 그림을 가지고 고전적인 "차이 찾기" 게임을 한다고 상상해 보세요. 그림 A 를 보고 그림 B 를 본 뒤, 무엇이 변했는지 찾아내야 합니다. 아마도 고양이가 소파에서 바닥으로 이동했거나, 컵이 넘어졌을 수도 있죠.

이제 컴퓨터에게 이 게임을 가르쳐 보되, 두 장의 정적 그림 대신 두 개의 짧은 영상을 보여준다고 가정해 봅시다. 첫 번째 영상에서는 방이 정리되어 있고, 두 번째 영상에서는 누군가 가구를 재배치하고 물건을 옮겼습니다. 컴퓨터는 두 영상을 모두 보고 "빨간 꽃병이 어디로 갔나요?" 또는 "전등이 켜졌나요?"와 같은 질문에 답해야 합니다.

이것이 바로 M3-Verse 논문이 다루는 내용입니다. 저자들은 현대의 AI 모델 (대형 멀티모달 모델, LMM) 이 실제로 시간에 따른 변화를 추적하는 데 능숙한지, 아니면 단순히 추측하는 것인지 확인하기 위해 매우 어려운 새로운 테스트를 개발했습니다.

문제: AI 는 "지금"은 잘하지만, "과거 vs 현재" 비교는 서툴다

이 논문은 AI 가 단일 사진을 보고 설명하는 것 (예: "그건 러그 위에 있는 개예요") 은 놀라울 정도로 뛰어나지만, 서로 다른 두 시점을 비교하라고 하면 어려움을 겪는다고 주장합니다.

현재의 AI: 방 사진을 찍고 눈을 돌린 뒤 다시 돌아와서 무엇이 변했는지 기억해 내려는 관광객과 같습니다. 그들은 종종 세부 사항을 잊어버립니다.
인간 지능: 우리는 자연스럽게 과거와 현재를 비교합니다. 새가 나무에서 날아오면 우리는 즉시 그 차이를 알아챕니다. 논문은 AI 가 두 개의 명확한 장면 사이에서 미묘한 변화를 감지하는 이러한 "생물학적" 능력을 결여하고 있다고 말합니다.

해결책: M3-Verse 라는 새로운 테스트

이를 해결하기 위해 연구자들은 두 가지 부분으로 구성된 거대한 테스트 세트인 M3-Verse를 구축했습니다.

시뮬레이션 실험실 (M3-Verse-Sim): 연구자들은 비디오 게임 엔진 (AI2-THOR) 을 이용해 270 개의 가상 방을 만들었습니다. 로봇이 방을 돌아다니게 한 뒤, 서랍을 열거나 의자를 옮기는 것처럼 물건을 몰래 이동시키고 '이전'과 '이후' 영상을 기록했습니다. 그리고 이러한 변화에 대해 약 3,000 개의 질문을 생성했습니다.
- 비유: 이는 규칙이 엄격하고 모든 세부 사항이 알려진 완벽하게 통제된 비디오 게임 레벨과 같습니다.
실제 세계 (M3-Verse-Real): 실제 가정과 사무실의 29 개 방을 촬영했습니다. 인간이 직접 물건을 이동시키고 변화를 촬영했습니다. 이를 위해 552 개의 질문을 만들었습니다.
- 비유: 이는 조명 변화, 카메라 흔들림, 완벽한 정렬 부재 등으로 인해 messy 한 실제 생활 버전입니다.

이 테스트는 AI 에게 네 가지 작업을 요구합니다.

공간 이해: 물체는 어디에 있나요?
시간적 이해: 무엇이 먼저 일어났고, 무엇이 나중에 일어났나요?
속성 인식: 색상이나 모양이 변했나요?
추론: 왜 변했거나, 그건 무엇을 의미하나요?

결과: AI 가 어려움을 겪고 있음

연구자들은 GPT-5 와 Gemini 와 같은 주요 모델들을 포함한 16 개의 가장 똑똑한 AI 모델을 테스트했습니다. 결과는 놀라웠습니다.

인간: 약 **90%**를 기록했습니다. 우리는 이 분야에서 뛰어납니다.
최상위 AI 모델: 30% 에서 47% 사이를 기록했습니다. 최상위 모델조차도 가장 어려운 질문에서는 무작위 추측보다 겨우 나을 뿐입니다.
격차: 논문은 이를 "뚜렷한 성능 격차"라고 부릅니다. 현재의 AI 는 한 순간에서 다음 순간으로 장면이 어떻게 변하는지 신뢰할 수 있게 추적할 만큼 충분히 똑똑하지 않습니다.

진단: 왜 AI 가 실패하는가?

연구자들은 단순히 "AI 가 실패했다"고 말하지 않았습니다. Text-Oracle Probe라는 교묘한 트릭을 사용하여 왜 실패했는지 파악하려 했습니다.

실험: 연구자들은 영상을 AI 가 모든 프레임을 텍스트로 설명하게 한 뒤 (상세한 대본처럼), 텍스트 전용 AI 에게 오직 그 텍스트만을 바탕으로 질문에 답하도록 했습니다.
발견: AI 가 원본 영상을 처리할 필요가 없고 텍스트 설명만 읽을 수 있을 때, 점수는 급격히 상승했습니다.
결론: AI 의 "눈" (시각 인코더) 은 실제로 정상적으로 작동하고 있습니다. 변화를 볼 수 있습니다. 문제는 "뇌" (추론 부분) 에 있습니다. 정보가 긴 영상에 걸쳐 분산되어 있을 때, AI 는 중요한 세부 사항을 잊어버립니다. 중요한 단서가 지루한 텍스트 수천 페이지에 묻혀 있는 책을 읽는 것과 같습니다. AI 는 소음에 휩쓸려 단서를 잊어버립니다.

결론

이 논문은 AI 가 단순히 이미지를 "보는" 것을 넘어, 시간의 흐름에 따라 실제로 기억하고 비교할 수 있는 새로운 세대의 AI 가 필요하다고 결론 내립니다.

현재 상태: AI 는 훌륭한 사진을 찍지만 기억력은 형편없는 카메라와 같습니다.
미래 목표: 우리는 방에 대한 정신적 지도를 유지하고, 그 변화를 지켜보며 '이전'과 '이후' 상태 사이의 차이를 찾아낼 수 있는 인간 형 탐정처럼 행동하는 AI 가 필요합니다.

저자들은 이 테스트 (M3-Verse) 를 공개하여 다른 연구자들이 우리의 역동적이고 변화하는 세계를 이해할 수 있는 더 나은, 더 "인식적인" AI 시스템을 구축할 수 있도록 했습니다.

기술 요약: M3-Verse

문제 제기

대규모 멀티모달 모델 (LMMs) 은 정적 이미지를 해석하고 연속된 단일 상태 비디오 스트림 내에서 객체를 추적하는 데 뛰어난 능력을 보여주었지만, 서로 다른 비디오 관찰 간의 동적 변화를 이해하는 능력은 여전히 largely 미개척 상태로 남아 있습니다. 현재 벤치마크는 주로 고립된 상태나 연속적인 온라인 추적에 초점을 맞추고 있어, 연결되지 않은 비디오들을 비교하고, 공간적 배치에 대한 작업 기억을 수립하며, 이후 관찰들을 교차 참조하여 미묘한 상태 전이를 감지하는 데 필요한 인지적 부하를 간과하고 있습니다. 생물학적 지능은 본질적으로 과거와 현재 장면을 대조하여 차이를 감지하는 데 의존하며, 이는 현재 LMM 들이 결여하고 있는 고차원적 인지에 필수적인 능력입니다.

방법론

이 격차를 해소하기 위해 저자들은 상태 전이에 대한 비교 추론을 평가하도록 설계된 M3-Verse(다중 모달, 다중 상태, 다중 차원) 벤치마크를 소개합니다.

벤치마크 구축

M3-Verse 는 50 개 이상의 하위 태스크에 걸친 두 가지 엄격한 하위 집합으로 구성됩니다:

M3-Verse-Sim: AI2-THOR 시뮬레이터와 ProcTHOR-10k 를 기반으로 구축된 이 하위 집합은 270 개의 시뮬레이션된 실내 장면을 포함합니다. 여기에는 2,932 개의 엄격하게 필터링된 질문 - 답변 (QA) 쌍이 포함되어 있습니다. 생성 파이프라인은 다음을 포함합니다:
- 상태 수정: 물리적 타당성을 준수하면서 객체의 존재, 위치 또는 내부 속성 (예: 열림/닫힘, 켜짐/꺼짐) 을 프로그래밍 방식으로 변경합니다.
- 비교적 시각적 속성 생성: 시각적 인스턴스를 분리하고, 비전 - 언어 모델 (DAM) 을 통해 다중 뷰 설명을 생성하며, 동일한 객체 카테고리를 구별하기 위해 고유한 차별적 특징 (예: 색상, 모양) 을 합성하는 모듈입니다.
- 강건한 엔티티 그라우딩: 복잡한 장면에서 참조 모호성을 제거하기 위해 고유한 식별자 (예: "테이블 위의 빨간 사과") 를 동적으로 구성하는 프레임워크입니다.
- 엄격한 필터링: 텍스트 기반 필터링 (비전 없는 답변 제거), 멀티모달 난이도 평가, 인간 검증을 포함한 다단계 프로세스를 통해 100 만 개 이상의 후보를 고품질 샘플로 축소합니다.
M3-Verse-Real: 기존 공개 데이터셋과 완전히 겹치지 않도록 보장하기 위해 실제 환경 (가정, 사무실) 에서 촬영된 29 개의 물리적 장면으로 구성됩니다. 여기에는 552 개의 인간이 주석한 QA 쌍이 포함되어 있습니다. 상태 전이는 인간 주석가에 의해 물리적으로 수행되었으며, 질문은 모델이 자주 실패하는 가장 도전적인 샘플만 남도록 선별되었습니다.

태스크 설계

질문은 다음과 같이 분류됩니다:

Intra-State(단일 상태): 단일 상태 (전 또는 후) 에서 답변 가능.
Inter-State(상태 간): 변화를 식별하기 위해 두 상태 모두의 비교 필요.
이러한 범주는 공간 이해, 시간 이해, 속성 인식, 추론이라는 네 가지 핵심 능력을 탐구합니다. 주목할 점은 질문의 20.6% 가 "환각 유형"이라는 것으로, 올바른 옵션이 "올바른 옵션이 나열되지 않음"으로 대체되어 모델의 견고성을 테스트합니다.

진단적 접근

모델 성능의 병목 현상을 분리하기 위해 저자들은 Text-Oracle 진단 프로브를 제안합니다. 이 방법은 추론 전에 시각적 스트림을 명시적으로 텍스트로 직렬화합니다:

비디오 분할 및 밀집 캡션링: 비디오를 클립으로 분할하고 상세히 설명합니다.
연결된 요약 생성: 캡션을 단일 내러티브로 통합합니다.
텍스트 기반 QA: 모델은 텍스트 요약만을 기반으로 질문에 답변합니다.

주요 결과

이 논문은 16 개의 최첨단 LMM 과 6 개의 텍스트 전용 LLM 을 벤치마크에 대해 평가합니다:

심각한 성능 격차: 가장 진보된 독점 모델들 (Gemini-2.5-pro, GPT-5) 조차 각각 약 47% 와 약 45% 의 정확도만 달성하는 반면, 인간 성능은 89.75% 입니다. 오픈소스 모델들은 일반적으로 20% 와 35% 사이에서 부진합니다.
상태 간 (Inter-State) 난이도: 모델들은 Intra-State 태스크에 비해 Inter-State 태스크에서 현저히 낮은 성능을 보여, 긴 시간적 컨텍스트 전반에 걸친 의미적 정렬 유지에 취약함을 강조합니다.
추론 병목 현상: "추론" 하위 태스크는 모든 모델에서 일관되게 가장 낮은 성능을 나타내며, 다단계 논리 연산과 연역적 공간 추론의 근본적 부족을 시사합니다.
환각 취약성: 모델들은 환각 유형 질문에서 정확도가 심각하게 떨어집니다 (평균 12.32 점 하락), 잘못된 옵션을 거부하는 데 어려움을 겪습니다.
Text-Oracle 통찰:
- 시각 포착 vs. 유지: 시각적 스트림이 텍스트로 변환될 때 (Text-Oracle), 모델 성능은 크게 향상됩니다 (예: Inter-State 태스크의 경우 +7~+9 점). 이는 비전 인코더가 상태 변화를 성공적으로 포착하지만, 이러한 희소한 시각적 단서가 엔드 - 투 - 엔드 파이프라인 내의 긴 시간적 컨텍스트에서 희석되거나 손실됨을 증명합니다.
- 추론 한계: 궁극적인 성능 상한은 LLM 백본의 논리적 추론 능력에 의해 결정됩니다. Text-Oracle 설정에서 더 큰 텍스트 전용 LLM 을 사용하면 성능이 추가로 향상되는데, 이는 이 영역에서의 성공을 위해 순수 논리적 추론을 강화하는 것이 전제 조건임을 시사합니다.
시뮬레이션 타당성: M3-Verse-Sim 과 M3-Verse-Real 간의 성능에 강한 양의 상관관계 ( $\rho = 0.74$ ) 가 존재하여, 시뮬레이션된 하위 집합이 실제 세계 능력을 위한 신뢰할 수 있는 진단적 대리 변수임을 검증합니다.

의의 및 주장

이 논문은 M3-Verse 가 동적 시각 세계에 대한 더 포괄적인 이해를 갖춘 차세대 모델 개발을 촉진하는 도전적인 새로운 테스트베드를 제공한다고 주장합니다. 현재의 실패가 시각적 지각의 부족이 아니라 시간에 따른 희소한 시각적 단서를 유지하지 못함과 논리적 추론의 한계에서 비롯된다는 점을 드러냄으로써, 이 연구는 중요한 진단 도구를 제공합니다. 저자들은 변화 감지 및 비교 추론의 근본적 능력 없이는 AI 에이전트에게 동적 환경에서의 의미 있는 학습이 발생할 수 없다고 단언합니다. M3-Verse 의 오픈소스화는 향후 연구가 공간 - 시간적 추론의 이러한 특정 병목 현상을 극복하도록 안내하는 것을 목표로 합니다.