기술 요약: MENTISOCULI: 정신적 이미지(Mental Imagery)를 통한 추론의 한계 규명

문제 정의

현재의 최첨단 멀티모달 모델들은 시각을 수동적인 입력으로 취급하는 멀티모달 거대 언어 모델(MLLM)에서, 텍스트와 이미지를 네이티브하게 인터리빙(interleaved)하여 생성할 수 있는 통합 멀티모달 모델(UMM)로 전환되고 있습니다. 이러한 변화는 인간의 "정신적 이미지"와 유사하게 중간 시각화를 추론 보조 도구로 사용하는 것에 대한 관심을 불러일으켰습니다. 그러나 모델이 복잡한 추론 과제를 해결하기 위해 시각적 표현을 효과적으로 형성, 유지 및 조작할 수 있는지, 혹은 그러한 시각적 사고가 텍스트 전용 추론보다 실제로 성능을 향상시키는지 여부는 여전히 불분명합니다. 기존 벤치마크들은 시각 정보에 관한 추론을 평가할 뿐, 정신적 이미지를 사용한 추론을 평가하지 못하거나, 생성 오류와 추론 결핍을 분리해내는 절차적 엄밀함이 부족합니다.

방법론

이러한 격차를 해소하기 위해, 저자들은 모델의 시각적 표현 활용 능력을 시험하기 위해 설계된 절차적이고 계층화된 벤치마크인 MENTISOCULI(라틴어로 "마음의 눈")를 소개합니다.

벤치마크 설계

MENTISOCULI는 5개의 다단계 시각 추론 과제로 구성되며, 각 과제는 5개의 난이도 레벨(Level 1 ~ Level 5)에 따라 절차적으로 생성됩니다. 이 과제들은 텍스트로 설명하기는 어렵지만 시각적으로 해결하기는 직관적이도록 설계되었으며, 다음의 6가지 핵심 요구사항을 준수합니다:

1. 시각적 본질: 과제는 일반 상식이 아닌 공간 관계, 기하학적 제약, 객체 변형에 의존합니다.
2. 높적인 정보 밀도: 단순한 그리드 월드를 피하고 복잡한 모양과 연속적인 변형을 활용합니다.
3. 순차적 조작: 행동이 이전 결과에 의존하는 상태 업데이트를 반복해야 합니다.
4. 절차적 방식: 알고리즘적으로 생성되며, 분석을 위한 정답 시각적 사고 사슬(CoT)을 포함합니다.
5. 계층화: 단계 수나 객체 수를 통해 난이도를 조 control하여 모델의 한계 지점을 식별할 수 있습니다.
6. 생성 가능성: 표준 해상도에서 가독성이 있는 2D 투영으로 제한됩니다.

5가지 과제는 다음과 같습니다:

• Form Board (형태 판): 빈틈이나 겹침 없이 타겟 실루엣을 채우기 위해 도형의 하위 집합을 선택합니다.
• Hinge Folding (경첩 접기): 폴리곤 체인이 타겟 실루엣과 일치하도록 이산적인 회전 각도를 예측합니다.
• Paper Fold (종이 접기): 일련의 접기와 구멍 뚫기 과정 이후의 올바른 펼쳐진 구멍 패턴을 식별합니다.
• Rush Hour (러시아워): 차단하는 차량들을 움직여서 혼잡한 주차장에서 빨간색 차량을 탈출시킵니다 (연속적인 위치 및 비축 정렬 방향 포함).
• Sliding Puzzle (슬라이딩 퍼즐): 빈 타일을 움직여 순열된 자연 이미지를 복원합니다.

평가 프레임워크

저자들은 다음과 같은 모델 제품군을 평가했습니다:

• MLLMs: 텍스트 전용 출력 (예: Gemini 3, GPT-5.1, Qwen3-VL).
• 잠재 추론 모델 (Latent Reasoning Models): 인터리빙된 시각적 잠재 토큰을 생성하도록 미세 조정된 모델 (예: Mirage, LatestSketchpad).
• 통합 멀티모달 모델 (UMMs): 텍스트와 인터리빙된 이미지를 명시적으로 생성하는 모델 (예: Gemini 2.5-I, Gemini 3-I, Emu 3.5).
• 비디오 모델: 프롬프트에 조건화된 순수 시각적 롤아웃 (예: Veo 3.1, Wan 2.6).

평가는 시뮬레이션 또는 정확한 매칭을 통한 텍스트 출력의 자동 점수 산출과 비디오 모델을 위한 커스텀 비디오 평가기를 통해 이루어졌습니다. 연구에는 성능 상한선을 설정하고 추론 노력 할당을 분석하기 위한 인간 참가자(박사 과정 학생) 대상의 정신물리학 실험도 포함되었습니다.

주요 기여

1. MENTISOCULI 벤치마크: 정답 시각적 CoT와 계층화된 난이도 레벨을 특징으로 하는, 정신적 이미지를 이용한 다단계 추론을 위한 엄격하고 절차적인 벤치마크를 제공합니다.
2. 포괄적 분석: 암시적 잠재 토큰부터 명시적 생성 이미지 및 비디오에 이르기까지, 머신 정신적 이미지의 전체 스펙트럼에 대한 평가를 수행합니다.
3. 실패 모드 진단: UMM의 실패가 생성 오류뿐만 아니라, 시각적 보조 도구(심지어 정답인 경우에도)를 해석하고 활용하는 데 있어 결정적인 능력 부족에서 기인한다는 증거를 제시합니다.
4. 인간-기계 비교: 모델이 시각-공간적 복잡성 증가에 대응하여 추론 노력(토큰 사용량)을 적응적으로 늘리지 못한다는 점을 보여주는 데이터를 제시하며, 이는 인간과 대조적입니다.

결과

1. 명시적 시각적 사고의 비효율성

모든 과제와 난이도 레벨에서, 명시적 시각 전략(잠재 토큰, 인터리빙된 이미지 또는 비디오)은 텍스트 전용 베이스라인보다 성능을 향상시키지 못했습니다.

• MLLMs vs. UMMs: UMM(예: Gemini 3-I)은 텍스트 전용 모델(예: Gemini 3)보다 성능이 떨어지는 경우가 빈번했습니다.
• 잠재 추론: 잠재 추론을 위해 미세 조정된 모델은 쉬운 레벨에서는 미미한 이득을 보였으나, 레벨 5에서는 거의 무작위 수준(chance performance)으로 붕괴되었으며, 텍스트 전용 미세 조정에 비해 일관된 이점을 제공하지 못했습니다.
• 비디오 모델: 비디오 모델(Veo 3.1, Wan 2.6)은 우연 수준(chance performance)을 넘어서지 못했으며, 난이도가 높아짐에 따라 빠르게 무너졌습니다.

2. UMM의 이중 실패

UMM 분석 결과 두 가지 복합적인 문제가 드러났습니다:

• 생성 오류 (Generation Errors): 모델은 자주 상태 변화를 환각(hallucinate)하며, 프레임 간에 객체의 정체성이나 기하학적 구조를 놓칩니다.
• 해석 오류 (Interpretation Errors): 결정적으로, 오라클 시각화(정답 중간 이미지)가 제공된 경우에도 UMM은 이를 활용하여 추론을 개선하는 데 실패했습니다. 많은 경우, 오라클 비주얼을 가진 모델이 스스로 생성한 (결함이 있는) 이미지를 가진 모델보다 나은 성과를 내지 못했는데, 이는 시각적 상태를 의사결정을 위한 실행 가능한 증거로 처리하는 능력이 결여되어 있음을 나타냅니다.

3. 모달리티의 디커플링 (Decoupling of Modalities)

UMM에서 텍스트 추론 채널과 이미지 생성 채널은 약하게 결합되어 있습니다. Rush Hour 과제에서 두 채널은 종종 서로 다른 퍼즐을 풀었습니다. 난이도가 높아짐에 따라 텍스트 채널은 계획 부담을 짊어지는 반면 이미지 채널은 실패했지만, 모델은 두 채널을 성공적으로 통합하지 못했습니다.

4. 추론 향상의 한계

언어 기반 추론을 개선하는 표준 기술들인 인컨텍스트 러닝(ICL), 프롬프트 최적화, 추론 예산 증대, 도구 사용은 시각적 추론 과제에서 체계적인 이득을 가져오지 못했습니다. 토큰 사용량을 늘리는 것이 더 어려운 레벨에서의 정확도 향상과 상관관계를 보이지 않았습니다.

5. 인간 vs. 기계의 노력

인간은 적응적 추론을 보여주며 어려운 퍼즐에 더 많은 시간(및 그에 따른 노력)을 소비합니다. 반면, Gemini 3와 같은 모델은 난이도가 레벨 3에서 레벨 5로 증가함에 따라 토큰 사용량을 늘리지 않았으며, 이는 적응적 추론 깊이의 결여를 시사합니다.

의의 및 주장

본 논문은 "정신적 이미지"의 직관적인 매력에도 불구하고, 현재의 최첨단 모델들은 생성과 추론 사이의 간극을 아직 메우지 못한다고 결론짓습니다. 저자들은 다음과 같이 주장합니다:

• 시각적 사고는 현재 모델의 추론에 도움이 되지 않으며, 오히려 복합적인 오류를 유발할 수 있습니다.
• 이 실패는 단순히 생성 능력의 부족이 아니라, 일관성을 유지하고 시각 정보를 계획에 활용하는 근본적인 능력의 부재 때문입니다.
• MENTISOCULI는 이러한 실패 모드를 격리하고 추론 능력과 표현 정렬(representational alignment)을 구분할 수 있는 필수적인 토대를 제공합니다.

이 연구는 효과적인 머신 정신적 이미지를 달agi 위해서는 단순히 현재의 아키텍처를 확장하는 것보다, 전용 학습 데이터와 다단계 시각 추론에 대한 초점의 전환이 필요할 것임을 시사합니다. 논문은 시각적 보조 도구가 특정 환경에서는 도움이 될 수 있지만, 현재의 기술로는 그 효과가 균일하거나 신뢰할 수 없다는 점을 언급하며 겸허한 태도를 유지하고 있습니다.