기술적 요약: 인공 판타지아 - 대규모 언어 모델에서 나타나는 발현적 정신적 이미지

문제 제기

이 논문은 인지과학의 근본적인 질문에 답합니다: 정신적 이미지는 언어만으로 유도될 수 있는가, 아니면 그림 (이미지) 표현에 엄격히 의존하는가? 전통적인 인지과학은 정신적 이미지가 '마음의 눈'이라는 은유가 지지하는 바와 같이 이미지적 표현을 기반으로 작동한다고 주장합니다. 그러나 의식적인 시각적 이미지를 결여하고 있으면서도 공간적 및 이미지 의존적 과제를 수행할 수 있는 무상상증 (aphantasia) 환자들의 존재는 그림 형식의 필요성에 의문을 제기합니다.

저자들은 주로 명제적 (언어적) 데이터로 훈련되었으며 텍스트 전용 모드에서는 고유한 시각 처리 능력을 결여한 대규모 언어 모델 (LLM) 이 오직 정신적 이미지 (pictorial mental imagery) 를 통해서만 해결 가능하도록 설계된 과제를 해결할 수 있는지 조사합니다. 만약 LLM 이 성공한다면, 이는 명제적 추론에 의해 주도되는 발현적이고 비그림적인 형태의 정신적 이미지인 '인공 판타지아 (artificial phantasia)'의 존재를 시사하게 됩니다.

방법론

과제 설계

이 연구는 Finke, Pinker, Farah (1989) 가 개발한 고전적인 '물체 재구성' 과제의 확장 버전을 활용했습니다.

• 자극물: 연구진은 60 개의 지시 세트 (instruction sets) 를 제작했습니다.
  • 12 개 항목은 원래 Finke 등 (1989) 의 연구에서 가져와 명확성을 위해 수정되었습니다.
  • 48 개 항목은 이 연구를 위해 특별히 제작된 새로운 맞춤형 예시였으며, 모델들의 훈련 데이터에 존재하지 않도록 보장되었습니다. 이는 최종 물체 (예: 우산, 컴퓨터 마우스) 가 모든 단계를 정신적으로 시뮬레이션한 후에야 식별될 수 있는 복잡한 구성적 변환 (예: 글자 회전, 모양 부착, 반사) 을 포함했습니다.
• 절차: 피험자 (인간과 LLM 모두) 는 일련의 변환을 상상하고 결과적인 '이미지'를 식별하도록 요청받았습니다.
• 인간 기준선: 100 명의 인간 참가자가 화면 텍스트로 인한 시각적 편향을 방지하기 위해 오디오 지시를 통해 과제를 완료했으며, 시각적 이미지 생생성 질문지 (VVIQ) 를 통해 평가받았습니다.
• LLM 테스트: 이 연구는 다음과 같은 다양한 최첨단 모델을 테스트했습니다.
  • 독점 모델: OpenAI (o3, o3-Pro, o4-mini, GPT-5, GPT-4.1, ChatGPT-4o), Google (Gemini 3 Pro, 2.5 Pro, 2.0 Flash), Anthropic (Claude Opus 4.1, Sonnet 4).
  • 오픈 가중치 모델: Qwen 3, Qwen 3 VL, DeepSeek R1, gpt-oss-120b.
• 실험적 변인:
  • 이미지 보조 생성: 일부 모델은 도구 (예: GPT-image-1, Gemini 의 이미지 생성) 를 사용하여 중간 이미지를 생성하도록 프롬프트를 입력받아, 그림 보조가 성능 향상에 기여하는지 테스트했습니다.
  • 추론 노력: OpenAI 모델의 경우 '추론 토큰' 할당량 (최소, 낮음, 중간, 높음) 을 변경하여 확장된 추론 체인의 영향을 테스트했습니다.
  • 컨텍스트: 모델들은 단일 컨텍스트 (모든 지시가 하나의 프롬프트에 포함됨) 와 다중 컨텍스트 (지시 세트마다 새로운 컨텍스트) 모드에서 테스트되었습니다.

평가

• 점수 매기기: 가중 점수 체계가 사용되었습니다. 376 명의 무작위 인간 감수자들이 모델/인간의 답변을 표준 목표 이미지와 비교하여 5 점 척도에서 '합리성'을 평가했습니다.
• 전문가 검증: 저자들은 독립적인 '전문가' 등급을 제공했습니다. 최종 점수는 크라우드 소싱 및 전문가 평가의 가중 평균이었습니다.
• 통계 분석: 모델 성능을 인간 기준선과 서로 간에 비교하기 위해 Mann-Whitney U 검정과 Wilcoxon 부호 순위 검정이 사용되었으며, 다중 비교를 위해 Bonferroni 보정이 적용되었습니다.

주요 결과

1. 최첨단 모델의 우월한 성능

가장 진보된 추론 모델들은 인간 기준선 (평균 인간 점수: 2.85/5) 을 현저히 능가했습니다.

• Gemini 3 Pro는 가장 높은 평균 점수 (3.65, $p < .0001$) 를 달성했습니다.
• GPT-5(3.35, $p = .0004$) 와 o3 계열(o3-Pro: 3.31, $p < .0001$; o3: 3.13, $p = .0067$) 또한 인간을 현저히 능가했습니다.
• 구식이거나 능력이 낮은 모델들 (예: ChatGPT-4o, Gemini 2.0 Flash, Qwen 3) 은 인간보다 현저히 낮은 점수를 기록하거나 기준선에 도달하지 못했습니다.

2. 추론 및 이미지 보조의 영향

• 추론 토큰: 성능은 추론 노력과 양의 상관관계를 보였습니다. '높음' 추론을 사용한 GPT-5(3.35) 는 '최소' 추론을 사용한 경우 (2.04) 보다 현저히 우수한 성능을 보였습니다.
• 이미지 보조 생성: 시각적 보조가 도움이 될 것이라는 가설과 달리, 이미지 생성 기능 추가 (예: GPT-image-1 을 사용한 o3) 는 텍스트 전용 추론에 비해 성능을 감소시켰습니다. 이는 현재 이미지 모델에 내재된 구성적 생성 오류가 과제를 방해했으며, 순수한 언어적 처리가 더 효과적이었음을 시사합니다.
• 컨텍스트: 컨텍스트 내 학습 (단일 대 다중 컨텍스트) 은 성능에 유의미한 차이를 보이지 않았습니다.

3. 오픈 소스의 한계

오픈 가중치 모델들은 인간 기준선을 충족하지 못하며 부진한 성적을 보였습니다. Qwen 3(평균 1.58) 과 Qwen 3 VL(평균 1.99) 은 유의미한 차이가 없었으며, 이는 Qwen 3 VL 의 시각 - 언어 정렬 단계가 이 특정 명제적 과제에 있어 유의미한 이점을 부여하지 않았음을 시사합니다.

4. 불확실성과 전략

• 불확실성: 인간은 빈번하게 "모르겠다"고 응답한 반면 (54 회 발생), LLM 은 불확실성을 표현한 적이 없으며, 가장 어려운 항목에서도 종종 답변을 착각 (할루시네이션) 했습니다.
• 무상상증과의 유사성: 이 연구는 시각적 이미지를 결여한 LLM 의 높은 성능이 그림적 표현 없이도 이미지 과제를 성공적으로 수행하는 인간 무상상증 환자의 성능과 평행함을 보인다고 지적했습니다.

주요 기여

1. 인공 판타지아에 대한 증거: 이 논문은 LLM 이 오직 명제적 (언어적) 표현만을 사용하여 복잡한 정신적 이미지 과제를 해결할 수 있음을 실증적으로 보여주었으며, 이러한 인지에 그림 형식이 필수적이라는 관점에 도전합니다.
2. 새로운 벤치마크: 저자들은 정신적 이미지 과제를 위해 48 개의 새로운 훈련 데이터가 아닌 항목을 도입하여 LLM 의 발현적 추론 능력을 평가하는 견고한 벤치마크를 만들었습니다.
3. 정신적 이미지 형식의 재평가: 결과는 '시각적' 정신적 이미지가 단일한 능력이 아니라 명제적 프레임워크 내의 공간적 추론을 통해 달성될 수 있음을 시사하며, 물체 이미지와 공간적 이미지 사이의 구분을 지지합니다.
4. 방법론적 통찰: 이 연구는 모델에게 중간 이미지를 생성하도록 강요하는 것이 구성적 추론 과제에서 성능을 저하시킬 수 있음을 보여주었으며, 다단계 논리적 워크플로우에서 이미지 생성의 현재 한계를 강조합니다.

중요성과 주장

저자들은 그들의 발견이 "정신적 이미지에서 그림 형식의 필요성에 대한 논쟁을 재점화한다"고 주장합니다. 그들은 최첨단 LLM(특히 o3, GPT-5, Gemini 3 Pro 와 같은 추론 모델) 의 성공이 언어만으로도 전통적으로 '마음의 눈'이 필요하다고 생각되었던 공간적 관계를 시뮬레이션하고 조작할 수 있는 발현적 인지 능력을 나타낸다고 주장합니다.

이 논문은 이러한 모델들이 숨겨진 그림적 표현에 의존하는 것이 아니라 명제적 추론과 언어적 임베딩에 의존하여 공간적 레이아웃을 구성한다고 가정합니다. 이는 시각적 정신적 이미지가 오직 그림적이라는 고전적 관점에 도전합니다. 또한, 이 연구는 이 영역에서 인간과 인공지능 간의 성능 격차가 좁혀지고 있으며, 가장 진보된 모델들이 이제 특정 구조화된 이미지 과제에서 인간 능력을 능가하고 있음을 시사합니다.

저자들은 메커니즘에 관해 겸손한 태도를 유지하며, 모델이 성공하지만 정확한 내부 표현 (순수 명제적 대 시각 - 언어적 사전 지식을 포함한 명제적) 은 추가 조사의 주제임을 인정합니다. 그들은 이러한 결과가 추론 모델의 발현적 능력에 관한 AI 커뮤니티와 무상상증 환자가 사용하는 전략 및 인간 정신적 이미지의 본질에 관한 인지과학 커뮤니티 모두에게 새로운 관점을 제공한다고 결론지었습니다.