Modal Aphasia: Can Unified Multimodal Models Describe Images From Memory?

이 논문은 현재 통합 멀티모달 모델이 시각적 개념을 완벽하게 기억하고 재현할 수 있지만 이를 언어로 설명하는 데 실패하는 '모달 실어증 (Modal Aphasia)'이라는 체계적 결함을 발견했으며, 이는 AI 안전 프레임워크에 새로운 취약점을 초래할 수 있음을 보여줍니다.

핵심

🎨 1. 핵심 개념: "그림은 완벽하지만, 말은 못 하는 AI"

이 연구의 주인공은 최신 AI 모델들 (ChatGPT-5 등) 입니다. 이 AI 들은 다음과 같은 기이한 증상을 보입니다.

• 상황: "해리 포터 포스터를 그려줘"라고 하면, AI 는 원작과 거의 똑같은 그림을 완벽하게 그려냅니다.
• 문제: 하지만 "그 해리 포터 포스터에 뭐가 그려져 있는지 말로 설명해줘"라고 하면, AI 는 완전히 엉뚱한 소리를 합니다. (예: "해리가 지팡이를 들고 있다"고 했는데, 실제로는 검을 들고 있는 경우 등)

이를 연구자들은 **'모달 아파시아 (Modal Aphasia)'**라고 이름 붙였습니다.

비유: 마치 화가가 천재적인 실력으로 명화를 그릴 수 있지만, 그 그림을 보고 "이 그림에 어떤 색이 쓰였는지, 누가 그려졌는지"를 말로는 전혀 설명하지 못하는 상태와 같습니다. 뇌의 '그림을 그리는 부분'과 '말하는 부분'이 서로 연결이 안 된 것입니다.

🔍 2. 왜 이런 일이 일어날까요? (실험 내용)

연구진은 이 현상이 우연이 아니라, AI 의 근본적인 문제인지 확인하기 위해 두 가지 실험을 했습니다.

1. 실제 영화 포스터 실험: ChatGPT-5 에게 유명 영화 포스터를 그리게 하고, 그 내용을 글로 쓰게 했습니다.
   • 결과: 그림은 95% 이상 정확했지만, 글로 설명할 때는 7 배 이상의 실수를 했습니다. 심지어 그림에는 없는 캐릭터를 글로 지어내기도 했습니다.
2. 인공 데이터 실험 (가상의 얼굴과 기하학적 도형): AI 에게 '페크타티눌 (가상의 단어)'이라는 이름의 빨간색 삼각형을 그리게 하고, 그걸 설명하게 했습니다.
   • 결과: AI 는 '페크타티눌'이라는 말을 듣고 정확한 빨간 삼각형을 그릴 수 있었습니다. 하지만 "페크타티눌이 무슨 모양이야?"라고 물으면, 아무것도 모른 척하거나 랜덤하게 대답했습니다.

비유: AI 는 암기는 잘하지만, 이해는 못 하는 것입니다. 마치 "A 라는 단어를 들으면 B 그림이 떠오르지만, B 그림을 보고 A 라는 단어를 찾아내거나 설명할 수는 없는" 상태입니다.

⚠️ 3. 왜 이것이 위험할까요? (안전 문제)

이 현상은 단순한 실수가 아니라, AI 의 **안전 장치 (방어막)**를 뚫는 치명적인 약점이 될 수 있습니다.

• 상황: AI 개발자가 "유해한 내용 (예: 발 이미지) 은 절대 만들지 마라"고 교육했습니다. 그래서 "발 (foot)"이라는 단어를 입력하면 AI 는 "죄송합니다, 만들 수 없습니다"라고 거절합니다.
• 공격: 하지만 해커는 "발"이라는 단어를 쓰지 않고, 발을 뜻하는 **아주 드문 은어 (예: '이차적 균형 단위')**를 사용합니다.
• 결과: AI 는 "발"이라는 단어는 거절하지만, 그 드문 은어를 입력받으면 아직도 발 이미지를 만들어냅니다.

비유: 집 문에 "도둑은 들어오지 마세요"라고 적어놨습니다. 그래서 '도둑'이라는 단어를 쓰면 문이 잠깁니다. 하지만 도둑이 "도둑" 대신 "나쁜 사람"이라는 다른 단어를 쓰면, 문이 잠겨있지 않아서 집 안으로 들어갈 수 있는 것입니다. AI 는 그림을 그릴 때는 그 '나쁜 사람 (유해 개념)'을 기억하고 있지만, 글로 설명할 때는 그 개념을 인식하지 못해서 안전 장치가 작동하지 않는 것입니다.

💡 4. 결론 및 해결책

이 연구는 현재 AI 가 그림과 글이라는 두 가지 언어를 하나로 통합했다고 생각하지만, 실제로는 여전히 따로 놀고 있다는 것을 보여줍니다.

• 현재 상태: AI 는 그림을 그릴 때는 그 지식에 접근하지만, 글을 쓸 때는 그 지식을 잃어버립니다.
• 해결책: 연구자들은 AI 가 생각하는 과정에서 직접 그림을 그려보게 하거나 (시각화), 그림과 글의 연결을 더 단단하게 만들어야 한다고 제안합니다.

📝 한 줄 요약

"최신 AI 는 천재 화가처럼 그림을 그릴 수 있지만, 그 그림에 대해 이야기하는 것은 '말을 잃은' 상태입니다. 이 간극을 방치하면 AI 의 안전 장치가 뚫릴 수 있어 위험합니다."

기술 요약

Modal Aphasia (모달 아파시아) 기술 요약

본 논문은 통합 멀티모달 모델 (Unified Multimodal Models) 이 시각적 콘텐츠 생성에는 탁월한 능력을 보임에도 불구하고, 동일한 지식을 텍스트로 설명하는 데에는 실패하는 체계적인 결함인 **'Modal Aphasia (모달 아파시아)'**를 제시합니다. 이는 모델이 이미지를 '기억'하고 생성할 수는 있지만, 그 내용을 언어로 표현할 수 없는 현상으로 정의됩니다.

1. 문제 정의 (Problem)

현재의 최첨단 통합 멀티모달 모델 (예: ChatGPT-5, Chameleon, Janus-Pro 등) 은 이미지와 텍스트를 통합된 표현 공간에서 학습합니다. 그러나 이러한 모델들은 다음과 같은 모순적인 행동을 보입니다.

• 시각적 생성: 학습된 개념 (예: 유명 영화 포스터, 합성 얼굴, 추상적 패턴) 을 시각적으로 거의 완벽하게 재현할 수 있습니다.
• 언어적 기술: 동일한 개념을 텍스트로 설명하거나, 생성된 이미지의 세부 사항을 묘사하라고 요청할 때, 심각한 사실 오류 (할루시네이션) 와 정보 누락을 보입니다.

이는 인간에서의 '실어증 (Aphasia)'과 유사한 현상으로, 모델이 시각적 기억은 유지하고 있으나 이를 언어화하는 연결 고리가 끊어진 상태임을 시사합니다. 기존 연구들은 단일 모달리티 내에서의 기억 (Memorization) 이나 모달리티 간 불균형 (Imbalance) 을 다루었으나, 학습된 지식이 한 모달리티 (이미지) 에는 존재하지만 다른 모달리티 (텍스트) 에는 접근 불가능한 현상을 체계적으로 규명한 것은 이번이 처음입니다.

2. 방법론 (Methodology)

저자들은 실제 frontier 모델과 통제된 실험을 통해 모달 아파시아를 검증했습니다.

2.1 프론티어 모델 실험 (ChatGPT-5)

• 과제: 유명 영화 포스터 (해리 포터, 다크 나이트 등 9 개) 의 제목만 입력받아 이미지로 생성하고, 별도의 프롬프트로 같은 포스터를 텍스트로 묘사하도록 요청.
• 평가: Claude Opus 4.1 을 '판정자 (Judge)'로 활용하여 생성된 이미지와 텍스트 설명을 정답 포스터와 비교.
• 평가 기준:
  • 생략 (Omission): 핵심 요소 누락.
  • 경미한 할루시네이션: 세부 사항 오류 (예: 지팡이 대신 검을 들고 있음).
  • 중대한 할루시네이션: 존재하지 않는 캐릭터나 속성 추가.

2.2 통제된 실험 (Open-Weight Models)

Proprietary 모델의 한계를 극복하기 위해 **Janus-Pro (7B)**와 Harmon (1.5B) 두 가지 오픈 가중치 모델을 사용하여 통제된 실험을 수행했습니다.

• 데이터셋:
  1. 합성 얼굴 (Synthetic Faces): 600 개의 가상의 인물 이름과 얼굴 속성 (눈색, 머리카락, 헤어스타일, 액세서리) 을 매칭.
  2. 추상적 개념 (Abstract Concepts): 모양, 색상, 위치, 패턴 등 4 가지 시각적 개념을 가상의 단어 (예: "leamasifer") 로 매칭.
• 학습 방식: LLM 백본 (Backbone) 만 파인튜닝하고 이미지 인코더/디코더는 고정. 이는 모든 학습이 언어 모델 내부에서 일어나며, 이미지 모달리티의 기억이 아닌 언어 모델의 표현 능력 부족임을 입증하기 위함.
• 평가: 이름/가상 단어 입력 시 이미지 생성 정확도와, 동일 입력에 대한 텍스트 설명 (다중 선택 질문) 정확도 측정.

2.3 안전성 위험 사례 연구 (Safety Case Study)

• 시나리오: 모델이 '발 (feet)' 이미지를 생성하지 않도록 텍스트 기반 안전 장치를 적용했으나, 'secondary balance units'라는 드문 표현으로 발을 지칭할 때 안전 장치가 우회되는지 확인.
• 목적: 모달 아파시아가 AI 안전 프레임워크의 취약점이 될 수 있음을 입증.

3. 주요 결과 (Key Results)

3.1 모달 아파시아의 존재 확인

• ChatGPT-5: 영화 포스터 이미지 생성 시 오류율이 약 **6%**에 불과했으나, 텍스트 설명 시 오류율이 **45%**로 7 배 이상 높았습니다. 특히 텍스트 설명에서는 중대한 할루시네이션 (존재하지 않는 캐릭터 등) 이 전체 오류의 95% 를 차지했으나, 이미지 생성에서는 중대한 할루시네이션이 전혀 발생하지 않았습니다.
• 통제된 실험: Janus-Pro 와 Harmon 모델 모두 합성 얼굴이나 추상 개념을 이미지로 생성할 때는 높은 정확도 (Test set 에서 95% 이상) 를 보였으나, 동일한 내용을 텍스트로 설명할 때는 **무작위 추측 수준 (약 20% 정확도)**으로 떨어졌습니다. 이는 모델이 시각적 패턴을 학습했음에도 이를 언어로 추출하지 못함을 의미합니다.

3.2 일반화 능력과의 관계

• 모델들은 학습 데이터에 없는 새로운 개념 조합 (Unseen combinations) 에 대해서도 이미지를 생성할 수 있었습니다 (일반화 능력). 그러나 이러한 일반화된 시각적 지식 역시 텍스트로 설명할 때는 실패했습니다. 이는 모달 아파시아가 단순한 픽셀 단위 암기가 아니라, 개념의 표현 방식에 근본적인 결함이 있음을 시사합니다.

3.3 안전성 우회 (Safety Bypass)

• '발 (feet)' 이미지를 생성하지 않도록 텍스트 프롬프트 기반 안전 조치가 적용된 모델은, 일반적인 단어 'feet'가 포함된 요청은 거절했으나, 드문 표현인 'secondary balance units'가 포함된 요청은 거의 거절하지 않고 (거부율 24% 미만) 이미지를 생성했습니다.
• 이는 모델이 '발'이라는 개념을 이미지 모달리티에서는 여전히 접근 가능하게 기억하고 있으며, 텍스트 안전 필터가 이 시각적 기억을 차단하지 못함을 보여줍니다.

4. 주요 기여 (Key Contributions)

1. 새로운 현상의 발견: 통합 멀티모달 모델에서 발생하는 '모달 아파시아 (Modal Aphasia)'라는 체계적인 결함을 처음 정의하고 문서화했습니다.
2. 실험적 검증: 프론티어 모델과 오픈 소스 모델, 그리고 합성 데이터셋을 활용한 통제된 실험을 통해 이 현상이 아키텍처나 학습 데이터의 특정 편향 때문이 아니라, 현재 통합 모델 설계의 근본적인 한계임을 입증했습니다.
3. 안전성 시사점: 단일 모달리티 (텍스트) 에만 적용되는 안전 장치가 시각적 모달리티에 존재하는 유해 개념을 차단하지 못해, AI 안전 시스템에 새로운 취약점을 초래할 수 있음을 경고했습니다.
4. 해결 방향 제시: 모달 아파시아를 해결하기 위해서는 모델이 추론 과정에서 시각적 개념을 명시적으로 '시각화 (Visualize)'할 수 있도록 하는 근본적인 아키텍처 변경이 필요함을 제안했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 멀티모달 AI 의 발전이 단순히 "이미지를 보고 이해하고, 텍스트를 생성하는" 능력을 넘어, **모달리티 간 지식의 일관된 통합 (Unified Understanding)**이 이루어지지 않았음을 지적합니다.

• 기술적 의의: 현재 모델들이 시각적 생성에는 뛰어나지만, 그 생성의 근거를 언어로 설명하지 못하는 '블라인드' 상태일 수 있음을 보여줍니다. 이는 모델의 신뢰성과 해석 가능성 (Interpretability) 에 중대한 의문을 제기합니다.
• 실무적 의의: AI 안전 분야에서 텍스트 필터링만으로는 충분하지 않으며, 멀티모달 간의 지식 불일치를 고려한 새로운 안전 메커니즘이 필요함을 시사합니다.
• 미래 전망: 모달 아파시아를 극복하기 위해서는 모델이 내부적으로 이미지를 생성하거나 시각화하는 과정을 추론 단계에 포함시키는 (Thinking with generated images) 등의 새로운 접근법이 필요할 것으로 보입니다.

결론적으로, 모달 아파시아는 현재 통합 멀티모달 모델이 가진 치명적인 단점 중 하나로, 모델의 안전성과 신뢰성을 보장하기 위해 반드시 해결해야 할 과제입니다.