Can Vision-Language Models See Squares? Text-Recognition Mediates Spatial Reasoning Across Three Model Families

이 논문은 비주얼 언어 모델이 텍스트 기호로 표현된 이진 그리드에서는 높은 정확도를 보이지만, 동일한 시각 인코더를 사용함에도 불구하고 텍스트가 없는 채워진 사각형 조건에서는 공간적 위치 파악 능력이 극적으로 저하됨을 실험을 통해 규명했습니다.

핵심

🕵️‍♂️ 실험의 핵심: "글자로 된 지도" vs "검은색 점"

연구진은 15x15 크기의 격자 (보드) 를 만들었습니다. 각 칸은 **'검은색 (채워짐)'**이거나 **'흰색 (비어있음)'**입니다.
이제 AI 에게 이 보드의 모양을 그대로 말로 옮겨달라고 (전사해달라고) 요청했습니다.

하지만 보드를 보여주는 방식은 두 가지로 나눴습니다.

1. 글자 버전: 검은 칸은 # 기호로, 흰 칸은 . 점으로 표시했습니다. (예: .#.#.)
2. 그림 버전: 검은 칸은 실제 검은색 사각형으로, 흰 칸은 흰색으로 표시했습니다. (격자 선 없이 그냥 검은색 덩어리들)

중요한 점: AI 는 이 두 가지 모두를 '사진'으로만 봅니다. 글자라고 해서 미리 입력된 텍스트가 있는 게 아니라, 모두 카메라로 찍은 이미지처럼 처리됩니다.

📉 놀라운 결과: "글자"는 잘 보는데, "그림"은 망가집니다

결과가 매우 극명하게 갈렸습니다.

• 글자 버전 (#과 .): AI 들은 거의 완벽하게 정답을 맞췄습니다. (정확도 90% 이상)
  • 비유: 마치 **"주소가 적힌 우편물"**을 받는 것과 같습니다. AI 는 "여기 3 번, 여기 5 번"이라고 적힌 글자를 읽어서 위치를 정확히 파악합니다.
• 그림 버전 (검은 사각형): AI 들은 완전히 혼란에 빠졌습니다. (정확도 60~70% 로 떨어지고, 중요한 위치 파악 능력은 30% 대로 추락)
  • 비유: 마치 **"주소가 적히지 않은 검은색 상자"**를 받는 것과 같습니다. AI 는 "어디에 검은색이 있나?"라고 눈으로 쫓아다니지만, 정확한 위치를 기억하지 못해 엉뚱한 곳에 상자를 놓아버립니다.

🤖 세 가지 AI 의 실수 패턴 (각자 다른 실수를 합니다)

세 가지 유명 AI(Claude, ChatGPT, Gemini) 가 모두 같은 실수를 했지만, 그 방식은 제각기 달랐습니다.

1. Claude (클로드): 과소평가하는 성실한 학생.
   • 검은 칸이 60 개 있는데, 45 개만 찾습니다. "아마 여기쯤 있겠지?"라고 대충 추정해서 위치를 틀리게 적어냅니다.
2. ChatGPT: 과대평가하는 상상력 넘치는 학생.
   • 검은 칸이 80 개 있는데, 130 개나 찾아냅니다. 실제 검은 덩어리 주변에 없는 검은 칸까지 "거기 있을 거야!"라고 상상해서 만들어냅니다.
3. Gemini (제미니): 패턴을 외우는 기계.
   • 검은 칸이 너무 많으면, 실제 그림을 보지 않고 "아, 이건 L 자 모양이구나!"라고 미리 외운 도형을 만들어냅니다. 입력된 그림과 전혀 상관없는 기하학적 패턴을 그려냅니다.

🔍 왜 이런 일이 일어날까요? (핵심 가설)

연구진은 이 현상을 **"AI 의 두 가지 뇌"**로 설명합니다.

1. 글자 읽기 뇌 (OCR): AI 는 이미지 속의 글자나 기호를 보면, 마치 스캐너처럼 "이건 '#' 기호야, 3 번째 줄 4 번째 칸에 있어"라고 정확한 좌표를 기억하는 강력한 능력을 발휘합니다.
2. 그림 보는 뇌 (시각): 하지만 순수한 검은색 그림만 보면, AI 는 "오른쪽 위쪽에 검은 덩어리가 있네"라고 대략적인 느낌만 파악할 뿐, 정확한 좌표를 기억하는 능력은 매우 약합니다.

즉, AI 는 그림을 볼 때, 무의식적으로 "이걸 글자로 바꿔서 읽어야겠다"라고 생각하는데, 검은 사각형은 글자로 바꿔줄 수 없으니 당황하는 것입니다.

💡 흥미로운 중간 실험: "그림 속에 글자를 숨기면?"

연구진은 검은 사각형 안에 아주 작은 '0'과 '1'이라는 글자를 숨겨 넣는 실험을 했습니다.

• Claude 와 Gemini: 글자가 숨겨지자마자 순식간에 100% 정답을 맞췄습니다. (글자라는 '힌트'가 뇌를 깨운 것)
• ChatGPT: 오히려 더 망가졌습니다. (글자와 그림이 섞이자 뇌가 충돌한 것)

이는 AI 모델마다 글자를 읽는 방식과 그림을 보는 방식이 어떻게 섞이는지 (상호작용) 가 다르다는 것을 보여줍니다.

🚀 결론: 우리가 무엇을 배웠나요?

이 실험은 **"AI 가 그림을 잘 이해한다고 해서, 공간적인 위치 파악도 완벽하다는 뜻은 아니다"**라는 사실을 알려줍니다.

• 현재의 AI: 글자나 기호가 있는 그림은 천재처럼 잘 보지만, 순수한 도형이나 패턴은 초보처럼 못 봅니다.
• 미래의 과제: 의료 영상 (종양 찾기), 자율주행 (장애물 위치 파악) 등 글자가 없는 그림을 정밀하게 분석해야 하는 분야에서는, 현재 AI 가 생각보다 훨씬 더 많은 실수를 할 수 있다는 경고입니다.

한 줄 요약:

"AI 는 '글자'가 적힌 지도는 완벽하게 읽지만, '그림'으로만 된 지도는 길을 잃고 헤매는 존재입니다. 우리는 AI 가 그림을 제대로 '보'는 법을 가르쳐야 합니다."

기술 요약

논문 요약: 비전 - 언어 모델 (VLM) 은 사각형을 볼 수 있는가?

1. 문제 제기 (Problem)

최근 비전 - 언어 모델 (VLM, Vision-Language Models) 은 이미지 설명, 차트 해석, 도형 추론 등 다양한 시각적 이해 과제에서 뛰어난 성과를 보이고 있습니다. 이로 인해 VLM 이 임의의 시각적 입력에 대해 강력한 공간 추론 (Spatial Reasoning) 능력을 갖췄다는 암묵적인 가정이 존재합니다.

하지만 본 논문은 이 가정에 의문을 제기하며, 텍스트 식별성이 없는 이진 격자 (filled cells in binary grids) 의 정확한 위치 파악 (localization) 에서 VLM 이 근본적인 한계를 보인다는 사실을 증명합니다. 즉, 시각적 정보가 '텍스트 기호'로 인코딩되었을 때와 '채워진 사각형'으로 인코딩되었을 때, 모델의 공간 인식 성능에 극심한 차이가 발생한다는 것을 발견했습니다.

2. 연구 방법론 (Methodology)

• 데이터 생성:

  • 15x15 크기의 이진 격자 15 개를 생성했습니다. 각 격자는 225 개의 셀로 구성되며, 채워진 셀의 밀도는 10.7% 에서 41.8% 까지 다양하게 조절되었습니다.
  • 각 격자를 두 가지 시각적 형식으로 렌더링했습니다:
    1. 텍스트 기호 조건: 빈 셀은 . (점), 채워진 셀은 # (해시) 로 표현된 모노스페이스 폰트 이미지.
    2. 채워진 사각형 조건: 격자 선 없이 빈 셀은 흰색, 채워진 셀은 검은색 사각형으로 표현된 이미지.
  • 중요: 두 조건 모두 PNG 이미지로 제공되며, 동일한 시각 인코더 (Visual Encoder) 를 통과합니다. 텍스트 기호도 토큰화된 텍스트가 아닌 이미지로 처리됩니다.

• 평가 대상 모델:

  • 세 가지 서로 다른 조직의 최첨단 VLM 3 종을 평가했습니다:
    • Claude Opus (Anthropic)
    • ChatGPT 5.2 (OpenAI)
    • Gemini 3 Thinking (Google)

• 실험 설정:

  • 모델에게 코드나 이미지 처리 도구 사용을 금지하고, 시각적 관찰만으로 격자를 전사 (transcribe) 하도록 지시했습니다.
  • 평가 지표: 셀 정확도 (Cell Accuracy) 와 채워진 셀 탐지를 위한 F1 점수 (정밀도와 재현율의 조화 평균). F1 점수가 더 중요한 지표로 사용되었습니다 (빈 셀이 많아 정확도가 왜곡될 수 있기 때문).

• 추가 실험 (Ablation Study):

  • 유니코드 사각형 (Unicode Squares): □ 와 ■ 같은 텍스트 토큰이지만 시각적으로 사각형과 유사한 기호 사용.
  • 사각형 내 텍스트 (Text-in-squares): 채워진 검은 사각형 안에 흰색 '1', 빈 흰색 사각형 안에 회색 '0'을 삽입하여 텍스트 식별성을 부여한 상태.

3. 주요 결과 (Key Results)

• 텍스트 vs. 사각형 성능 격차:

  • 텍스트 기호 조건: Claude 와 ChatGPT 는 약 91% 의 셀 정확도와 84% 의 F1 점수를 기록했습니다. Gemini 는 84% 정확도, 63% F1 을 기록했습니다.
  • 채워진 사각형 조건: 세 모델 모두 성능이 급격히 하락했습니다. 정확도는 6073% 로 떨어졌고, **F1 점수는 2939% 로 붕괴**되었습니다.
  • 격차: 모델 간 F1 점수 차이는 34~54 포인트에 달했습니다. 이는 동일한 시각 인코더를 통과함에도 불구하고, 텍스트 식별성 여부에 따라 공간 추론 성능이 결정적으로 달라짐을 의미합니다.

• 모델별 실패 양상:

  • Claude Opus: 체계적인 과소 계수 (Under-counting). 실제보다 적은 수의 셀을 예측하고 위치가 틀렸습니다.
  • ChatGPT 5.2: 대규모 과대 계수 (Over-counting). 밀도가 높은 격자에서 실제보다 훨씬 많은 셀을 예측하고, 격자 차원을 잃거나 확장된 패턴을 환각 (hallucination) 했습니다.
  • Gemini 3 Thinking: 템플릿 환각 (Template Hallucination). 입력과 무관하게 L 자, 십자형 등 학습된 기하학적 패턴을 반복 생성했습니다. 특히 밀도가 32% 를 넘으면 텍스트 인식 경로가 붕괴하며 패턴 위조로 전환되었습니다.

• Ablation 실험 결과:

  • 유니코드 사각형: 텍스트와 사각형 사이의 중간 성능 (F1 69~77%) 을 보였습니다. 이는 성능 차이가 이분법적이지 않고 연속적임을 시사합니다.
  • 사각형 내 텍스트:
    • Claude 와 Gemini: 텍스트 라벨이 추가되자 성능이 회복되어 희소 격자에서 100% F1 을 달성했습니다.
    • ChatGPT: 오히려 성능이 저하되었습니다 (51% F1). 이는 모델마다 텍스트와 시각 경로 간의 상호작용이 다르며, ChatGPT 의 경우 텍스트가 시각적 처리를 방해할 수 있음을 보여줍니다.

4. 핵심 기여 및 결론 (Key Contributions & Conclusion)

• 텍스트 인식 매개 가설 (Text-Recognition Mediation Hypothesis):

  • VLM 은 시각적 공간 추론을 수행할 때, 내부 OCR(광학 문자 인식) 과 유사한 텍스트 인식 경로를 주로 사용합니다.
  • 시각적 요소가 텍스트 기호로 매핑되면 모델은 언어 영역에서 강력한 위치 추론 능력을 발휘하지만, 비텍스트적 시각 요소 (단순한 사각형) 에 의존하는 시각 특징 경로 (Visual-feature pathway) 는 공간적 정밀도가 매우 낮습니다.
  • 이는 모델 아키텍처나 학습 데이터의 특정 성향이 아니라, 현재 VLM 설계의 근본적인 속성임을 세 가지 독립적인 모델 패밀리에서 재현함으로써 증명했습니다.

• 시각 인코더의 한계:

  • CLIP 기반의 시각 인코더는 전역적 의미 정렬에 최적화되어 있어 미세한 공간적 특징 (픽셀 수준의 위치) 을 포착하는 데 한계가 있음을 확인했습니다.

• 실무적 함의:

  • 의료 영상, 자율 주행, 과학적 시각화 등 텍스트가 없는 비주얼 요소에 의존하는 응용 분야에서 VLM 의 공간 추론 능력을 과대평가해서는 안 됩니다.
  • 텍스트 기반 벤치마크의 높은 점수가 비텍스트적 시각 작업의 능력을 대표하지 못함을 시사합니다.

• 해결 방안 제안:

  • 텍스트적 발판 (Textual Scaffolding): 시각적 요소 내부에 텍스트 라벨을 삽입하는 것이 일부 모델 (Claude, Gemini) 에서는 성능 회복에 효과적이었습니다.
  • 토큰 친숙도: 학습 데이터에서 빈도가 높은 텍스트 토큰 (ASCII) 을 사용하는 것이 중요합니다.
  • 아키텍처 개선: 명시적인 공간 좌표 예측 목표를 가진 시각 인코더 훈련이나, 비텍스트적 시각 내용을 위한 이산적 시각 토큰 (Discrete Visual Tokens) 도입이 필요함을 제안합니다.

5. 의의 (Significance)

이 연구는 VLM 이 "보는" 능력이 실제로는 "읽는" 능력에 크게 의존하고 있음을 드러냈습니다. 비텍스트적 시각 정보에 대한 공간적 정밀도가 현저히 낮다는 사실은 멀티모달 모델의 다음 세대 개발 방향을 설정하고, 현재 모델의 한계를 명확히 이해하는 데 중요한 통찰을 제공합니다.