Semantic Richness or Geometric Reasoning? The Fragility of VLM's Visual Invariance

1. 연구 배경 및 문제 제기 (Problem)

최근 발전한 비전 - 언어 모델 (VLM, Vision-Language Models) 은 복잡한 장면 설명이나 객체 인식과 같은 의미론적 (Semantic) 작업에서 뛰어난 성능을 보입니다. 그러나 이 논문은 VLM 이 **기하학적 변환 (회전, 크기 조절, 동일성 판별)**에 대한 기본적인 공간 불변성 (Spatial Invariance) 과 등변성 (Equivariance) 을 결여하고 있음을 지적합니다.

• 핵심 문제: VLM 이 자연 이미지 (사진, 예술화) 에서는 높은 정확도를 보이지만, 의미 정보가 희박한 추상적인 도형, 심볼, 손글씨, 낯선 문자 체계에서는 기하학적 변환을 인식하는 능력이 급격히 저하됩니다.
• 가설: VLM 의 성능은 진정한 기하학적 추론 능력 때문이 아니라, 학습 데이터에 익숙한 의미적 단서 (Semantic Cues) 와 데이터 편향 (Data Familiarity) 에 의존하고 있기 때문입니다.

2. 연구 방법론 (Methodology)

저자들은 VLM 의 기하학적 추론 능력을 평가하기 위해 의미적 풍부함 (Semantic Richness) 의 스펙트럼을 따라 다양한 데이터셋과 변환 작업을 설계했습니다.

2.1 데이터셋

모델의 성능을 다양한 시각적 도메인에서 평가하기 위해 다음과 같은 데이터셋을 사용했습니다:

• Omniglot: 50 가지의 다양한 문자 체계 (라틴어, 그리스어 등 익숙한 것부터 글라골리체, 브라일 등 낯선 것까지) 로 구성된 손글씨 문자. 의미적 단서가 희박하고 기하학적 구조에 의존해야 함.
• Times New Roman & Handwritten English: 익숙한 영어 알파벳 (인쇄체 및 손글씨).
• PACS Dataset: 사진 (Photo), 예술화 (Art), 만화 (Cartoon), 스케치 (Sketch) 의 4 가지 도메인으로 구성된 객체 이미지.

2.2 평가 작업 (Transformations)

세 가지 기본 변환 작업을 수행하여 모델이 두 이미지가 동일한 객체/문자인지 판단하도록 요청했습니다:

1. 회전 (Rotation): 첫 번째 이미지를 회전시켰을 때 두 번째 이미지와 일치하는가? (10°~90° 및 90°, 180°, 270°)
2. 크기 조절 (Scale): 크기가 다른 두 이미지가 동일한 객체인가?
3. 동일성 (Identity): 두 이미지가 완전히 동일한가?

2.3 평가 모델

• 폐쇄형 (Closed-source): Gemini-2.5-Pro, GPT-5.2
• 오픈소스 (Open-source): Qwen2.5-VL (7B, 32B), Qwen3-VL (8B, 30B)
• 비전 인코더 분석: CLIP, DINOv2, SigLIP, Qwen2.5-VL 의 비전 인코더 단독 성능과 언어 디코더 결합 시 성능 비교.

2.4 추가 실험

• 프롬프트 민감성 분석: 객체 인식 (OR), 객체 식별 (OI), 회전 인식 (RR) 등 다양한 프롬프트 형태 비교.
• 맥락 학습 (ICL) 및 시각적 프롬프팅: Few-shot 학습과 회전 그리드 (Rotational Grid) 를 사용하여 기하학적 추론 능력을 향상시킬 수 있는지 검증.

3. 주요 결과 (Key Results)

3.1 의미적 풍부함에 따른 성능 격차

• 자연 이미지 (Photo, Art): 모델들이 높은 정확도를 보임 (예: Gemini-2.5-Pro 의 사진 회전 인식 정확도 92.67%).
• 심볼/스케치 (Sketch, Symbolic Scripts): 성능이 급격히 저하됨.
  • Gemini-2.5-Pro 의 경우, 사진에서의 회전 인식 정확도 (92.67%) 에서 심볼 스케치 (76.49%) 로 떨어졌으며, 낯선 문자 (Omniglot) 에서는 더 낮아짐.
  • TPR (True Positive Rate) 문제: 모델들은 회전된 이미지를 "아니오 (No)"라고 일관되게 잘못 예측하는 경향이 강함 (높은 TNR, 낮은 TPR). 이는 모델이 기하학적 변환을 인식하지 못하고 "다르다"고 가정하는 편향을 보임.

3.2 데이터 편향과 의미적 의존성

• 익숙한 vs 낯선 문자: 익숙한 문자 (Times New Roman, Handwritten English) 에서는 거의 완벽한 성능을 보였으나, 낯선 문자 (Omniglot 의 브라일, 만다린 등) 에서는 성능이 무작위 추측 수준으로 떨어짐.
• 기하학적 추론 부재: 모델이 객체의 이름 (의미) 을 알면 회전 여부를 판단하지만, 이름이 없는 추상적인 형태에서는 기하학적 구조를 분석하지 못함.
• Thinking Trace 분석: Gemini-2.5-Pro 의 사고 과정을 분석한 결과, 익숙한 문자 (C) 에서는 "문자 C 의 회전이다"라고 식별한 후 회전 여부를 확인했으나, 낯선 문자 (구자라트어 등) 에서는 저수준의 구조 분석을 시도하다가 실패함. 이는 모델이 의미적 앵커 (Semantic Anchor) 없이는 기하학적 추론을 수행하지 못함을 시사.

3.3 모델 용량 및 아키텍처의 한계

• 모델 크기가 커질수록 (7B → 32B → 30B) 성능이 약간 향상되지만, 여전히 심볼/스케치 도메인에서는 심각한 실패가 지속됨.
• 비전 인코더 (Vision Encoder) 는 회전 시에도 높은 코사인 유사도를 유지하지만, 이를 언어 디코더 (Language Decoder) 가 처리할 때 변환 추론이 실패함. 이는 비전 - 언어 결합 과정에서의 결함을 의미.

3.4 프롬프트 및 ICL 의 한계

• 프롬프트 변경: 객체 인식이나 식별 작업에서는 높은 성능을 보이지만, 회전 인식 (RR) 작업에서는 성능이 급감.
• ICL (In-Context Learning) 및 회전 그리드: 소수의 예시나 시각적 그리드를 제공하면 TPR(정답률) 은 향상되지만, TNR(거짓 긍정 감소) 이 급격히 떨어져 전체적인 정확도가 개선되지 않거나 오히려 악화됨. 이는 모델이 "회전일 것이다"라는 편향 (Confirmation Bias) 을 강화할 뿐, 진정한 기하학적 이해를 얻지 못했음을 보여줌.

4. 주요 기여 (Key Contributions)

1. VLM 의 기하학적 취약성 규명: 최신 VLM 이 자연 이미지에서는 잘 작동하지만, 의미 정보가 희박한 추상적 도형이나 낯선 문자에서는 기하학적 불변성 (Rotation, Scale, Identity) 을 전혀 갖지 못함을 체계적으로 증명.
2. 의미적 의존성 vs 기하학적 추론 분리: 모델의 성능이 데이터의 의미적 친숙도 (Familiarity) 에 의해 좌우되며, 진정한 기하학적 추론 능력은 결여되어 있음을 보여줌.
3. 다양한 도메인 및 모델에 대한 포괄적 평가: 4 가지 시각 도메인, 3 가지 변환, 6 가지 모델 (폐쇄형/오픈소스) 을 아우르는 대규모 벤치마킹 수행.
4. 향후 연구 방향 제시: 단순한 데이터 증강이나 모델 크기 확장이 아닌, **진정한 기하학적 grounding (Grounding)**을 위한 아키텍처 혁신의 필요성 강조.

5. 의의 및 결론 (Significance)

이 연구는 현재 VLM 이 표면적인 의미 인식에는 능숙하지만, 공간적 추론에는 근본적인 한계가 있음을 드러냅니다. 로봇 공학, 자율 주행, 안전 필수 (Safety-critical) 시스템 등 공간적 상호작용이 중요한 분야에서 VLM 을 사용할 때, 단순한 의미 인식에 의존하는 것은 치명적인 오류를 초래할 수 있음을 경고합니다.

결론적으로, 현재의 VLM 은 "기하학적 추론"을 하는 것이 아니라 "의미적 단서를 통한 추측"을 하고 있으며, 향후 다중 모달 시스템은 데이터 친숙도에 의존하지 않는 Zero-shot 기하학적 추론 능력을 갖추기 위한 근본적인 구조적 개선이 필요함을 시사합니다.