BareBones: Benchmarking Zero-Shot Geometric Comprehension in VLMs

1. 문제 제기 (Problem Statement)

최근 비전 - 언어 모델 (VLM) 은 제로샷 (zero-shot) 학습을 통해 다양한 멀티모달 작업에서 뛰어난 성능을 보여주고 있습니다. 그러나 이러한 모델들이 기하학적 구조 (geometric structure) 를 진정으로 이해하는지, 아니면 단순히 RGB 텍스처, 색상 히스토그램, 그리고 맥락적 사전 지식 (contextual priors) 을 통계적 단서로 활용하고 있는지에 대한 의문이 여전히 열려 있습니다.

기존 벤치마크는 다음과 같은 한계를 가집니다:

• 텍스처와 의미의 혼재: 호랑이의 줄무늬 같은 텍스처만으로도 정답을 맞출 수 있어 기하학적 이해도를 분리해 내기 어렵습니다.
• 불완전한 주석: 느슨한 바운딩 박스나 다각형 주석은 환경적 단서를 유출하여 모델이 실제 형태가 아닌 배경이나 텍스처에 의존하게 만듭니다.
• 결론: 현재 모델들은 새로운 조명, 비정상적인 외관, 또는 텍스처 단서가 제거된 조건에서 취약하며, 이는 실제 세계 배포에 치명적인 약점입니다.

2. 방법론 (Methodology)

이 논문은 BareBones라는 새로운 제로샷 벤치마크를 제안하여 VLM 의 순수한 기하학적 형태 이해 능력을 평가합니다.

A. 데이터셋 구성 (Dataset Taxonomy)

6 가지 데이터 소스를 활용하여 픽셀 수준의 실루엣 (silhouette) 으로 변환된 데이터셋을 구축했습니다.

1. ImageNet-S: 명확한 윤곽선을 가진 100 개의 기본 기하학적 클래스.
2. DIS5K & ThinObject5K: 복잡한 음영 공간과 얇은 와이어 구조 등 정밀한 경계 분할이 필요한 데이터.
3. PASCAL VOC: 다양한 포즈와 환경적 가려짐 (occlusion) 을 포함.
4. CUB-200: 부리 곡선, 꼬리 길이,crest(머리 깃) 의 미세한 기하학적 차이만 있는 200 종의 조류 (Fine-grained Visual Classification).
5. WTP-Bench (주요 기여): 8 세대까지의 1,160 개 포켓몬 실루엣. 매우 세밀한 기하학적 차이 (뿔, 날개, 꼬리의 위치) 를 구별해야 하는 극한의 미세 분류 과제입니다.

B. 평가 프로토콜

• 입력 변환: 원본 이미지에서 모든 색상, 텍스처, 배경, 그림자를 제거하고 **이진화된 실루엣 (Binary Silhouette)**만 남깁니다.
• 평가 모드:
  1. HQ (High-Quality): 원본 컬러 이미지 (텍스처 상한선 확인).
  2. Silhouette (Shape Only): 실루엣만 제공 (순수 기하학적 이해도 측정).
• 모델 범위: 26 개의 최신 VLM(7 개의 상용 모델, 19 개의 오픈 가중치 모델, 1B~26B 파라미터 규모) 을 대상으로 제로샷 설정 (T=0.0) 에서 평가.

3. 주요 기여 (Key Contributions)

1. BareBones 벤치마크 제안: 텍스처와 맥락적 단서를 완전히 제거하여 VLM 의 순수 기하학적 추론 능력을 측정하는 최초의 엄격한 기준을 마련했습니다.
2. WTP-Bench 개발: 인간 팬들이 약 70% 의 정확도를 보이는 반면, 최신 오픈 모델들은 3% 미만의 정확도를 보이는 극한의 미세 기하학적 추론 과제를 제시했습니다.
3. 텍스처 편향 절벽 (Texture Bias Cliff) 발견: RGB 정보가 제거될 때 모델 성능이 급격히 붕괴하는 보편적 현상을 규명하고 이를 정량화했습니다.

4. 실험 결과 (Results)

A. 성능 붕괴 (Performance Collapse)

• Texture Bias Cliff: 모든 아키텍처와 데이터셋에서 RGB 정보가 제거되면 성능이 극적으로 하락했습니다.
  • WTP-Bench: GPT-4.1 은 HQ 에서 78.97% 였으나 실루엣 조건에서 49.48% 로 떨어졌습니다. 오픈 가중치 모델 (예: Qwen3-VL 4B) 은 13.36% 에서 3.10% 로 급감했습니다.
  • CUB-200: 200 종 중 137 종이 모든 모델에서 실루엣 조건에서 0% 정확도를 기록했습니다. 깃털 텍스처가 없으면 부리나 꼬리 기하학만으로는 종을 구별할 수 없음을 의미합니다.
  • ThinObject5K 예외: 얇은 선 구조는 본래 텍스처 정보가 적어 성능 저하가 미미 (0.9% 감소) 했으며, 이는 텍스처 편향 가설을 지지합니다.

B. 파라미터 스케일의 무력화

• 모델의 크기 (1B26B) 가 커질수록 기하학적 이해도가 개선되지 않았습니다. 오히려 모든 모델이 실루엣 조건에서 15% 대의 유사한 낮은 정확도를 보이며, 이는 아키텍처적 결함임을 시사합니다.

C. 오류 분석: 분포 편향에 의한 환각 (Hallucination)

• 시각 인코더가 실루엣을 해석하지 못하면, 언어 디코더가 사전 학습된 텍스트 코퍼스 통계에 의존합니다.
• Generation 1 편향: WTP-Bench 에서 오픈 모델들의 잘못된 추측 중 **79.2%**가 1 세대 포켓몬으로 향했습니다 (데이터셋 내 1 세대 비율은 19.6% 에 불과).
• 빈도 기반 환각: "Afghan Hound", "American Crow"와 같은 고빈도 단어가 수만 번 환각되었습니다. 이는 모델이 구조적 추론이 아닌 기억된 텍스트 빈도에 의존하고 있음을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기하학적 맹점의 규명: 현재 VLM 들은 표면 패턴 (텍스처) 에 과도하게 의존하며, 기하학적 구조에 대한 진정한 이해 (Grounding) 가 부족하다는 것을 증명했습니다.
• 향후 연구 방향: 단순한 벤치마크 점수 향상이 아닌, 진정한 기하학적 추론 능력을 갖춘 모델 개발의 필요성을 제기합니다.
• BareBones 의 역할: 향후 멀티모달 모델이 텍스처 단서를 배제하고 순수한 형태와 구조를 이해하는지 평가하기 위한 엄격한 척도 (Yardstick) 로서 기능할 것입니다.

핵심 요약: 이 논리는 VLM 이 "보이는 것 (텍스처)"에 속아 "실제 형태 (기하학)"를 보지 못한다는 것을 증명하며, 이를 해결하기 위해 텍스처를 완전히 제거한 BareBones 벤치마크를 통해 모델들의 진정한 기하학적 이해도 한계를 드러냈습니다.