기술 요약: 대규모 시각-언어 모델의 지각 항상성 탐색

문제 정의

지각 항상성(perceptual constancy)—조명, 거리, 또는 시점과 같은 감각 입력의 변화에도 불구하고 객체의 속성(색상, 크기, 모양)을 안정적으로 유지하는 능력—은 인간 시각의 근본적인 능력이다. 역동적인 환경에서의 견고한 상호작용에 필수적이지만, 현재의 시각-언어 모델(VLM)이 진정한 지각 항상성을 보유하고 있는지, 아니면 단순히 훈련 데이터 내의 통계적 상관관계에 의존하고 있는지는 여전히 불분명하다. VLM이 복잡한 추론 작업에서 인간에 근접한 성능을 향해 발전함에 따라, 이들의 세계 모델링 충실도(world-modeling fidelity)에 대한 한계를 식별하기 위해 이러한 근본적인 지각 메커니즘에 관한 인지 능력을 체계적으로 평가할 필요가 있다.

방법론

저자들은 VLM의 지각 항상성을 평가하기 위해 CoreCognition 벤치마크에서 파생된 대규모 벤치마크인 ConstancyBench를 소개한다.

• 범위 및 규모: 본 연구는 155개의 VLM을 대상으로 236개의 실험을 수행하였다. 모델은 경량 오픈 소스 아키텍처부터 프런티어 시스템(예: GPT-4o, Gemini 1.5 Pro)까지 다양하게 구성되었다.
• 평가 영역: 실험은 지각 항상성의 세 가지 주요 차원에 초점을 맞추었다:
  1. 색채 항상성(Color Constancy): 조명의 변화에도 불구하고 고유한 객체 색상을 식별하는 능력(예: 서로 다른 조명 아래 루빅스 큐브 위의 초록색 사각형 구별)을 평가한다.
  2. 크기 항상성(Size Constancy): 거리 및 망막 이미지 크기의 변화에도 불구하고 안정적인 객체 크기를 인지하는 능력을 평가한다(예: 멀리 있는 미사일이 가까이 있는 미사일과 동일한 크기인지 판단).
  3. 모양 항상성(Shape Constancy): 시점이나 각도의 변화에도 불구하고 안정적인 객체 모양을 인식하는 능력을 테스트한다(예: 원근법으로 인해 사다리꼴로 보이는 직사각형 문을 직사각형으로 식별).
• 데이터 소스: 데이터셋은 사진/비디오, 고전 인지 심리학 실험, 영화/애니메이션, 손 그림, AI 생성 이미지 등 6가지 출처에서 추출된 253개의 인지 실험(최종 평가에는 236개 사용)으로 구성된다.
• 실험 프로토콜: 모델은 제로샷(zero-shot) 설정에서 테스트되었으며, 각 프롬프트에 대해 답변과 텍스트 설명을 생성하였다.
• 분석 프레임워크:
  • 통계 분석: 도메인 간 성능 비교를 위해 일원 분산 분석(one-way ANOVA)과 사후 검정인 Tukey HSD 테스트를 사용하였다.
  • 스케일링 분석: 회귀 분석을 통해 모델 파라미터 수(로그 스케일)와 성능 정확도 사이의 관계를 조사하였다.
  • 문항 반응 이론(IRT): 모델 성능의 잠재 구조를 특징짓기 위해 2모수 로지스틱(2PL) 모델을 적용하여 개별 테스트 항목의 변별도와 난이도를 분석하였다.

주요 결과

1. 성능 이질성 및 도메인 해리(Dissociation)

VLM의 성능은 작은 모델의 정확도가 0.20 미만에서부터 프런티어 시스템의 0.90 이상에 이르기까지 상당한 가변성을 보인다. 결정적으로, 본 연구는 도메인 간의 명확한 해리를 발견하였다:

• 모양 항상성: 가장 높은 평균 정확도(M = 0.723, SD = 0.170)를 달성하였다.
• 색채 항상성: 중간 정도의 정확도(M = 0.588, SD = 0.185)를 달성하였다.
• 크기 항상성: 가장 낮은 정확도(M = 0.584, SD = 0.123)를 달성하였다.

통계 분석 결과, 모양 항상성 성능은 색채 및 크기 항상성보다 유의미하게 우수하였으며($p < 0.001$), 색채 및 크기 항상성 성능은 통계적으로 동등하였다($p = 0.976$). 저자들은 모양 항상성이 더 단순한 기하학적 지름길을 활용하는 반면, 색채 및 크기 항상성은 고차원의 광도 표현(photometric representations)과 3D 세계 모델링을 필요로 하기 때문이라고 제안한다.

2. 스케일링 법칙(Scaling Laws)

모든 도메인에서 모델 크기와 지각 안정성 사이에 강력한 양의 상관관계가 존재한다.

• 전체: 정확도는 파라미터 수와 함께 유의미하게 증가한다 ($R^2 = 0.2804$).
• 도메인별 특성: 스케일링 효과는 크기 항상성($R^2 = 0.3080$)에서 가장 강하게 나타났으며, 그 뒤를 모양 및 색채 항상성이 이었다. 이는 기하학적 및 공간적 추론이 확장된 모델 용량으로부터 가장 직접적인 이득을 얻음을 시사하며, 광도 불변성은 더 점진적으로 나타남을 의미한다.

3. 문항 반응 이론(IRT) 결과

IRT 분석은 과업 난이도와 변별도에서 구조화된 계층을 드러냈다:

• 모양 항목은 가장 낮은 난이도($\bar{b} = -1.27$)와 낮은 변별도를 보였으며, 이는 대부분의 모델이 해결 가능함을 나타낸다.
• 색채 항목은 가장 높은 변별도($\bar{a} = 2.25$)를 보이며 고성능 모델과 저성능 모델을 효과적으로 구분하였고, 중간 정도의 난이도를 나타냈다.
• 크기 항목은 가장 넓은 난이도 분포를 보여, 공간 추론 요구 사항의 높은 이질성을 반영하였다.

주요 기여

1. ConstancyBench: 색상, 크기, 모양 도메인을 다루는 236개의 통제된 실험을 통해 VLM의 지각 항상성을 조사하기 위한 최초의 체계적인 프레임워크를 구축하였다.
2. 경험적 특성화: VLM의 지각 항상성이 통합된 능력이 아니라 계층화된(stratified) 능력임을 입증하였다. 모양 항상성은 작은 모델에서도 견고하게 나타나는 반면, 색채 및 크기 항상성은 모델 규모와 멀티모달 통합 능력에 크게 의존한다.
3. 스케일링 통찰: 지각적 견고함이 모델 크기에 따라 개선된다는 정량화 가능한 스케일링 법칙을 확인하였으며, 특히 크기 항상성이 가장 가파른 성능 향상을 보임을 밝혀 복잡한 공간 추론을 위한 잠재적인 "발현 임계치(emergent threshold)"를 시사하였다.
4. 인지적 정렬: VLM에서 나타나는 항상성 발현의 계층(모양 $\rightarrow$ 색채/크기)이 기하학적 안정성이 고차원적 맥락 불변성보다 선행하는 인간 지각의 발달 궤적을 반영한다는 점을 관찰하였다.

의의 및 주장

본 논문은 지각 항상성이 파운데이션 모델의 세계 모델링 충실도를 평가하는 중요한 진단 렌즈 역할을 한다고 상정한다. 저자들은 관찰된 계층 구조가 VLM이 모양에 대해서는 "최소한의 항상성"(축적된 규칙성을 통한 표현 보존)을 달성은 할 수 있지만, 조명, 깊이, 원근법에 대한 명시적 추론을 요구하는 색채 및 크기에 대해서는 "맥락적 항상성"을 갖추는 데 어려움을 겪고 있음을 시사한다고 주장한다.

이 연구는 이러한 한계를 이해하는 것이 예측 불가능한 실제 환경에서 작동할 수 있는 신뢰할 수 있고 적응 가능한 시스템을 향한 AI 발전에 필수적이라고 주장한다. 또한, 현재의 모델이 기능적 항상성(물리적 변환에 대한 진정한 불변성)을 보이는지, 아니면 단지 상관적 항상성(데이터 커버리지의 부산물)을 보이는지에 대한 개념적 질문을 던진다. 저자들은 AI의 시각적 지각과 진정한 물리적 이해 사이의 간극을 메우기 위해서는 단순한 스케일링을 넘어 명시적인 3D 사전 지식(priors)이나 인과적 시뮬레이션 모듈과 같은 아키텍처 혁신이 필요할 수 있다고 결론지으며, 이러한 불변성에 대한 기계론적 모델링이 필요함을 강조한다.