기술 요약: 시각-언어 모델(VLM)의 표현 실패에 관한 기하학적 구조

1. 문제 정의

시각-언어 모델(VLM)은 다중 객체 시각 작업에서 객체 수 세기 오류, 속성-객체 결합 혼동(예: 잘못된 색상을 형상에 부여), 그리고 "착각적 결합(illusory conjunctions)" 생성과 같은 체계적인 실패를 보입니다. 이러한 오류는 인간의 인지적 한계인 "결합 문제(Binding Problem)"와 유사하지만, 인공 시스템 내에서 이를 유발하는 내부 메커니즘은 여전히 명확히 밝혀지지 않았습니다.

본 논문은 이러한 실패가 단순한 행동적 결과물이 아니라 **기하학적 표현 간섭(geometric representational interference)**에서 기인한다고 주장합니다. VLM이 공유하는 고차원 잠재 공간(latent space)에서, 서로 다른 개념(예: "빨간색"과 "정사각형")을 인코딩하는 벡터들은 여러 객체가 동시에 처리될 때 서로 중첩되거나 충돌할 수 있습니다. 직렬적 주의 집중(serial attention)을 통해 이를 완화하는 생물학적 시각과 달리, 현재의 VLM은 모든 개념을 단일 피드포워드 패스(feedforward pass) 내에서 해결해야 하므로, 표현이 충분히 직교(orthogonal)하지 않을 경우 불가피한 특징 혼합(feature blending)이 발생합니다.

2. 방법론

저자들은 오픈 웨이트 VLM(특히 Qwen2.5-VL, InternVL2.5, Gemma 3)의 표현 기하학을 추출, 검증 및 분석하기 위한 프레임워크를 제안합니다.

A. 개념 벡터 추출 (Concept Vector Extraction)

연구는 시각적 특징(색상, 모양 및 그 결합)을 인코딩하는 "개념 벡터($v_c$)"를 추출하기 위한 두 가지 주요 방법을 비교합니다:

1. 프로브 기반 방법 (Probe-Based Method): 특정 개념의 존재 여부를 구별하도록 선형 분류기(attention probe)를 학습시킵니다. 여기서 학습된 어텐션 벡터가 후보 개념 벡터가 됩니다.
2. 센트로이드 기반 방법 (Centroid-Based Method): 특정 개념을 포함하는 이미지의 토큰 임베딩 중심점(centroid)을 계산한 후, 이 중심점을 전역 활성화 평균(global activation mean)에 직교하는 부분 공간으로 투영하여 개념 특이적 신호를 분리합니다.
3. 구조적 정규화 (PCA-Probe): 프로브가 "판별적 지름길(discriminative shortcuts)"을 학습할 가능성을 해결하기 위해, 저자들은 프로브 벡터에 주성분 분석(PCA)을 적용합니다. 이는 벡터가 가정된 개념의 요인 구조(예: 색상 축과 모양 축의 분리)와 정렬되도록 강제하여 기하학적 정규화 역할을 수행하게 합니다.

B. 활성화 스티어링을 통한 인과적 검증 (Causal Validation via Activation Steering)

추출된 벡터가 단순한 상관관계가 아니라 인과적으로 활성화되어 있는지 확인하기 위해, 저자들은 활성화 스티어링(activation steering) 기법을 사용합니다.

• 메커니즘: 개념 $A$를 포함하는 이미지에 대해, 개념 $A$에 정렬된 활성화 벡터의 성분을 빼고, 개념 $B$에 정렬된 성분을 주입합니다.
• 개입(Intervention): $h'_t = h_t - (h_t^\top \hat{v}_A)\hat{v}_A + (h_t^\top \hat{v}_A)\hat{v}_B$.
• 지표: 성공 여부는 모델의 출력이 관련 없는 시각 정보의 훼손 없이, $A$를 설명하는 상태에서 $B$를 설명하는 상태로(예: 빨간 꽃을 파란 꽃으로 인식) 변화하는지에 따라 측정됩니다.

C. 기하학적 분석 (Geometric Analysis)

저자들은 개념 벡터 간의 코사인 유사도를 분석하여 표현 매니폴드(representational manifold)를 매핑합니다. 이들은 다음 사항을 조사합니다:

• 구성적 구조 (Compositional Structure): 색상-모양 결합이 독립적인 색상 및 모양 축으로 분해되는지 여부.
• 의미적 구조 (Semantic Structure): 연속적인 색상 공간(100가지 색조)의 기하학을 분석하여 "아코디언 효과(accordion effects, 범주 내 압축 및 범주 간 분리)"를 식별.
• 오류와의 상관관계: 타겟 벡터와 방해 벡터 사이의 기하학적 중첩(코사인 유사도)을 시각 탐색 및 유사성 추정 작업의 모델 정확도와 연결.

3. 주요 결과

A. 추출 방법의 효능

• 센트로이드의 우수성: 센트로이드 기반 추출은 인과적 스티어링 작업에서 일반적인 프로빙(naive probing)보다 일관되게 우수한 성능을 보였습니다. 자연 이미지 색상 스티어링에서 센트로이드는 모델 전반에 걸쳐 84.7%~95.7%의 정확도를 달しまった 반면, 일반적인 프로브는 종종 실패했습니다(Qwen/Gemma에서 <4%).
• 정규화의 역할: PCA 정규화는 일부 모델(예: InternVL이 92.0% 도달)에서 프로브 성능을 크게 향상시켰으나, 아키텍처 전반에 걸쳐 일관되지는 않았습니다.
• 구성적 결합 (Compositional Binding): 색상-모양 결합의 경우, 센트로이드 벡터가 가장 높은 스티어링 성공률(Qwen 78.1%, Gemma 75.3%)을 기록했으며, 이는 내부 결합 메커니즘이 가산적(additive)이며 활성화의 산술 평균과 일치함을 시사합니다.

B. 표현 기하학

• 구성적 매니폴드 (Compositional Manifolds): 색상-모양 쌍에 대한 개념 벡터는 공유된 특징에 따라 유사도가 결정되는 구조화된 매니폴드를 형성합니다. 객체가 동일한 색상이나 모양을 공유할 때 밀집되는 현상은 색상과 모양이 독립적인 축을 따라 인코딩됨을 확인시켜 줍니다.
• 의미적 왜곡 (Semantic Warping): 연속적인 색상 공간은 물리적인 지도가 아니라 LLM의 이산적 토큰 공간에 의해 왜곡된 의미적 지도입니다. 이는 언어적 범주(예: "초록색") 내의 색조는 압축되고, 범주 간의 경계는 확장되는 "범주적 지각(categorical perception)"을 보여줍니다.
• "멕시칸 모자(Mexican Hat)" 프로파일: 의미적 유사성 프로파일은 국소적 거리에서는 단조 감소를 보이지만, 먼 색조에 대해서는 유사성이 다시 상승하는 현상(원거리 간섭)을 보입니다. 이는 표현 해상도의 유한성과 비국소적 간섭의 가능성을 나타냅니다.
• 보편성 (Universality): 표현 유사성 분석(RSA) 결과, Qwen, InternVL, Gemma 간의 기하학적 구조가 거의 동일함($r > 0.93$)이 드러났습니다. 이는 이러한 제약이 특정 아키텍처의 산물이 아니라 VLM 패러다임의 근본적인 특성임을 시사합니다.

C. 행동적 실패와의 상관관계

• 시각 탐색 (Visual Search): 타겟과 방해 개념 벡터 사이의 코사인 유사도가 증가함에 따라 모델의 시각 탐색 정확도는 단조 감소합니다. 높은 기하학적 중첩은 높은 오류율(타겟이 존재할 때 발생하는 거짓 음성 또는 부재 시 발생하는 거짓 양성/착각적 결합)을 예측합니다.
• 유사성 판단 (Similarity Judgments): 색상 유사성 작업에서의 모델 확신도(logit separation)는 HSV 지각 거리보다 개념 벡터의 코사인 유사도에 의해 더 잘 예측됩니다. 이는 모델의 불확실성이 지각적 거리가 아닌 표현 기하학에 의해 지배됨을 나타냅니다.

4. 의의 및 주장

본 논문은 VLM의 실패를 풍부한 시각 정보를 재사용 가능하고 일반화 가능한 표현으로 압축하는 과정에서 발생하는 수학적 비용으로 규정하며, 이에 대한 **기계론적 통찰(mechanistic insight)**을 제공한다고 주장합니다.

• "일반화의 저주" (The "Curse of Generalization"): 저자들은 유연한 일반화(예: "빨간색"을 연속적인 색조 스펙트럼과 연관시키는 것)를 가능하게 하는 바로 그 기하학적 구조가 역설적으로 개념 간 간섭에 대한 취약성을 초래한다고 주장합니다. 이러한 트레이드오프는 직렬적 주의 집중 메커니즘이 부족한 VLM과 같은 병렬 처리 시스템에서 특히 두드러집니다.
• 예측력 (Predictive Power): 개념 벡터의 기하학은 단순히 기술적인 것에 그치지 않고 예측적입니다. 개념 벡터 간의 코사인 유사도는 다운스트림 다중 객체 작업에서의 모델 확신도($r > 0.77$) 및 정확도($|r| > 0.83$)와 강한 상관관계를 갖습니다.
• 인과적 타당성 (Causal Validity): 본 연구는 합성 데이터로부터 도출된 개념 벡터가 인과적으로 활성화되어 있으며, 자연 이미지에서 모델의 지각을 안정적으로 조작할 수 있음을 입증합니다.
• 인지적 평행 구조 (Cognitive Parallel): 연구 결과는 VLM의 실패를 인간의 "착각적 결합"과 연결하며, 두 시스템 모두 직렬적 주의 집중 없이 연속적인 스펙트럼을 이산적인 범주로 매핑할 때 유사한 제약에 직면함을 시사합니다.

저자들은 개념 벡터의 기하학적 서명을 이해하는 것이 모델의 실패를 예측할 수 있는 근거 있는 정량적 프레임워크를 제공하며, 이를 통해 안전이 중요한 응용 분야에서 더욱 견고한 시스템 개발과 모델 확신의 정밀한 교정을 도울 수 있다고 결론짓습니다.