기술 요약: 포비에이티드 프로브(Foveated Probes)를 통한 비전 파운데이션 모델의 국소적 결합 정보 복구

문제 정의

비전 파운데이션 모델(Vision Foundation Models, VFMs)은 주로 단일 전역 이미지 임베딩(예: 클래스 토큰, 풀링된 출력, 또는 전역 평균 풀링)을 사용하여 평가됩니다. 이는 이미지-텍스트 정렬 작업에는 편리하지만, 모델이 공간적, 관계적, 또는 결합(binding) 작업에서 실패할 때 결정적인 모호함을 야c합니다. 즉, 관련 정보가 동결된 인코더의 표현(representation) 자체에 부재하는 것인지, 아니면 전역 리드아웃(global readout) 과정에서 정보가 폐기된 것인지 구분하기 어렵게 만듭니다.

기존 문헌은 CLIP이나 SigLIP과 같은 모델에서 구성적 매칭(compositional matching), 속성-객체 결합(attribute-object binding), 그리고 국소적 공간 추론의 실패를 기록하고 있습니다. 반대로, 밀집 예측(dense prediction) 방법론들은 패치 토큰들이 유용한 국소 정보를 보유하고 있음을 시사합니다. 본 논문은 표현 실패(representation failure)(정보가 실제로 부재함)와 리드아웃 수준의 공간적 맹목성(readout-level spatial blindness)(정보가 패치 토큰에는 존재하지만 전역 벡터로 붕괴되면서 접근 불가능해짐) 사이의 구분을 제안합니다. 저자들은 전역 풀링이 국소적인 레이블 변화 증거를 희석시키는 동시에, 무관한 객체로부터 발생하는 노이즈 변동(nuisance variation)에 프로브를 노출시킨다고 주장합니다.

방법론

본 연구는 비전 인코더를 동결된 상태로 유지하고, 다운스트림 분류 작업을 위해 패치 토큰을 집계하는 메커니즘만을 변화시킴으로써 리드아웃 인터페이스를 격리하여 조사합니다. 어떤 그래디언트도 비전 또는 텍스트 타워를 업데이트하지 않습니다.

리드아웃 프로토콜

1. 전역 리드아웃 (베이스라인):
   • 전역 평균 풀링 (Global Average Pooling, GAP): 모든 패치 토큰을 균등하게 평균냅니다.
   • 요약 토큰 (Summary Token): 사전 학습된 요약 임베딩(예: CLIP의 클래스 토큰)을 사용합니다.
   • 질문 전용 (VLM 작업): 사전 지식을 측정하기 위해 텍스트 임베딩만을 사용합니다.
2. 포비에이티드 리드아웃 (Foveated Readout - 제안 방식):
   • 동결된 패치 토큰에 대한 경량화된 단일 쿼리 어텐션 풀링(single-query attention pool)을 사용합니다.
   • 쿼리 $q$(비전 전용 작업의 경우 학습되거나, VLM 작업의 경우 질문 임베딩에서 유도됨)가 토큰에 대한 어텐션 점수를 할당합니다.
   • 출력값은 토큰들의 가중 합이며, 공간적 붕괴가 일어나기 전에 증거를 선택합니다.
   • 결정적으로, 이 리드아웃은 위치 감독(location supervision, 바운딩 박스 등) 없이 학습됩니다. 즉, 오직 태스크 손실(task loss)만을 기반으로 토큰을 선택하는 법을 배웁니다.
3. 오라클 리드아웃 (Oracle Readout):
   • 주석이 달린 타겟 영역 내의 토큰들만을 엄격하게 풀링합니다.
   • 정보가 토큰 내에 존재하는지 확인하기 위한 상한선(upper bound) 진단 역할을 합니다.

진단 지표: 카운터팩추얼 노이즈-신호 비율 (Counterfactual NSR)

전역 리드아웃이 왜 실패하는지 정량화하기 위해, 저자들은 임베딩에서 직접 계산되는 NSR을 도입합니다.

• 신호 (Signal, $S$): 레이블을 정의하는 요소(예: 타겟 색상/모양)가 카운터팩추얼(counterfactuals)을 통해 편집될 때 발생하는 표현의 평균 제곱 변화량입니다.
• 노이즈 (Nuisance, $N$): 레이블은 고정된 채로 무관한 장면 콘텐츠(방해 요소)가 변경될 때 발생하는 표현의 분산입니다.
• NSR: $N / S$. 낮은 NSR은 표현이 레이블에 민감하고 노이즈에 안정적임을 나타냅니다. 높은 NSR은 표현이 무관한 변동에 의해 지배되고 있음을 나타냅니다.

평가 작업

1. 합성 색상-모양 결합 (Color-Shape Binding, CSB): 타겟 객체의 색상-모양 결합을 식별해야 하는 통제된 작업으로, 색상이나 모양 중 하나를 공유하는 적대적 방해 요소(lures)들 사이에서 수행됩니다.
2. 혼잡한 모양 탐지 (Crowded Shape Detection, CSD): 색상 힌트 없이 모양 결합을 테스트하기 위한 CSB의 색상 제거 버전입니다.
3. GQA 유래 국소적 색상 결합 (GQA):* 동일한 객체 범주에 속하는 두 개의 서로 다른 인스턴스의 색상을 묻는 쌍(paired) 질문을 포함하는 자연 이미지 작업입니다.

주요 결과

합성 작업 (CSB & CSD)

• 성능 격차: 전역 리드아웃(GAP/Summary)은 쌍 기반 카운터팩추얼 정확도에서 무작위 확률 수준 근처에서 성능을 보입니다(CSB의 경우 약 3.5%, 무작위 확률은 2.8%). 반면, 포비에이티드 리드아웃은 **93.5%**를 달성하여 오라클의 **99.3%**에 근접했습니다.
• 클러터 민감도 (Clutter Sensitivity): 방해 요소의 수가 증가함에 따라 전역 리드아웃의 정확도는 단조 감소하는 반면, 포비에이티드 리드아웃의 정확도는 천장치(ceiling) 근처를 유지합니다.
• NSR 분석: 전역 리드아웃은 높은 NSR(715)을 보이며, 이는 레이블을 변화시키는 편집보다 노이즈 편집이 임베딩을 715배 더 많이 변화시킨다는 것을 의미합니다. 포비에이티드 리드아웃은 오라클과 유사하게 낮은 NSR(~0.3)을 유지합니다.
• 적대적 루어 (Adversarial Lures): 전역 리드아웃의 성능은 루어의 구성(예: 타겟-모양 루어에서는 상승하고, 대응-모양 루어에서는 하락)에 따라 크게 요동치며, 이는 장면 수준의 통계에 의존함을 나타냅니다. 포비에이티드 리드아웃은 루어 구성에 관계없이 불변성을 유지합니다.

자연 이미지 작업 (GQA*)

• 쌍 정확도 (Paired Accuracy): 질문 독립적인 전역 벡터는 질문 전용 사전 지식(prior)에 비해 아주 미미하게 개선될 뿐입니다(약 4% vs 무작위 확률 2.3%).
• 포비에이션 효과: 질문 조건부 포비에이션은 **17.0%**의 쌍 정확도를 달 achieve하며, 이는 전역 리드아웃 성능보다 약 4배 높습니다.
• 오라클 격차: 오라클은 33.0%에 도달하는데, 이는 포비에이티드 리드아웃이 상당한 신호를 복구하긴 하지만, 동결된 표현이 아직 경량 선택기에 의해 완전히 복구되지 않은 추가적인 객체 특정 색상 정보를 여전히 포함하고 있음을 시사합니다.

기여

1. 리드아웃 수준의 공간적 맹목성 공식화: 본 논문은 이 현상을 실제 표현 실패와 구분하여 정의하고, 진단 도구로서 카운터팩추얼 NSR을 도입했습니다.
2. 포비에이티드 프로빙 프로토콜: 비전 인코더를 미세 조정하거나 위치 감독을 사용하지 않고도 국소적 결합 정보를 복구하는 최소한의 학습 가능한 어텐션 풀링 리드아웃을 소개했습니다.
3. 실증적 증거: 전역 붕괴(global collapse)가 가용 정보를 부재한 것처럼 보이게 만들 수 있음을 입증했습니다. 본 연구는 경량 선택기가 오라클이 접근 가능한 신호 대부분을 복구할 수 있음을 보여줌으로써, 동결된 모델의 "공간적 맹목성"이 패치 토큰의 공간 정보 부족보다는 전역 임베딩 인터페이스의 산물인 경우가 많음을 시사합니다.

의의 및 주장

본 논문은 "동결된 비전 모델은 공간적으로 맹목적인가?"라는 질문은 불충분하게 정의되었다고 결론짓습니다. 그 답은 패치 토큰에 접근하는 인터페이스에 전적으로 달려 있습니다.

• 실패의 재평가: 공간 및 구성적 작업에서의 실패를 즉각적으로 파운데이션 모델의 표현 부족으로 돌려서는 안 됩니다. 대신, 전역 풀링에 의해 정보가 억제되었을 가능성이 있습니다.
• 평가 원칙: 국소적 실패를 학습된 표현의 문제로 돌리기 전에, 공간적 토큰을 보존하거나 선택적으로 접근하는 리드아웃을 사용했을 때도 그 결론이 유지되는지 먼저 테스트해야 합니다.
• 한계점: 저자들은 포비에이티드 프로브가 진단적 개입이지, 더 풍부한 교차 모달 상호작용을 가진 아키텍처를 대체하는 것이 아님을 명시했습니다. 또한 본 연구는 국소적 속성 결합에 집중하고 있으며, 이를 다른 관계적 작업 및 아키텍처로 확장하는 것은 향후 과제로 남겨두었습니다.

결과적으로, 전역 임베딩은 유용한 요약 정보를 제공하지만, 그것을 동결된 비전 모델이 알고 있는 내용에 대한 완전한 설명으로 오해해서는 안 됩니다.