Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding

1. 문제 정의 (Problem Definition)

이 논문은 Zero-shot Referring Image Segmentation (RIS) 과 다국어 (Multilingual) 공간 이해 분야에서 기존 Vision-Language Encoders (VLEs) 가 가진 두 가지 근본적인 한계를 지적합니다.

• 위치 무감각성 (Blind to Position): 기존 VLE 들은 주로 최종 레이어 (Final Layer) 의 전역 임베딩을 사용하여 이미지와 텍스트의 유사도를 계산합니다. 그러나 연구 결과, 이러한 최종 임베딩은 고수준의 의미적 정렬 (Semantic Alignment) 에 최적화되어 있어, 세부적인 공간적 위치 정보 (Positional Cues) 를 잃어버리는 경향이 있음을 발견했습니다. 이로 인해 "왼쪽", "가장 가까운"과 같은 공간적 표현에 대한 반응이 약해지거나 배경을 잘못 선택하는 오류가 발생합니다.
• 언어 편향성 (Biased in Language): 동일한 의미의 문장이라도 언어 (영어, 중국어, 독일어 등) 가 다르면, VLE 의 최종 임베딩 공간에서 기하학적 이동 (Geometric Shift) 이 발생합니다. 즉, 의미는 같지만 벡터 공간상의 위치가 달라져서, 비영어권 언어로 된 쿼리에 대해서는 시각적 특징과의 정렬이 깨지는 문제가 발생합니다.

이러한 편향들은 VLE 의 최종 출력 인터페이스에서 발생하며, 중간 레이어 (Mid-layer) 에서는 여전히 공간적 구조와 언어적 안정성이 보존되어 있음을 규명했습니다.

2. 제안 방법론: B2G (Biased to Grounded)

저자들은 사전 훈련된 VLE 를 재학습 (Fine-tuning) 하거나 추가 파라미터를 학습시키지 않고, 중간 레이어의 표현을 활용하여 위 두 가지 문제를 해결하는 B2G (Biased to Grounded) 프레임워크를 제안합니다. 이 프레임워크는 Probe(탐지) → Select(선택) → Ground(지정) 의 3 단계로 구성됩니다.

A. 공간적 편향 탐지 및 해결 (Spatial Bias Probing)

• P-Map (Patch-level Similarity Map) 생성: VLE 의 중간 레이어에서 추출한 패치 (Patch) 단위의 이미지 임베딩과 텍스트 임베딩 간의 유사도를 계산하여 공간 지도를 생성합니다.
• 반전 (Negation) 연산: 중간 레이어에서는 전경 (Foreground) 패치가 쿼리 방향과 반대로 상관관계 (Anti-correlated) 를 가지는 경향이 있어, 직접적인 코사인 유사도 계산 시 전경이 억제되는 "Opposite Visualization" 현상이 발생합니다. 저자들은 패치 임베딩에 부호 반전 (Sign Inversion) 을 적용하여 이를 보정하고, 명확한 공간 지도를 얻습니다.
• 레이어 선택: 공간적 민감도가 가장 높은 중간 레이어를 탐지하기 위해 '타일 퍼뮬레이션 (Tile Permutation)' 프로브를 사용합니다. 위치가 섞인 이미지를 입력했을 때 임베딩이 크게 변하는 레이어를 선택하여 공간 정보를 보존하는 레이어를 찾습니다.
• 마스크 재순위화 (Reranking): 생성된 P-Map 을 기반으로 제안된 마스크 후보들 (Candidate Masks) 과의 겹침 (Overlap) 을 계산하여, 기존 텍스트 - 이미지 유사도 점수에 가중치를 더한 새로운 점수로 마스크를 재순위화합니다.

B. 다국어 편향 탐지 및 해결 (Multilingual Bias Probing)

• 다국어 중점 (Multilingual Centroid) 생성: 동일한 이미지를 설명하는 여러 언어의 병렬 텍스트 (Parallel Translations) 를 입력하여, 각 언어별 중간 레이어 임베딩을 추출합니다.
• 언어 안정성 레이어 선택: 여러 언어 간 임베딩의 일관성 (Cosine Similarity) 이 가장 높은 중간 레이어를 선택합니다.
• 중심점 주입 (Centroid Injection): 선택된 레이어에서 모든 언어의 임베딩 평균 (Centroid) 을 계산하여, 기준 언어 (Anchor Language) 의 임베딩에 주입합니다. 이를 통해 언어에 의존적인 기하학적 왜곡을 보정하고, 언어에 무관한 (Language-agnostic) 안정적인 표현을 생성합니다.

3. 주요 기여 및 혁신점 (Key Contributions)

1. 새로운 통찰: VLE 의 최종 레이어가 공간 정보와 언어적 안정성을 잃어버리는 "Alignment Bottleneck"임을 규명하고, 이 정보가 중간 레이어에 여전히 존재함을 증명했습니다.
2. 학습 없는 (Training-free) 프레임워크: VLE 의 가중치를 변경하거나 추가 데이터를 학습시키지 않고, 추론 시 (Test-time) 중간 레이어의 표현을 활용하여 성능을 극대화합니다.
3. P-Map 과 다국어 중점 융합: 공간적 민감도를 가진 시각적 중간 레이어와 언어적 안정성을 가진 텍스트 중간 레이어를 각각 탐지하여 융합하는 통합 아키텍처를 제안했습니다.
4. 광범위한 검증: 영어 및 10 개 이상의 언어에 대한 Zero-shot RIS 와 텍스트 - 이미지 검색 (Text-to-Image Retrieval) 태스크에서 SOTA 성능을 달성했습니다.

4. 실험 결과 (Results)

• Zero-shot RIS 성능 향상:
  • RefCOCO, RefCOCO+, RefCOCOg 벤치마크에서 기존 최상위 Zero-shot 방법론 (Global-Local, HybridGL 등) 대비 mIoU 1~7 포인트 이상 향상되었습니다.
  • 특히 DFN (Data Filtering Networks) 백본을 사용할 경우 6.96 mIoU의 큰 향상을 기록했습니다.
• 다국어 공간 이해 (Multilingual RIS):
  • 9 개의 번역된 벤치마크에서 평균 IoU@50 이 45.13 에서 53.41 로, mIoU 가 42.42 에서 49.62 로 크게 개선되었습니다.
  • 기존 SigLIP2 기반 모델이 비영어권 언어 (독일어, 중국어 등) 에서 심각한 성능 저하를 보였던 것을 해결하여, 언어 간 격차를 획기적으로 줄였습니다.
• Zero-shot Text-to-Image Retrieval:
  • 다국어 텍스트 - 이미지 검색 태스크에서도 Recall@1 이 크게 향상되었으며, 특히 성능이 낮았던 언어들의 성능을 English baseline 수준으로 끌어올리는 동시에 English 성능까지 추가로 향상시켰습니다.
• 효율성:
  • 추가적인 모델 학습이나 Gradient 역전파 없이, 단일 Forward Pass 와 간단한 중간 레이어 추출만으로 구현되어 계산 비용이 상대적으로 낮습니다.

5. 의의 및 결론 (Significance)

이 논문은 Vision-Language 모델이 단순히 "의미"만 학습하는 것이 아니라, 레이어별 (Layer-wise) 로 다른 구조적 편향을 가진다는 점을 규명했습니다.

• 기존 패러다임의 전환: Zero-shot 태스크에서 최종 레이어 임베딩에 의존하던 관행에서 벗어나, 중간 레이어의 구조적 정보 (Structural Information) 를 적극적으로 활용해야 함을 증명했습니다.
• 공평한 다국어 AI: 학습 데이터의 불균형으로 인해 발생하는 언어적 편향을, 추가 학습 없이 추론 단계에서 보정할 수 있는 방법을 제시하여, 저자원 언어 (Low-resource languages) 에 대한 AI 의 접근성을 높였습니다.
• 응용 가능성: 로봇 공학 (Embodied AI), 의료 영상 분석 (Medical Imaging) 등 정밀한 공간 이해와 다국어 명령어 처리가 필요한 분야에서 Zero-shot 모델의 실용성을 크게 높일 수 있는 기반을 마련했습니다.

결론적으로, B2G 는 사전 훈련된 VLE 의 잠재된 능력을 최대한 끌어올리는 구조적 탐지 (Structural Probing) 기법의 중요성을 부각시키는 중요한 연구입니다.