Textual Supervision Enhances Geospatial Representations in Vision-Language Models

기술 요약: 텍스트 감독이 시각-언어 모델의 지리공간 표현을 향상시킨다

문제 제기
지리공간적 이해는 머신러닝 시스템, 특히 이미지 위치 추정(geolocation)이나 공간 추론과 같은 작업에서 매우 중요하지만 아직 충분히 탐구되지 않은 영역이다. 비전 모델은 비전 트랜스포머(ViT) 및 자기 지도 학습과 같은 구조를 통해 크게 발전해 왔으나, 명시적인 지리공space 감독 없이 이러한 모델들이 전역적 위치 지식을 어느 정도까지 암묵적으로 인코딩하는지는 여전히 불분명하다. 또한, 새롭게 등장하는 시각-언어 모델(VLM)의 불투명성은 공간 정보가 인코딩되는 메커니즘을 가려, 지리적 불균형 및 의도하지 않은 일반화 편향에 대한 우려를 불러일으킨다. 본 연구는 비전 전용 아키텍처와 멀티모달 파운데이션 모델이 표준 학습 파이프라인 과정에서 지리공간 표현을 내재화하는지, 그리고 텍스트 감독이 이러한 능력에 어떤 영향을 미치는지 조사한다.

방법론
저자들은 세 가지 모델 제품군에 걸쳐 지리공간 표현을 체계적으로 분석하였다:

1. 비전 전용 아키텍처: ViT, ViT Masked Autoencoders (MAE), DINOv2, Web-SSL 포함.
2. 시각-언어 모델 (VLMs): CLIP, MetaCLIP, LLaVA-1.5, Qwen2.5, Gemma 3 포함.
3. 대규모 멀티모달 파운데이션 모델: 위의 두 범주가 교차하는 지점.

연구에는 두 가지 주요 데이터셋이 사용되었다: 40개의 의미론적 클러스터로 분할된(비지도 클러스터링 활용) YFCC100M의 4백만 이미지 서브셋과 Google Landmarks의 58만 개 이미지 서브셋이다. 유럽과 북미에 대한 공간적 편향을 완화하기 위해, 저자들은 데이터셋의 균형을 맞추기 위한 geocell 기반 샘플링 전략을 채택하였다.

핵심 분석 기법은 각 레이어의 은닉 상태(hidden states)에 적용된 선형 프로빙(ridge regression)이다. 저자들은 각 레이어에서 요약 토큰 표현(예: [CLS] 또는 최종 토큰 잔차)을 추출한 후, 위도와 경도를 예측하도록 회귀 모델을 학습시켰다. 성능은 결정 계수($R^2$)를 사용하여 측정되었다.

주요 실험 변형 사항은 다음과 같다:

• 레이어별 분석: 네트워크 깊이에 따라 지리공간 신호가 어디에서 나타나거나 약화되는지 조사.
• 텍스트 프롬프팅: 프롬프트(예: "위도와 경도를 추측해 보세요...")를 제공하는 것이 VLM의 지리공간 정보 전파를 변화시키는지 테스트.
• 차원 축소: 최대 지리공간 예측력을 회복하는 데 필요한 잠재 차원의 비율 식별.
• 표현 스와핑(Representation swapping): 소스 이미지와 타겟 이미지 사이의 지리공간 관련 차원을 교체하여 잔차 스트림(residual stream)에 개입함으로써 생성된 텍스트의 변화를 관찰.
• 다운스트림 태스크 평가: 국가 식별 작업에 모델을 미세 조정하여 프로브 성능과 실제 유용성 간의 상관관계를 도출.

주요 기여 및 결과

1. 텍스트 감독은 지리공간 구조를 강화한다: 텍스트와 이미지를 공동으로 학습한 모델은 비전 전용 모델보다 실질적으로 더 강력한 지리공간 표현을 보인다는 점을 이 연구는 밝혀냈다. 비전 전용 모델도 지리공간 특징을 학습하는 능력을 보여주지만(예: DINOv2-giant와 같이 모델 크기에 따라 확장됨), 소규모 VLM(예: CLIP-base)보다 일관되게 낮은 성능을 보였다. VLM의 평균 $R^2$는 종종 0.4를 상회하는 반면, 비전 전용 모델은 일반적으로 0.3 미만에 머물렀다.

2. 레이어별 역학:

   • 비전 전용 모델: 지리공간 표현이 가장 깊은 레이어에서 가장 강한 신호를 보이는 방식으로 점진적으로 발달한다.
   • 프롬프트가 없는 VLM: 지리공간 신호가 언어 모델 블록의 후기 레이어에서 정체되거나 약화되는 경우가 많으며, 이는 모델이 명시적으로 프롬프트를 받지 않을 때 공간 정보를 우선순위에서 제외함을 시사한다.
   • 프롬프트가 있는 VLM: 지리공간 프롬프트를 제공하면 후기 레이어에서 $R^2$가 안정화되거나 오히려 증가한다. 예를 들어, Qwen2.5에 프롬프트를 제공했을 때 랜드마크 이미지에 대해 최대 0.88에 달하는 $R^2$ 값을 기록했는데, 이는 텍스트 단서가 공간 표현을 재활성화하고 정교화한다는 것을 나타낸다.

3. 조밀한 지리공간 인코딩: 지리공간 정보는 균등하게 분포되어 있지 않고 압축된 차원 집합에 집중되어 있다. 저자들은 (프로브 계수에 의해 순위가 매겨진) 약 40%의 차원이 최대 $R^2$를 거의 모두 회복하는 데 충분하다는 것을 발견했다. 일부 모델의 경우, 상위 10%의 특징만을 사용하여 90%의 예측 성능을 유지했다.

4. 표현 스와핑을 통한 제어 가능성: 소스 이미지(예: 조세르의 계단식 피라미드)와 타겟 이미지(예: 트레비 분수) 사이의 상위 지리공간 차원을 교체함으로써, 저자들은 VLM의 생성된 텍스트가 타겟 위치(예: "Saqqara"에서 "Rome"으로 변경)를 반영하도록 성공적으로 유도하였으며, 이는 이러한 표현들이 모델의 출력과 인과적으로 연결되어 있음을 입증한다.

5. 다운스트림 유용성: 높은 프로브 $R^2$ 점수를 보인 모델들(특히 CLIP 및 DINOv2)은 미세 조정된 국가 식별 작업에서 우수한 성능을 보였으며, 이는 암묵적인 지리공간 표현이 다운스트림 응용 분야에 유익하다는 것을 검증한다.

의의 및 주장
본 논문은 멀티모달 학습이 지리공가 AI를 발전시키는 핵심 방향이라고 주장한다. 저자들은 언어가 공간적 맥락을 인코딩하는 데 효과적인 보완 모달리티 역할을 하며, 비전 전용 스케일링에 비해 지리공간 표현을 학습하는 효율성을 크게 높인다고 주장한다. 이러한 발견은 텍스트 감독이 모델이 더 견고하고 공유된 세계 표현에 수렴하도록 돕는다는 "플라토닉 표현 가설(Platonic Representation Hypothesis)"과 궤를 같이한다.

이 연구는 이러한 능력이 환경 모니터링이나 도시 계획과 같은 응용 분야에 잠재력을 제공하는 동시에, 심각한 개인정보 보호 및 공정성 위험을 초래할 수 있음을 강조한다. 모델들은 공간적 불균형을 보이며, 저개발 지역(예: 남미, 아프리카)에서 성능이 저하된다. 또한 이미지로부터 정밀한 위치 데이터를 추출하는 능력은 감시나 스토킹에 악용될 수 있다. 저자들은 이러한 모델의 배포에는 안전하고 공정한 사용을 보장하기 위한 강력한 규제 정책, 투명성, 그리고 명시적인 사용자 동의가 필요하다고 결론짓는다.