기술 요약: CLIP 기반 언어 조건부 시각적 그라운딩

문제 제기

다국어 비전 - 언어 모델 (VLM) 은 언어 간 체계적인 성능 격차를 보이며, 특히 저자원 언어와 비로마자 문자를 불리하게 작용합니다. 그러나 이러한 "다국어 페널티"를 유발하는 메커니즘은 여전히 불분명합니다. 성능 저하가 비영어 토큰에 대한 시각 인코더의 반응에서 비롯된 것인지, 텍스트 분기의 견고한 교차 언어 표현 형성 실패에서 비롯된 것인지, 아니면 이들 구성 요소 간의 상호작용에서 비롯된 것인지 명확하지 않습니다. 또한 기존 평가 방법은 영어 중심의 참조나 어휘에 대한 출력을 점수화하는 경향이 있어 실제 지각적 차이와 측정 편향을 혼동하는 경우가 많습니다. 본 논문은 영어에 기반한 지표에 의존하지 않고 페널티의 원인을 격리하고 그 실패 모드 (예: 신호 붕괴 대 공간적 불일치) 를 특성화할 필요성에 대응합니다.

방법론

저자들은 다국어 페널티를 텍스트 분기에 국한시키기 위해 통제된 "밀집형 다국어 CLIP 프로브"를 제안합니다.

• 실험 설계: 시각 인코더를 13 개의 유형학적으로 다양한 언어에 걸쳐 동일하게 유지하면서 XLM-RoBERTa 텍스트 분기만 변경합니다. 이를 통해 관찰된 모든 언어 간 편차가 시각 단계 이후에서 비롯되었음을 보장합니다.
• 모델 및 규모: 시각 인코더 파라미터 간 7 배 차이를 보이는 두 가지 CLIP 아키텍처를 평가했습니다.
  • Base: XLM-R base + ViT-B/32 (~87M 시각 파라미터).
  • Large: XLM-R large + ViT-H/14 (~632M 시각 파라미터).
• 데이터셋: BDD100K 코퍼스에서 추출한 210 장의 이미지를 13 개 언어 (아랍어, 바스크어, 룩셈부르크어, 중국어 및 다양한 유럽 언어 포함) 에 걸쳐 11 가지 개념 (예: 자동차, 보행자, 신호등) 으로 평가했습니다. 이는 비영어 언어당 2,310 개의 쌍을 이룬 관측치를 산출합니다.
• 밀집형 특징 추출: MaskCLIP 접근법을 따르며, 단일 이미지 임베딩에 의존하는 대신 고정된 시각 인코더에서 패치별 밀집 특징을 추출하여 공간적 유사도 맵을 생성합니다.
• 지표: 영어 편향을 피하기 위해 대상 언어 맵과 영어 참조 맵 간에 대칭적으로 일치를 측정합니다.
  1. 클러스터 - 마스크 IoU: 고유사도 영역의 공간적 중첩을 측정합니다.
  2. 상위 백분위 IoU: 고 임계값에서의 규모 불변 중첩을 측정합니다.
  3. 스피어만 순위 상관관계: 상대적 순서에 대한 픽셀 단위 일치를 측정합니다.
  4. 피크 유사도 비율: 신호 붕괴 (약한 활성화) 와 공간적 불일치 (잘못된 영역에서의 강한 활성화) 를 구분하기 위해 최대 활성화 강도를 비교합니다.
• 에너지 측정: 추론 에너지는 AI Energy Score 프로토콜 (NVIDIA H200 에서 NVML 기반 샘플링) 을 사용하여 측정하며, 1,000 건의 쿼리당 와트시 (Wh) 를 보고합니다.

주요 결과

1. 페널티는 지속되며 텍스트 분기에 국한됨

시각 인코더를 일정하게 유지할 때, 고자원 (HR) 언어와 저자원 (LR) 언어 간에 여전히 유의미한 성능 격차가 존재합니다.

• 정량적 격차: HR-LR 클러스터 - 마스크 IoU 격차는 Base 규모에서 +0.114이며, Large 규모에서는 +0.143으로 확대됩니다.
• 통계적 유의성: 윌콕슨 검정 (Wilcoxon tests) 은 두 규모 모두에서 $p < 10^{-300}$으로 이 격차를 확인합니다.
• 함의: 시각 인코더가 동일하므로, 결손은 텍스트 분기에 엄격히 귀속되며 시각 인코더 상호작용을 주요 원인으로 배제합니다.

2. 확장 효과는 이질적입니다

시각 인코더 규모를 7 배 늘리는 것이 격차를 균일하게 해소하지는 않으며, 코퍼스 커버리지 대 토크나이저 비옥도에 따라 실패 모드를 분리합니다.

• 코퍼스 커버리지 실패 (바스크어, 룩셈부르크어): 사전 학습 코퍼스에서 과소 대표된 이러한 언어들은 확장 시 악화됩니다 ($\Delta = -0.056$ 및 $-0.076$). 더 큰 모델은 신호를 보정하는 대신 신호 부재를 증폭시킵니다.
• 토크나이저 비옥도 실패 (아랍어, 중국어): 코퍼스 내 비중은 크지만 토큰화 비효율로 고통받는 이러한 언어들은 확장 시 개선됩니다 ($\Delta = +0.033$ 및 $+0.039$).
• 결론: 확장만으로는 사전 학습 분포에 부재하는 언어를 구제할 수 없습니다. 신호는 존재하지만 토큰화나 용량 한계로 방해받는 언어에만 혜택을 줍니다.

3. 실패 모드: 신호 붕괴가 아닌 공간적 불일치

본 연구는 지배적인 실패 모드가 신호 강도 손실이 아닌 공간적 불일치임을 규명합니다.

• 피크 유사도: 영어 대비 평균 피크 유사도 비율은 여전히 높게 유지됩니다 (Large 규모에서 0.94), 즉 모델이 강하게 활성화됨을 나타냅니다.
• IoU 감소: 높은 피크 활성화에도 불구하고 클러스터 - 마스크 IoU 는 급격히 하락합니다.
• 함의: 모델이 활성화하지 못하는 것이 아니라 이미지의 잘못된 영역에서 활성화합니다. 따라서 피크 유사도만 의존하는 신뢰도 기반 필터링은 언어로 인한 그라운딩 오류를 감지하기에 불충분합니다.

4. 에너지 효율성

밀집형 CLIP 그라운딩 접근법은 매우 에너지 효율적이며, 1,000 건의 쿼리당 3.4~3.9 Wh를 소비합니다. 이는 동일한 측정 프로토콜 하에서 보고된 자동회귀식 다국어 VLM 의 추론 예산보다 약 20~50 배 낮아, 에너지 인식 배포를 위한 실현 가능한 기반이 됩니다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다.

1. 메커니즘 격리: 시각 인코더를 일정하게 유지함으로써, 밀집형 그라운딩에서 다국어 페널티를 시각 인코더 한계와 구별하여 텍스트 분기에 명확히 국한시킵니다.
2. 실패 모드 특성화: 다국어 그라운딩 오류가 주로 공간적 불일치 (높은 신호, 잘못된 위치) 이지 신호 붕괴가 아님을 보여줍니다. 이는 다국어 시스템에서 표준 신뢰도 임계값의 효능에 의문을 제기합니다.
3. 방법론적 엄밀성: 밀집형 유사도 맵에 대한 대칭적이고 언어 중립적인 점수화는 이전 VLM 평가에 내재된 영어 기반 측정 편향을 제거하여, 언어 간 일치를 위한 더 깨끗한 지표를 제공합니다.

저자들은 확장이 토큰화 제한 언어에는 도움이 되지만 코퍼스 부족 언어에는 문제를 악화시킨다고 결론지었습니다. 향후 견고한 다국어 시스템은 과소 대표된 언어를 위한 표적 데이터 큐레이션과 공간적 그라운딩 신뢰성을 보장하기 위해 피크 유사도 검사 대신 교차 언어 일치 검사를 구현해야 한다고 제안합니다.