기술 요약: 동류가 동류와 모인다

문제 제기

CLIP 및 SigLIP 2 와 같은 비전 - 언어 모델 (VLM) 은 이미지 분류 및 특징 추출기로 널리 채택되고 있습니다. 그러나 이러한 모델의 비전 인코더는 체계적인 편향, 특히 **배경의 우연한 상관관계 (background spurious correlations)**에 취약한 채 남아 있습니다. 이러한 시나리오에서 모델은 강건한 객체 특징을 학습하는 대신 전경 객체와 배경 간의 우연한 연결 (예: "물새"를 "물" 배경과 연관시키는 것) 에 의존합니다. 이로 인해 일반화 능력이 저하되며, 특히 훈련 데이터에서 소수 그룹의 예시 (예: 육지에 있는 물새) 가 결여된 경우 (100% 우연한 상관관계) 최악의 그룹에서 치명적인 실패가 발생합니다. 기존 완화 전략은 종종 편향을 제거한 실제 데이터에 대한 접근이나 각 특정 하위 작업에 대한 재최적화를 요구하여 실용성이 제한됩니다.

방법론: 배경 불변 앵커 사전 학습 (BAP)

저자들은 VLM 임베딩 공간에서 관찰되는 높은 **선형 가법성 (linear additivity)**을 활용하는 2 단계 사전 학습 접근법인 **배경 불변 앵커 사전 학습 (BAP)**을 제안합니다. 핵심 가설은 VLM 장면 표현이 전경 및 배경 구성 요소의 선형 중첩으로 작용한다는 것입니다 ($z \approx v_{fg} + v_{bg}$).

1 단계: 앵커 벡터 추출

이 방법은 고정된 대비적 사전 학습 교사 모델 ($f^*_\theta$) 을 사용하여 전경 전용 앵커 벡터의 사전 (dictionary) 을 구성합니다:

1. 합성 (Compositing): 특정 전경 객체 인스턴스 ($x_{fg}$) 를 $K$개의 다양하게 무작위 추출된 배경 이미지 ($b_k$) 위에 중첩합니다.
2. 평균화: 이러한 $K$개의 합성된 이미지의 임베딩을 평균화하여 평균 벡터 $\bar{z}$를 생성합니다.
3. 정규화: 앵커 벡터 $a$는 $\bar{z}$를 정규화하여 유도합니다.
   • 이론적 근거: 대수의 법칙에 따라 $K$가 증가함에 따라 배경 구성 요소는 클래스 무관한 오프셋 ($\mu_{bg}$) 으로 평균화되어 사라지는 반면, 전경 신호 ($v_{fg}$) 는 유지됩니다. 이 과정은 객체의 의미 구조를 유지하면서 판별적 배경 신호를 효과적으로 억제합니다.

2 단계: 강건한 정렬 사전 학습

학생 모델 ($f_\theta$) 은 사전 계산된 앵커와 표현을 정렬하도록 최적화됩니다:

1. 입력 생성: 각 전경 인스턴스를 $M$개의 새로운 무작위 배경에 합성하여 $M$개의 서로 다른 입력을 생성합니다.
2. 목적: 모델은 각 무작위화된 입력의 임베딩과 해당 불변 앵커 벡터 $a$ 사이의 코사인 거리를 최소화합니다.
   • 메커니즘: 이는 엄격한 **다대일 매핑 (many-to-one mapping)**을 강제하여 표현 병목 (representational bottleneck, $\beta$-VAE 와 유사) 으로 작용합니다. 인코더는 고분산의 공유되지 않는 특징 (배경) 을 폐기하고 공유된 주요 요인 (전경 객체) 만 인코딩하도록 강요받습니다.

주요 기여

1. 새로운 사전 학습 접근법: VLM 임베딩의 선형 가법성을 활용하여 목표 하위 분포에 노출되기 전에 합성 데이터를 사용하여 배경 불변 표현을 증류하는 BAP 도입.
2. 최첨단 강건성: 훈련 또는 검증 세트에 소수 그룹 예시가 존재하지 않는 완벽한 (100%) 우연한 상관관계 조건에서 Waterbirds 벤치마크의 최악 그룹 정확도 (WGA) 를 90% 이상 달성. 이는 새로운 최첨단 성과입니다.
3. 초과급 일반화: BAP 로 유도된 강건성이 초과급 수준 (예: "차량") 에서 일반화됨을 입증. 이 방법은 초과급당 한 번 적용되며, 결과적으로 생성된 특징 추출기는 재최적화 없이 여러 하위 이진 작업 (예: 승용차 대 트럭, 자전거 대 오토바이) 에 재사용 가능합니다.
4. 실용성 및 효율성:
   • 이 방법은 단 50 개의 분할된 전경 항목으로도 거의 최대 강건성을 달성합니다.
   • 불완전한 분할 마스크 (예: 노이즈가 있거나, 침식되거나, 거친 바운딩 박스) 에도 견고하게 유지됩니다.
   • 실제 세계의 편향 제거 데이터에 대한 접근 없이 합성 합성물에만 의존합니다.

결과

저자들은 여러 벤치마크에 걸쳐 CLIP (Softmax 기반) 및 SigLIP 2 (Sigmoid 기반) 아키텍처 모두에서 BAP 를 평가했습니다:

• Waterbirds (합성): 100% 우연한 상관관계 하에서 BAP 는 CLIP 기준 WGA 92.1%, SigLIP 2 기준 WGA 92.7%를 달성하여, 소수 그룹이 부재할 경우 종종 완전히 실패하는 DFR, AFR, ERM 과 같은 베이스라인을 크게 능가했습니다.
• COCO 성별 분류: BAP 는 95% 및 100% 우연한 상관관계 regime 전반에 걸쳐 안정적인 성능을 유지한 반면, 다른 방법들은 95% 에서 100% 상관관계로 이동할 때 성능이 크게 저하되었습니다.
• CounterAnimal (실제 세계 시뮬레이션 - 실제): BAP 는 강건성을 자연 이미지로 성공적으로 이전하여, 반전된 맥락의 동물이 포함된 작업에서 네이티브 사전 학습 인코더 대비 WGA 를 10% 포인트 이상 개선했습니다.
• NICO++ (실제 세계 차량): BAP 는 차량 분류 작업에서 지배적인 성능을 보여주며 두 자릿수 WGA 마진을 달성했습니다. 특히, "트럭" 인스턴스가 사전 학습 객체 풀에서 제외되었음에도 불구하고 "승용차 대 트럭" 성능을 30% 포인트 향상시켜 초과급 수준의 불변성을 확인했습니다.
• Ablation 연구:
  • 분할 품질: BAP 는 "노이즈가 있는" (확장된) 또는 "부족한" (침식된) 마스크에서도 높은 WGA 를 유지했으며, 거친 바운딩 박스를 사용하더라도 성능 향상을 보였습니다.
  • 데이터 부족: 무작위 컨텍스트 수 ($M$) 가 충분히 높다면 단 50 개의 서로 다른 전경 항목으로도 성능이 거의 최대 수준으로 회복되었습니다.
  • 앵커의 필요성: 의미 앵커 추출 (1 단계) 을 제거하고 무작위 직교 타겟을 사용하는 것은 분포 내 강건성은 유지시켰으나, 분포 외 (OOD) 작업에서 치명적인 실패를 초래하여 교사 증류된 의미 앵커의 필요성을 입증했습니다.

의의 및 한계

이 논문은 BAP 가 배경 아티팩트로 인해 오분류가 발생할 수 있는 고위험 분야 (예: 의료 영상) 의 실제 배포를 위한 매우 실용적인 해결책을 제공한다고 주장합니다. 미세 조정 전에 표현 수준에서 강건성을 확보함으로써 훈련 중 소수 그룹 주석을 제거합니다.

그러나 저자들은 명시적으로 트레이드오프를 인정합니다: BAP 는 전경 강건성을 달성하기 위해 의도적으로 백본의 오픈 월드 배경 인식 능력을 희생합니다. 장면 분류 (Places365) 에 대한 제로샷 평가는 맥락이 중요한 배경이나 객체를 분류하는 능력에서 "치명적인 붕괴"를 보여주었습니다 (예: 자율 주행). 따라서 저자들은 BAP 를 모든 비전 작업에 대한 범용 해결책이 아니라, 주변 환경으로부터 목표 객체를 분리하는 것이 주된 목표인 시나리오에 가장 적합한 전문 도구로 위치시킵니다.