Revisiting Compositionality in Dual-Encoder Vision-Language Models: The Role of Inference

1. 문제 제기 (Problem)

• 배경: CLIP 과 같은 이중 인코더 VLM 은 이미지 - 텍스트 검색 및 제로샷 인식에서 뛰어난 성능을 보이지만, "검은 개와 흰 고양이"와 "흰 개와 검은 고양이"와 같이 요소는 같지만 배치가 다른 문장을 구별하는 구성적 추론 (Compositional Reasoning) 작업에서는 성능이 현저히 떨어집니다.
• 기존 한계: 기존 연구들은 이러한 실패를 모델이 학습한 표현 (Representation) 이 부족하기 때문이라고 보았습니다. 또한, 많은 연구들이 학습 단계 (Training) 에서만 구성적 능력을 향상시키려는 시도를 해왔습니다.
• 핵심 가설: 저자들은 VLM 이 실제로는 구성적 정보를 잘 인코딩하고 있지만, 추론 시 이미지와 텍스트의 전체 임베딩 (Global Embedding) 간의 코사인 유사도 (Cosine Similarity) 만을 계산하는 표준 프로토콜이 지역적 (Local) 인 영역 - 토큰 정렬 (Region-Token Alignment) 을 무시하기 때문에 구성적 추론이 실패한다고 주장합니다.

2. 방법론 (Methodology)

저자들은 두 단계의 실험을 통해 가설을 검증했습니다.

A. 진단 실험: 구조화된 추론 강제 (Structure-Guided Inference, SGI)

• 목표: 모델의 가중치를 변경하지 않고, 오직 추론 프로토콜만 변경하여 구성적 성능이 향상되는지 확인.
• 방법:
  1. 이미지를 여러 크기의 크롭 (Crop) 으로 분할하여 지역적 영역을 추출.
  2. 텍스트를 객체, 속성, 관계 등을 포함한 구조화된 세그먼트로 분해.
  3. 각 텍스트 세그먼트와 이미지 크롭 간의 코사인 유사도를 계산하여 **최적의 매칭 (Alignment)**을 수행.
  4. 매칭된 점수들을 평균화하여 최종 점수 산출.
• 결과: 사전 학습된 인코더를 고정 (Frozen) 한 상태에서 SGI 를 적용하면, 전역 코사인 유사도 기반 추론에 비해 구성적 벤치마크 (BISCOR-CTRL) 에서 성능이 극적으로 향상됨을 확인했습니다. 이는 모델 내부에 이미 구성적 정보가 존재함을 시사합니다.

B. 제안 모델: 얼어붙은 표현에서의 정밀 정렬 학습 (Alignment Transformer)

• 목표: 외부에서 구조를 강제하는 대신, 사전 학습된 패치 (Patch) 및 토큰 (Token) 임베딩에서 **가벼운 트랜스포머 (Lightweight Transformer)**를 통해 정밀한 정렬을 학습할 수 있는지 확인.
• 아키텍처:
  • 비전 및 텍스트 인코더는 고정 (Frozen) 유지.
  • 추출된 패치 및 토큰 임베딩을 입력으로 받는 경량의 트랜스포머 모듈 추가.
  • 이 모듈은 크로스-모달 어텐션 (Cross-modal Attention) 을 통해 이미지 영역과 텍스트 토큰 간의 정밀한 대응 관계를 학습.
• 비교 대상:
  1. Full Fine-Tuning (FT): 전체 모델을 미세 조정 (표현 학습 + 정렬 학습 혼재).
  2. Global Transformer (TFGlobal): 고정된 전역 임베딩에만 트랜스포머를 적용 (정밀한 지역 정보 부재).
  3. End-to-End 구성적 학습: 기존에 제안된 NegCLIP, TripletCLIP 등 (학습 목표 변경, 하지만 추론은 전역 코사인 유지).

3. 주요 결과 (Key Results)

A. 분포 내 (In-Domain) 성능

• **Full Fine-Tuning (FT)**과 제안된 TFLocal (지역 정렬 학습) 모두 기존 사전 학습 모델보다 분포 내 벤치마크 (SUGARCREPE, BIVLC) 에서 우수한 성능을 보였습니다.
• 특히 TFLocal은 전체 모델을 미세 조정하는 것과 유사하거나 더 나은 성능을 내면서도, 인코더 파라미터를 업데이트하지 않아 효율적이었습니다.
• 반면, TFGlobal(전역 임베딩만 사용) 은 성능 향상이 미미하여, 모델 용량 증가만으로는 부족하고 지역적 (Fine-grained) 정보 활용이 필수적임을 보였습니다.

B. 분포 외 (Out-of-Distribution, OOD) 일반화 성능

• 가장 중요한 발견: 분포가 다른 벤치마크 (BISCOR-CTRL) 에서 Full Fine-Tuning은 거의 성능 향상을 보이지 못했습니다. 기존에 학습된 편향 (Bias) 이 유지되거나 오히려 악화되었기 때문입니다.
• 반면, TFLocal은 분포 외 환경에서도 매우 큰 성능 향상을 보였습니다 (예: CLIP 의 경우 1.4 점 -> 15.1 점, PE 의 경우 8.5 점 -> 30.0 점).
• End-to-End 학습 방법들 (NegCLIP 등) 도 분포 내에서는 성능이 향상되었으나, 분포 외 벤치마크에서는 기존 CLIP 과 유사한 낮은 성능을 보였습니다. 이는 학습 목표 변경만으로는 분포 변화에 강건한 구성적 추론을 보장하지 못함을 의미합니다.

4. 핵심 기여 (Key Contributions)

1. 인코더가 아닌 추론 프로토콜의 문제 규명: VLM 의 구성적 실패는 표현력 부족이 아니라, 전역 임베딩 매칭 (Global Embedding Matching) 을 사용하는 추론 메커니즘의 구조적 불일치에서 기인함을 증명했습니다.
2. 경량 정렬 모듈의 효과 입증: 사전 학습된 표현을 업데이트하지 않고, 오직 **지역적 정렬 (Localized Alignment)**을 학습하는 가벼운 모듈만으로도 분포 내/외에서 최상급의 구성적 추론 성능을 달성할 수 있음을 보였습니다.
3. 새로운 벤치마크 (BISCOR-CTRL) 제안: 구성적 추론 능력을 정밀하게 측정하기 위해, CLEVR 기반의 통제된 OOD 데이터셋을 구축하여 기존 벤치마크의 한계를 보완했습니다.
4. 학습 vs 정렬의 분리: 구성적 능력 향상을 위해 대규모 표현 학습 (Representation Learning) 을 다시 할 필요 없이, 기존에 인코딩된 정보를 어떻게 **정렬 (Alignment)**하느냐가 핵심임을 강조했습니다.

5. 의의 및 시사점 (Significance)

• 효율적인 개선: VLM 의 구성적 능력을 높이기 위해 거대한 모델을 다시 학습 (Fine-tuning) 하거나 새로운 학습 목표를 설계할 필요가 없으며, 추론 단계의 구조적 변경만으로도 큰 효과를 볼 수 있음을 시사합니다.
• 강건한 일반화: 분포 외 (OOD) 환경에서도 강건한 구성적 추론을 위해서는 전역적 유사도가 아닌 지역적 정렬 메커니즘이 필수적입니다.
• 미래 연구 방향: 향후 VLM 연구는 모델의 표현력을 높이는 것뿐만 아니라, **구조화된 추론 프로토콜 (Structured Inference Protocols)**을 어떻게 설계할지에 더 집중해야 함을 강조합니다.

요약하자면, 이 논문은 "VLM 은 이미 구성적 정보를 잘 알고 있다. 다만, 우리가 그 정보를 꺼내는 방식 (전역 코사인) 이 잘못되어 있을 뿐이다"라는 통찰을 제공하며, 지역적 정렬을 통한 추론 최적화가 구성적 추론 문제의 핵심 해결책임을 입증했습니다.