CLIP Behaves like a Bag-of-Words Model Cross-modally but not Uni-modally

이 논문은 CLIP 이 실제로는 속성 - 객체 결합 정보를 단모달 (텍스트 및 이미지) 임베딩 내에 보유하고 있으나, 교차모달 정렬 과정에서 이를 잃어버리는 'Bag-of-Words'와 같은 행동을 보인다는 것을 규명하고, 단순한 선형 변환을 통해 이 정보를 복원하여 재학습 없이 성능을 향상시킬 수 있음을 제시합니다.

핵심

🎬 줄거리: "CLIP 은 정말 멍청할까, 아니면 오해받았을까?"

1. 기존의 오해: "CLIP 은 단어만 외우는 암기왕"

지금까지 많은 연구자들은 CLIP 이 이미지와 텍스트를 연결할 때 약점을 보인다고 비판했습니다.
예를 들어, 화면에 **"오렌지색 정사각형"**과 **"파란색 삼각형"**이 그려진 그림이 있다고 칩시다.
그런데 CLIP 에게 "이 그림과 가장 잘 맞는 문장은?"이라고 물으면, 종종 **"파란색 정사각형"**과 **"오렌지색 삼각형"**이라고 답하는 실수를 합니다.

• 비유: 마치 **주머니 (Bag)**에 '오렌지', '정사각형', '파랑', '삼각형'이라는 단어들을 다 넣어두고, 순서나 연결 관계는 전혀 신경 쓰지 않고 무작위로 꺼내는 단순 암기왕처럼 보인 것입니다.
• 기존 결론: "CLIP 은 복잡한 관계를 이해하지 못해, 단순히 단어들의 나열만 보고 판단한다."

2. 이 논문의 발견: "사실 CLIP 은 '연결'을 알고 있었다!"

저자들은 이 결론에 의문을 품었습니다. "CLIP 이 정말 연결을 모를까, 아니면 단순히 서로 다른 언어 (이미지와 텍스트) 를 서로 오해하고 있는 것일까?"

그들이 CLIP 의 이미지 부분과 텍스트 부분을 따로따로 검사해 보니 놀라운 사실이 드러났습니다.

• 비유: CLIP 의 이미지 뇌와 텍스트 뇌는 각각 따로따로 아주 똑똑합니다.
  • 이미지 뇌: "아, 저건 오렌지색 정사각형이고 저건 파란색 삼각형이야. 서로 어떻게 연결되는지 정확히 알고 있어!"
  • 텍스트 뇌: "나도 '오렌지색 정사각형'과 '파란색 삼각형'이 어떻게 짝을 이루는지 완벽하게 이해하고 있어!"

즉, 각각의 뇌 (단일 모드) 안에는 이미 '연결 정보'가 완벽하게 저장되어 있었습니다. 문제는 두 뇌가 서로 대화할 때, 서로의 말을 잘못 해석하고 있다는 것이었습니다.

3. 핵심 원인: "통역사의 실수"

CLIP 의 문제는 정보의 부재가 아니라 정렬 (Alignment) 의 실패였습니다.

• 비유: 두 명의 천재가 있는데, 한 명은 한국어로 생각하고 다른 한 명은 영어로 생각합니다. 두 사람 모두 '오렌지색 정사각형'이라는 개념을 완벽하게 알고 있습니다. 하지만 서로 대화할 때, **통역사 (CLIP 의 기존 연결 방식)**가 "오렌지색 정사각형"을 "파란색 삼각형"으로 잘못 번역해 버리는 것입니다.
• 결론: CLIP 은 바보가 아닙니다. 그냥 서로 다른 언어를 섞을 때 실수를 하는 것입니다.

4. 해결책: "가벼운 통역사 (선형 변환) 하나만 추가하면 OK"

저자들은 이 문제를 해결하기 위해 무거운 재학습 (모델을 처음부터 다시 가르치는 것) 을 하지 않았습니다. 대신 **텍스트 쪽에 아주 간단한 '보정기 (선형 변환 레이어)'**를 하나 붙였습니다.

• 비유: 기존 통역사가 실수하는 걸 고치기 위해, 새로운 보조 통역사를 한 명 더 붙인 것입니다. 이 보조 통역사는 "아, 영어로 '오렌지색 정사각형'이라고 하면 한국어로는 '오렌지색 정사각형'이 맞지, '파란색 삼각형'이 아니야!"라고 바로잡아 줍니다.
• 효과:
  1. 비용 절감: 거대한 CLIP 모델을 다시 훈련할 필요가 없습니다. 기존에 저장된 데이터베이스를 그대로 쓰면서, 아주 작은 레이어만 훈련하면 됩니다.
  2. 성능 향상: 이제 CLIP 은 "오렌지색 정사각형"과 "파란색 삼각형"을 정확히 구분해 냅니다.
  3. 호환성: 이미 CLIP 을 쓰고 있는 회사들도 이 작은 보정기만 추가하면 바로 성능을 높일 수 있습니다.

---

💡 이 연구가 우리에게 주는 메시지

1. CLIP 은 이미 똑똑하다: 우리가 생각했던 것보다 CLIP 은 이미지와 텍스트 속에 '관계'를 이해하는 능력을 이미 가지고 있었습니다.
2. 문제는 연결고리: 문제는 그 능력을 서로 연결하는 방식에 있었습니다.
3. 효율적인 해결: 무언가를 새로 만들거나 거창하게 고칠 필요 없이, 기존의 능력을 잘 끌어내어 연결만 잘 해주면 훨씬 똑똑해질 수 있습니다.

한 줄 요약:

"CLIP 은 원래 '연결'을 잘 아는 천재였는데, 서로 다른 언어를 섞을 때 통역 실수를 했을 뿐입니다. 이제 아주 간단한 '보정기'만 붙여주면, 그 천재가 제 능력을 100% 발휘할 수 있게 됩니다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: CLIP(Contrastive Language-Image Pretraining) 은 텍스트와 이미지의 공유 임베딩 공간을 통해 다양한 다운스트림 작업에서 뛰어난 성능을 보이지만, 최근 연구들은 그 구성적 (compositional) 이해 능력에 의문을 제기하고 있습니다.
• 문제: CLIP 은 종종 Bag-of-Words (BoW, 단어 주머니) 모델처럼 동작합니다. 즉, 이미지나 텍스트를 개별 개념들의 무순서 집합으로만 인식하고, 객체 (object) 와 속성 (attribute) 간의 구조적 관계 (binding) 를 제대로 파악하지 못합니다.
  • 예시: "주황색 정사각형과 파란색 삼각형" 이미지가 주어졌을 때, CLIP 은 "파란색 정사각형과 주황색 삼각형"이라는 잘못된 캡션과도 높은 유사도를 보일 수 있습니다.
• 핵심 질문: 이러한 BoW 행동의 원인은 무엇인가?
  1. 개별 텍스트/이미지 임베딩 자체에 속성 - 객체 결합 정보가 부족해서인가? (인코더의 한계)
  2. 아니면 각 모달리티 내부에는 정보가 있지만, 크로스-모달 (Cross-modal) 정렬 (alignment) 이 제대로 이루어지지 않아서인가?

2. 방법론 (Methodology)

저자는 위 두 가지 가설을 검증하기 위해 다음과 같은 실험을 수행했습니다.

가. 단일 모달리티 내 결합 능력 검증 (Uni-modal Binding)

CLIP 이 BoW 모델인지 확인하기 위해, 텍스트와 이미지 임베딩을 별도로 분석하여 속성 - 객체 결합 정보가 존재하는지 확인했습니다.

• 선형 프로빙 (Linear Probing): CLIP 인코더를 고정 (frozen) 하고, 특정 객체 (예: 큐브) 의 속성 (예: 빨간색) 을 분류하는 선형 분류기를 훈련했습니다.
  • 결과: 텍스트와 이미지 임베딩 모두에서 속성 - 객체 결합 정보가 선형적으로 분리 가능 (linearly separable) 하게 인코딩되어 있음을 확인했습니다. 이는 BoW 모델이 아닌, 결합 정보가 내부에 존재함을 의미합니다.
• 객체 수 증가 실험: CLEVR 데이터셋에서 객체 수를 늘려가며 프로빙 정확도를 측정했습니다. 텍스트 임베딩은 높은 정확도를 유지했고, 이미지 임베딩은 복잡도가 높아질수록 감소했으나 여전히 무작위 추측보다 훨씬 높은 결합 신호를 유지했습니다.
• 연결 검색 (Conjunctive Search): Campbell et al. (2024) 의 실험을 차용하여, 공통 특징 (색상, 형태) 을 공유하지만 결합이 다른 객체 (예: 빨간색 구체) 를 구별하는 능력을 테스트했습니다. CLIP 의 시각 임베딩은 이러한 미세한 결합을 인식하여 성공적으로 분류했습니다.

나. 크로스-모달 정렬 개선 (Cross-modal Alignment)

단일 모달리티 내에는 결합 정보가 존재하지만, 이미지와 텍스트 간의 매칭이 실패한다는 가설을 검증하기 위해 LABCLIP을 제안했습니다.

• LABCLIP (Linear Attribute Binding CLIP):
  • CLIP 의 인코더 파라미터는 변경하지 않고, 텍스트 임베딩에 선형 변환 행렬 $A$ 를 적용하여 이미지 임베딩 공간과 정렬합니다.
  • 학습 방식: 기존 이미지 - 텍스트 쌍 (Positive) 과 속성 - 객체 순서를 뒤집은 허위 쌍 (Negative, 예: "빨간 큐브와 파란 구체" $\to$ "파란 큐브와 빨간 구체") 을 사용하여 대비 학습 (Contrastive Learning) 을 수행합니다.
  • 목적: 각 모달리티 내부에 이미 존재하는 결합 정보를 활용하여, 크로스-모달 매칭 시 올바른 쌍을 우선적으로 선택하도록 정렬합니다.

3. 주요 결과 (Key Results)

• 단일 모달리티 내 결합 정보 존재:
  • 선형 프로빙 실험에서 CLIP 의 텍스트 및 이미지 임베딩은 속성 - 객체 결합 정보를 매우 높은 정확도로 포함하고 있음이 입증되었습니다. (예: CLEVR 텍스트 임베딩 테스트 정확도 1.00)
  • 이는 CLIP 이 BoW 모델이 아니며, 결합 정보가 인코딩 단계에서 누락되지 않았음을 의미합니다.
• LABCLIP 의 성능 향상:
  • 합성 데이터 (CLEVR, PUG): LABCLIP 은 기존 CLIP 의 무작위 수준 (약 0.5) 의 성능을 0.95 이상으로 극적으로 향상시켰습니다. 이는 미세 조정 (Fine-tuning) 된 모델 (CLIP-FT) 과 유사한 수준의 성능입니다.
  • 실제 데이터 (ARO, SugarCrepe, COCO): LABCLIP 은 NegCLIP(부정 샘플로 미세 조정된 CLIP) 과 유사한 성능을 보이면서도, 인코더 재학습 없이 기존 벡터 데이터베이스를 활용할 수 있다는 장점이 있습니다.
  • 효율성: LABCLIP 은 512x512 크기의 선형 레이어 (약 26 만 개 파라미터) 만 학습하므로, 전체 인코더를 재학습하는 것보다 100 배 이상 빠른 학습 속도를 보입니다.
• 정렬의 효과:
  • 정렬 전에는 이미지와 텍스트 프로브 계수 간의 코사인 유사도가 낮았으나, LABCLIP 적용 후 유사도가 크게 증가하여 두 모달리티 간의 결합 신호가 정렬되었음을 확인했습니다.

4. 주요 기여 (Key Contributions)

1. CLIP 의 BoW 행동에 대한 근본 원인 규명: CLIP 의 구성적 실패는 인코더의 정보 부재가 아니라, 크로스-모달 정렬 (Cross-modal alignment) 의 실패에서 기인함을 최초로 명확히 증명했습니다.
2. 단일 모달리티 내 결합 정보의 존재 증명: 선형 프로빙, 연결 검색, 객체 수 증가 실험을 통해 CLIP 이 속성 - 객체 결합 정보를 이미 내부에 보유하고 있음을 입증했습니다.
3. 경량화된 해결책 (LABCLIP) 제안: 인코더를 재학습하거나 데이터를 다시 추출할 필요 없이, 선형 변환 레이어 하나만으로 기존 CLIP 시스템의 구성적 이해 능력을 획기적으로 개선할 수 있음을 보여주었습니다.
4. 실용적 가치: 기존에 배포된 CLIP 기반 시스템 (벡터 DB 등) 에 후처리 (Post-hoc) 모듈로 적용 가능하여, 비용 효율적이고 모듈화된 개선을 가능하게 합니다.

5. 의의 및 결론 (Significance)

이 논문은 VLM(시각 - 언어 모델) 의 구성적 추론 실패에 대한 기존의 "인코더 한계"라는 통념을 반박하고, **"정렬 문제"**로 관점을 전환했습니다.

• 이론적 의의: CLIP 이 실제로는 BoW 모델이 아니며, 복잡한 결합 정보를 내부에 잘 인코딩하고 있음을 보여줌으로써 모델 해석 (Interpretability) 에 중요한 통찰을 제공합니다.
• 실용적 의의: 고비용의 대규모 모델 재학습 없이, 경량 선형 레이어를 추가하는 것만으로도 모델의 성능을 크게 향상시킬 수 있음을 증명했습니다. 이는 기존 CLIP 기반 애플리케이션의 구성적 정확도를 높이는 데 있어 매우 효율적이고 확장 가능한 솔루션을 제시합니다.

결론적으로, CLIP 은 이미 필요한 정보를 가지고 있지만, 이를 이미지와 텍스트 간에 올바르게 매칭하지 못했던 것입니다. 저자가 제안한 간단한 선형 정렬 기법은 이 격차를 해소하여 CLIP 의 잠재력을 최대한 끌어올릴 수 있음을 보여줍니다.