Is CLIP ideal? No. Can we fix it? Yes!

이 논문은 CLIP 의 잠재 공간이 특정 기하학적 한계를 가지므로 이를 해결하기 위해 이미지 패치와 텍스트 토큰의 의미적 위상을 유지하는 '밀집 코사인 유사도 맵 (DCSM)'을 제안하여 기존 모델의 성능을 획기적으로 개선했다고 주장합니다.

핵심

CLIP 는 완벽하지 않다? 네, 맞습니다! 하지만 우리는 그걸 고칠 수 있습니다.

이 논문은 인공지능이 이미지와 텍스트를 어떻게 이해하는지에 대한 흥미로운 이야기를 담고 있습니다. 핵심은 **"기존의 유명한 AI 모델 (CLIP) 은 근본적인 결함이 있지만, 우리가 그걸 고쳐서 더 똑똑하게 만들 수 있다"**는 것입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. CLIP 이란 무엇인가? (우리의 '초능력' 친구)

CLIP 은 이미지와 텍스트를 동시에 이해하도록 훈련된 AI 입니다. 마치 **"눈과 귀를 모두 가진 친구"**처럼, 사진 한 장을 보고 "이건 강아지야"라고 말하거나, "강아지"라는 말을 듣고 강아지 사진을 찾아내는 일을 합니다.

기존의 CLIP 은 이 분야에서 매우 훌륭합니다. 하지만 완벽하지는 않아요. 특히 복잡한 상황을 이해하는 데서 실수를 합니다.

2. CLIP 의 문제점: "혼동쟁이 친구"

CLIP 이 왜 실수를 할까요? 저자들은 CLIP 의 뇌 (잠재 공간) 가 기하학적으로 (수학적으로) 결함이 있다고 증명했습니다.

비유: "색깔과 모양이 뒤섞인 상자"
상상해 보세요. CLIP 이 정보를 저장하는 방식은 모든 것을 하나의 큰 원형 방 (단위 초구) 에 넣는 것과 같습니다.

• 문제 상황: "빨간 공"과 "파란 삼각형"이 있는 사진을 보고, "빨간 삼각형과 파란 공"이라는 문장을 입력하면 CLIP 은 둘을 구분하지 못합니다.
• 왜 그럴까? CLIP 의 수학 구조상, "빨간 공"과 "파란 삼각형"을 섞어서 "빨간 삼각형"과 "파란 공"을 만들면, 두 결과가 완전히 똑같은 위치에 놓이게 됩니다. 마치 주사위를 던져서 1 과 2 를 더한 결과와 2 와 1 을 더한 결과가 똑같아서, 어떤 숫자가 먼저 나왔는지 기억할 수 없는 것과 같습니다.

이로 인해 CLIP 은 다음과 같은 일을 엉망으로 처리합니다:

1. 속성 결합 실패: "빨간 차"와 "검은 버스"를 구별하지 못함.
2. 공간 관계 혼동: "차가 버스 왼쪽에 있다"와 "버스가 차 왼쪽에 있다"를 똑같이 취급함.
3. 부정 (Not) 이해 불가: "노란 코트가 아닌 것"을 검색하면 노란 코트가 나올 수도 있음.

저자들은 **"CLIP 의 기본 설계도가 이 세 가지 (속성, 공간, 부정) 중 두 가지는 동시에 완벽하게 처리할 수 없도록 되어 있다"**고 수학적으로 증명했습니다. 즉, 기존 방식으로는 CLIP 을 완벽하게 고칠 수 없다는 뜻입니다.

3. 우리의 해결책: DCSM (밀도 높은 지도)

그렇다면 포기해야 할까요? 아닙니다! 저자들은 CLIP 을 완전히 버리는 대신, CLIP 이 가진 정보를 더 똑똑하게 읽는 방법을 고안했습니다.

비유: "단순한 점수판 vs 상세한 지도"

• 기존 CLIP 방식: 이미지와 문장을 비교할 때, 마치 두 점 사이의 거리 하나만 재는 것과 같습니다. "이게 맞나요? 아니요?"라고 점수 (코사인 유사도) 만 줍니다. 그래서 복잡한 관계를 놓칩니다.
• 새로운 방식 (DCSM): 우리는 이미지와 문장을 비교할 때, 이미지의 각 조각 (패치) 과 문장의 각 단어 (토큰) 를 모두 서로 비교합니다.
  • 마치 이미지 한 장을 100 개의 작은 조각으로 나누고, 문장의 각 단어가 그 조각 중 어디에 해당하는지 **상세한 지도 (맵)**를 그리는 것입니다.
  • "빨간"이라는 단어가 "공"이 있는 조각과 얼마나 잘 맞는지, "삼각형"이 있는 조각과는 얼마나 안 맞는지 모든 조합을 체크합니다.

이렇게 하면 CLIP 이 원래 가진 정보를 잃지 않으면서도, 어떤 단어가 이미지의 어떤 부분에 해당하는지를 훨씬 정밀하게 파악할 수 있습니다.

4. 어떻게 작동할까요? (작은 두뇌 추가)

우리는 이 상세한 지도 (DCSM) 를 만들어낸 후, 아주 작고 간단한 **CNN(합성곱 신경망)**이라는 작은 두뇌를 붙여줍니다. 이 작은 두뇌는 지도 위의 패턴을 보고 "아, 이 문장은 이 사진과 정확히 일치하는구나!"라고 판단합니다.

• 장점: CLIP 을 처음부터 다시 훈련시킬 필요 없이, 기존 CLIP 위에 얹어서만 작동합니다.
• 효과: 기존 CLIP 이 틀렸던 "빨간 공 vs 파란 삼각형" 문제나 "왼쪽 vs 오른쪽" 문제를 놀라운 정확도로 해결합니다.

5. 결론: "완벽한 친구는 없지만, 더 똑똑하게 만들 수 있다"

이 논문의 핵심 메시지는 다음과 같습니다.

"CLIP 이 가진 **기본적인 설계 (기하학)**에는 한계가 있어서, 단순히 더 많은 데이터를 주거나 훈련을 더 시킨다고 해서 모든 문제가 해결되지 않습니다. 하지만 우리가 정보를 보는 방식을 바꾸면 (단순 점수 -> 상세 지도), 그 한계를 극복하고 훨씬 더 똑똑한 AI 를 만들 수 있습니다."

우리는 CLIP 이라는 훌륭한 친구의 능력을 최대한 끌어올려, 복잡한 상황에서도 실수하지 않는 더 똑똑한 파트너로 업그레이드했습니다. 이제 AI 는 "빨간 공"과 "파란 삼각형"을 명확히 구분하고, "노란 코트가 아닌 것"을 정확히 찾아낼 수 있게 되었습니다!

기술 요약

이 논문은 CLIP (Contrastive Language-Image Pre-Training) 의 근본적인 기하학적 한계를 규명하고, 이를 해결하기 위한 새로운 방법론인 DCSM (Dense Cosine Similarity Maps) 을 제안합니다. 저자들은 CLIP 의 잠재 공간 (latent space) 이 단순한 코사인 유사도 (cosine similarity) 를 사용하여 텍스트와 이미지를 매칭하는 방식으로는 복잡한 시각 - 언어 상호작용을 완벽하게 표현할 수 없음을 수학적으로 증명하고, 이를 우회하는 경량화된 아키텍처를 통해 성능을 획기적으로 개선했습니다.

다음은 논문의 상세한 기술 요약입니다.

---

1. 문제 정의 (Problem Statement)

CLIP 은 이미지와 텍스트를 공유된 잠재 공간에 매핑하여 제로샷 (zero-shot) 학습을 가능하게 하는 획기적인 모델이지만, 복잡한 시각적 추론 작업에서는 심각한 한계를 보입니다. 주요 실패 사례는 다음과 같습니다:

• 속성 결합 (Attribute Binding): "빨간 원과 파란 삼각형"과 "파란 원과 빨간 삼각형"을 구별하지 못함.
• 공간 관계 (Spatial Relationships): "원 위 삼각형"과 "삼각형 위 원"을 혼동함.
• 부정 (Negation): "노란 코트가 아닌 것"과 같은 부정 문장을 처리할 때 실패함.

저자들은 이러한 문제가 단순히 데이터 부족이나 아키텍처의 미세 조정 (fine-tuning) 으로 해결될 수 있는 것이 아니라, CLIP 의 잠재 공간 기하학 (Geometry) 자체에 근본적인 결함이 있다고 주장합니다.

2. 핵심 분석 및 증명 (Theoretical Analysis & Proof)

저자들은 CLIP 의 잠재 공간을 단위 초구 (unit hypersphere) 상의 벡터로 정의하고, 이상적인 CLIP 이 만족해야 할 4 가지 조건을 수학적으로 정의했습니다:

1. 기본 개념 분류: 이미지 내용과 기본 설명을 정확히 표현.
2. 속성 결합: 객체와 속성 (예: 빨간색, 공) 의 결합을 정확히 구분.
3. 공간 관계: 객체의 위치와 관계 (위, 아래, 왼쪽, 오른쪽) 를 정확히 표현.
4. 부정: 부정 개념을 정확히 표현.

주요 증명 결과:

• 기하학적 모순: 단위 초구 위에서 코사인 유사도를 사용할 때, 위 4 가지 조건 중 어떤 두 가지 이상을 동시에 만족하는 벡터 공간은 존재할 수 없음을 증명했습니다.
• 선형 중첩의 한계: Lemma 1 에 따르면, 두 객체가 포함된 이미지의 임베딩은 각 객체 임베딩의 선형 중첩 (linear superposition) 으로 근사됩니다. 이로 인해 Lemma 2 에서 증명하듯, 서로 다른 속성 결합 (예: $x_a, y_b$와 $x_b, y_a$) 이 최종 임베딩 공간에서 동일하게 표현되어 구별이 불가능해집니다.
• 결론: CLIP 과 유사한 단일 점 (single-point) 임베딩을 사용하는 방식으로는 이상적인 모델이 존재할 수 없습니다.

3. 제안 방법: DCSM (Dense Cosine Similarity Maps)

CLIP 의 임베딩을 재학습하거나 단순히 점수를 조정하는 대신, CLIP 이 이미 학습한 토큰 (text tokens) 과 패치 (image patches) 수준의 풍부한 정보를 활용하는 새로운 접근법을 제안합니다.

• 밀집 코사인 유사도 맵 (DCSM):

  • 기존의 CLIP 은 텍스트의 EOS 토큰과 이미지의 CLS 토큰만 추출하여 단일 스칼라 점수를 계산합니다.
  • 반면, 제안된 방법은 모든 텍스트 토큰과 모든 이미지 패치 간의 쌍별 (pairwise) 코사인 유사도를 계산하여 2 차원 맵 (Dense Map) 을 생성합니다.
  • 이 맵은 텍스트의 시맨틱 순서와 이미지의 공간적 토폴로지를 동시에 보존합니다.

• 기능적 행 (Functional Rows, FRs):

  • DCSM 에서 공간 관계나 부정 등을 나타내는 기능적 단어 (예: "위", "아래", "없음") 에 해당하는 행은 학습된 상수 벡터로 대체합니다. 이는 CLIP 이 이러한 단어의 시각적 대응물을 직접적으로 학습하지 못하는 경향을 보완하고, 패턴 인식 작업을 단순화합니다.

• 가벼운 CNN 스코어링:

  • 생성된 DCSM 을 입력으로 받아, 경량화된 2 층 CNN 을 통해 최종 텍스트 - 이미지 매칭 점수를 예측합니다.
  • 이 CNN 은 CLIP 의 인코더를 고정 (frozen) 한 상태에서 학습되며, 파라미터 수가 CLIP 대비 20 배 적습니다.

4. 실험 결과 (Experimental Results)

저자들은 제안된 DCSM 방법을 다양한 벤치마크에서 기존 CLIP 기반 모델 (OpenCLIP, NegCLIP, CoCa, BLIP, SigLIP 등) 과 비교 평가했습니다.

• 성능 향상:
  • 속성 결합 (CLEVR-bind, NCD): 기존 CLIP 모델 대비 현저히 높은 정확도 달성 (예: CLEVR-bind 에서 22.2% → 39.9%).
  • 공간 추론 (WhatsUp, VG-spatial): 공간 관계 이해 능력이 크게 개선됨.
  • 부정 (NegBench): 부정 문장 처리 능력도 기존 모델보다 우월함.
• 일반화 능력:
  • 합성 데이터 (Objaverse) 로만 훈련된 모델도 자연어 데이터 (COCO) 에서 잘 일반화되었습니다.
  • 훈련 데이터에 없던 속성, 공간 관계, 부정 개념에 대해서도 잘 작동하여, 모델이 템플릿을 외우는 것이 아니라 구문적 패턴 (syntactic patterns) 을 학습했음을 시사합니다.
• 해석 가능성:
  • DCSM 은 인간이 직관적으로 이해할 수 있는 열 (텍스트) 과 열 (이미지 패치) 의 매핑을 제공하여, 왜 모델이 특정 점수를 매겼는지 시각적으로 확인 가능합니다 (Fig. 3 참조).

5. 의의 및 결론 (Significance & Conclusion)

• 근본적 통찰: 이 논문은 CLIP 의 실패가 단순한 데이터나 학습 전략의 문제가 아니라, 단위 구면 (unit sphere) 과 코사인 유사도라는 기하학적 제약에서 비롯됨을 수학적으로 증명했습니다.
• 실용적 해결책: 전체 모델을 재학습하지 않고도, 기존 CLIP 의 강력한 특징 추출 능력을 유지하면서 토폴로지 정보를 보존하는 DCSM을 통해 복잡한 시각 - 언어 추론 문제를 해결할 수 있음을 보였습니다.
• 미래 방향: 이 연구는 차세대 VLM (Vision-Language Model) 아키텍처 설계에 있어 단순한 임베딩 매칭을 넘어, 토폴로지 기반의 패턴 인식과 더 정교한 기하학적 구조의 중요성을 강조합니다.

요약하자면, 이 논문은 **"CLIP 은 이상적일 수 없지만, DCSM 을 통해 그 한계를 극복할 수 있다"**는 것을 이론적 증명과 실험적 검증을 통해 입증한 중요한 연구입니다.