CLIP Is Shortsighted: Paying Attention Beyond the First Sentence (CLIP 은 근시안적이다: 첫 문장 너머에 주목하라)

이 논문은 대규모 멀티모달 모델인 CLIP 이 긴 텍스트 설명 (long captions) 을 처리할 때 발생하는 근본적인 편향 문제를 지적하고, 이를 해결하기 위한 새로운 방법론인 DeBias-CLIP을 제안합니다.

1. 문제 정의 (Problem)

기존 CLIP 모델은 인터넷 규모의 데이터 (주로 짧은 텍스트 설명과 짝지어진 이미지) 로 사전 학습되었습니다. 이로 인해 CLIP 은 이미지의 주요 객체에 대한 간단한 설명에는 강하지만, 복잡한 장면이나 밀도 높은 긴 텍스트 설명에는 약점을 보입니다.

최근 연구들 (Long-CLIP 등) 은 긴 텍스트 설명으로 미세 조정 (fine-tuning) 을 통해 긴 문맥 처리 능력을 개선하려 시도했습니다. 그러나 저자들은 다음과 같은 **중요한 편향 (Bias)**을 발견했습니다.

• 첫 문장 요약 편향 (Summary Sentence Bias): 인간이나 LLM 이 생성한 긴 텍스트 설명은 대부분 첫 문장에 전체 내용을 요약하는 문장이 있고, 그 뒤에 세부 사항이 나열되는 구조를 가집니다.
• 초기 토큰 편향 (Early-Token Bias): 모델은 학습 과정에서 이 '요약 문장'을 단서 (shortcut) 로 활용하여 손실 함수를 최소화하려 합니다. 결과적으로 모델은 설명의 초기 토큰 (첫 문장) 에만 집중하고, 설명의 후반부에 있는 중요한 세부 정보는 무시하게 됩니다.
• 문장 순서 민감도: 첫 문장 (요약) 을 제거하거나 문장 순서를 바꾸면 (예: 요약 문장을 뒤로 이동), Long-CLIP 모델의 성능이 급격히 저하됩니다. 이는 모델이 긴 문맥의 전체 정보를 균일하게 이해하지 못하고, 요약 문장에 의존하고 있음을 의미합니다.

2. 제안 방법: DeBias-CLIP (Methodology)

저자들은 추가적인 학습 파라미터나 복잡한 아키텍처 변경 없이, 캡션 수준의 데이터 증강 (Caption-level Text Augmentation) 전략을 통해 이 편향을 해결하는 DeBias-CLIP을 제안합니다. 이 방법은 Long-CLIP 의 단순한 대체재 (drop-in replacement) 로 작동합니다.

주요 세 가지 증강 전략은 다음과 같습니다:

1. 요약 문장 제거 (Removing the Summary Sentence):

   • 학습 시 긴 캡션의 첫 번째 문장 (요약) 을 제거하고, 나머지 문장들만 사용하여 짧은 캡션 (short caption) 을 구성합니다.
   • 이를 통해 모델이 요약 문장에 의존하지 않고, 캡션의 깊은 부분 (세부 정보) 에도 주의를 기울이도록 강제합니다.

2. 문장 무작위 샘플링 (Sentence Sub-sampling):

   • 요약 문장을 제외한 나머지 문장들에서 무작위로 일부를 샘플링하여 짧은 캡션을 생성합니다.
   • 이는 문장 순서를 고정하지 않고 다양한 조합을 학습하게 하여, 모델이 특정 위치의 정보에만 의존하는 것을 방지합니다.

3. 토큰 패딩 (Token Padding):

   • 샘플링된 짧은 캡션의 시작 부분에 무작위로 패딩 토큰을 추가합니다.
   • 이는 샘플링된 문장들이 항상 초기 토큰 위치에 배치되는 것을 방지하고, 모델이 후방 위치 (later positions) 의 임베딩에도 균일하게 노출되도록 하여 위치 편향을 완화합니다.

이 세 가지 전략을 결합하여 긴 캡션과 변형된 짧은 캡션에 대한 대비 학습 (contrastive learning) 을 수행하며, 두 손실의 가중 합을 최종 손실로 사용합니다.

3. 주요 기여 (Key Contributions)

• 편향의 실증적 분석: 기존 CLIP 및 Long-CLIP 모델이 긴 캡션 데이터셋에서 초기 토큰과 요약 문장에 과도하게 의존하며, 정보의 위치가 변경되거나 요약 문장이 제거될 때 성능이 크게 떨어진다는 것을 실험적으로 증명했습니다.
• 간단하고 효과적인 방법론: 새로운 학습 가능한 파라미터나 학생 - 교사 (student-teacher) 프레임워크 없이, 단순한 텍스트 증강 (요약 제거, 샘플링, 패딩) 만으로 편향을 해결하고 성능을 개선했습니다.
• 최신 성능 달성 (SOTA): 여러 긴 텍스트 검색 (long-text retrieval) 벤치마크에서 기존 최첨단 방법들 (Long-CLIP, SmartCLIP, FineLIP 등) 을 능가하는 성능을 달성했습니다.
• 강건성 향상: 문장 순서 변경 (permutation) 이나 요약 문장 제거에 대한 모델의 민감도를 크게 낮추어, 실제 환경에서의 긴 문맥 이해 능력을 향상시켰습니다.

4. 실험 결과 (Results)

• 긴 텍스트 검색 성능: Urban1k, DCI, DOCCI 등의 벤치마크에서 DeBias-CLIP 은 Long-CLIP 대비 T2I(Text-to-Image) 검색 성능을 10% 이상 향상시켰습니다. 특히 ViT-L/14 모델 기준 Urban1k 에서 +5.6% 의 개선을 보였습니다.
• 짧은 텍스트 검색 성능: 긴 텍스트 학습이 짧은 텍스트 성능을 해치지 않고, 오히려 Flickr30k 등에서는 기존 Long-CLIP 대비 약 10% 이상 향상되었습니다.
• 강건성 테스트:
  • 문장 순서 변경: 요약 문장을 4 번째 문장과 교체했을 때, Long-CLIP 은 성능이 9.7% 하락했으나 DeBias-CLIP 은 3.5% 만 하락하여 훨씬 더 강건함을 보였습니다.
  • 요약 문장 제거: 첫 문장을 완전히 제거했을 때 Long-CLIP 은 17.1% 하락했으나, DeBias-CLIP 은 그보다 훨씬 적은 하락폭을 보였습니다.
• 주의 메커니즘 (Attention): DeBias-CLIP 은 Long-CLIP 과 달리 토큰 깊이에 따라 주의 (attention) 가 감소하지 않고, 캡션 전체에 걸쳐 균일하게 분포되는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 CLIP 기반 모델이 긴 텍스트를 처리할 때 겪는 "근시안적"인 문제 (초기 정보에만 집중하는 경향) 를 명확히 규명하고, 데이터 증강을 통해 이를 해결할 수 있음을 보였습니다.

• 실용성: 추가적인 학습 비용이나 복잡한 구조 변경 없이 기존 모델을 즉시 개선할 수 있는 '드롭인 (drop-in)' 솔루션을 제공합니다.
• 응용 분야: 긴 텍스트 설명이 필요한 이미지 검색, 밀도 높은 비전 - 언어 작업 (Zero-shot segmentation, VQA), 그리고 긴 프롬프트를 사용하는 텍스트 - 이미지 생성 (Stable Diffusion 등) 의 성능 향상에 기여합니다.
• 미래 방향: 현재 많은 벤치마크가 '요약 - 세부' 구조를 가지고 있어 편향을 가릴 수 있음을 지적하며, 실제 문서 (교과서, 보고서 등) 의 분할된 텍스트를 다루는 더 정교한 평가 벤치마크의 필요성을 강조합니다.

결론적으로, DeBias-CLIP은 CLIP 모델이 긴 문맥을 효과적으로 이해하고, 텍스트의 모든 부분이 동등하게 중요하다는 것을 학습하도록 유도하여, 멀티모달 AI 의 진보에 중요한 기여를 합니다.