HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models

기술 요약: HANCLIP – 쌍곡형 각도 부정(Hyperbolic Angular Negation) 시각-언어 모델 제품군

문제 정의
시각-언어 모델(VLM)은 표준 검색 및 분류 작업에서는 강력한 성능을 보임에도 불구하고, 부정을 처리할 때 상당한 취약성을 드러냅니다. 현재의 모델들은 심층적인 논리적 추론보다는 얕은 단어-객체 공기 발생(co-occurrence)에 의존하는 경우가 많으며, 이로 인해 긍정적 캡션과 부정적 캡션을 구분하지 못하고 둘 모두에 높은 유사도 점수를 부여하는 현상(예: "사과 나무 옆의 고양이"와 "사과 나무가 아닌 의자 옆의 고양이"를 구분하지 못함)이 발생합니다. 이러한 문제를 특화된 데이터셋과 대조 학습 목적 함수를 통해 해결하려는 기존 방식들은 대규모 재학습을 요구하며, 이는 기존에 습득한 지식의 파괴적 망각(catastrophic forgetting)을 초래하고 표준 벤치마크 성능을 저하시킬 위험이 있습니다. 또한, 많은 접근 방식이 단순한 어휘적 반전이 아닌 객체 관계와 대안에 대한 추론을 요구하는 시각적 부정의 구성적(compositional) 특성을 모델링하는 데 어려움을 겪습니다.

방법론
저자들은 "이미지가 무엇이 아닌가"를 "이미지가 무엇인가"와 함께 명시적으로 인코딩하도록 임베딩 공간을 재구조화하기 위해 설계된 프레임워크인 HANCLIP(Hyperbolic + Angular + Negation)을 소개합니다. 이 접근 방식은 모델 불가지론적(model-agnostic)이며, 이미지-텍스트 사중항 $(I, P, P', N)$으로 구성된 소규모 데이터셋(20,000개)을 사용하여 CLIP, LongCLIP, SmartCLIP, HiMo-CLIP과 같은 사전 학습된 백본에 적용할 수 있습니다. 여기서 $I$는 이미지, $P$는 긍정 캡션, $P'$는 부정된 긍정 캡션, $N$은 실제 부정 캡션입니다.

방법론은 두 가지 핵심 구성 요소에 의존합니다:

1. 쌍곡형 대조 목적 함수 (Hyperbolic Contrastive Objective, HCO):
   푸앵카레 볼(Poincaré ball) 모델인 쌍곡 기하학을 활용하는 HCO는 거리가 반지름에 따라 기하급수적으로 증가하는 특성을 이용하여 계층적이고 비대칭적인 의미 관계를 모델링합니다. 모든 비매칭 쌍을 암묵적 부정으로 취급하는 표준 유클리드 대조 학습과 달리, HCO는 실제 부정 캡션($N$)을 손실 함수의 분모에 명시적으로 포함합니다.

   • 메커니즘: 이미지 $I$와 그 긍정/부정된 긍정 캡션($P, P'$)은 쌍곡 공간의 중심에 가깝게 배치하고, 의미적으로 호환되지 않는 부정($N$)은 경계 쪽으로 밀어내는 계층 구조를 강제합니다.
   • 손실 항: 이 목적 함수는 세 가지 항으로 구성됩니다: $P'$를 $I$와 정렬시키기; $I$가 임의의 $N$보다 $P'$에 더 가깝도록 보장하기; 그리고 $P'$를 $P$와 정렬시키는 동시에 $N$과는 분리하기.

2. 각도 삼중항 부정 손실 (Angular Triplet Negation Loss, ATNL):
   이 구성 요소는 단순한 거리가 아닌 상대적 방향을 기반으로 작동하여 삼중항 $(P, P', N)$ 사이의 기하학적 일관성을 강제합니다.

   • 긍정 정렬 ($L_{pos}$): 부정 캡션 $N$을 앵커로 사용하여 벡터 $\vec{NP}$와 $\vec{NP'}$ 사이의 각도를 최소화합니다. 이는 $P'$가 $N$의 관점에서 보았을 때 진정한 양의 캡션 $P$와 유사한 의미적 방향을 갖도록 보장합니다.
   • 부정 분리 ($L_{neg}$): 부정된 긍정 캡션 $P'$를 앵커로 사용하여 벡터 $\vec{P'P}$와 $\vec{P'N}$ 사이의 각도를 최대화함으로써, 진정한 양의 캡션을 특징 공간에서 부정으로부터 밀어냅니다.
   • 최종 손실: 최종 학습 목적 함수는 가중 합산된 형태입니다: $L_{final} = L_{hc} + \alpha L_{at}$.

3. LoRA를 통한 망각 방지:
   사전 학습된 능력의 저하를 방지하기 위해, 이 프레임워크는 저차 적응(Low-Rank Adaptation, LoRA)을 채택합니다. 사전 학습된 백본의 가중치는 동결되며, 작업 특화 적응은 작고 저차원인 브랜치를 통해 수행됩니다. 이러한 모듈형 설계는 모델이 일반적인 검색 및 분류에 사용되는 하위 공간을 덮어쓰지 않으면서도 부정 인지 능력을 축적할 수 있게 합니다.

주요 기여

• 쌍곡형 부정 모델링: 본 논문은 VLM의 부정 이해 문제를 해결하기 위해 쌍곡 기하학을 적용한 첫 사례를 제안하며, 비유클리드 메트릭을 활용하여 긍정 및 부정 의미 클러스터를 더 잘 분리합니다.
• 각도 삼중항 부정 손실: 거리 기반이 아닌 각도 정렬을 기반으로 진정한 양의 캡션과 부정된 긍정 캡션을 함께 끌어당기고 부정은 밀어내는 새로운 이중 구조 손실 함수를 제 제안합니다.
• 데이터 효율성 및 성능: 20,000개의 학습 샘플(CC-Neg의 일부)만을 사용하여 대규모 재학습 없이도 상당한 개선을 달는 데이터 효율성을 보여줍니다.
• 모델 불가지론: 이 방법은 네 가지 서로 다른 VLM 아키텍처(CLIP, LongCLIP, SmartCLIP, HiMo-CLIP)에 대규모 재학습 없이 성공적으로 적용되었습니다.

실험 결과
NegBench 벤치마크(부정 검색 및 제로샷 다중 선택 질문 포함)와 표준 검색/분류 데이터셋(ImageNet, COCO, Flickr30k, Urban1k, ShareGPT4V)에 대해 광범형 실험을 수행했습니다.

• 부정 성능: HANCLIP은 NegBench에서 일관된 이득을 제공합니다.
  • 부정 검색 (Negative Retrieval): 프레임워크는 테스트된 모든 백본에서 전체 rSum 점수를 약 5%~10% 향상시킵니다. 예를 들어, SmartCLIP-L은 rSum을 427.49에서 438.51로 개선했습니다.
  • 다중 선택 질문 (MCQ): MCQ 작업에서 평균적으로 거의 **35%**의 성능 향상이 나타납니다. 특히 "A이지만 B는 아니다"와 같은 "혼합형(Hybrid)" 질문에서 순수 "부정형(Negated)" 질문보다 성능이 훨씬 더 크게 향상되었는데, 이는 상대적 추론 능력이 개선되었음을 시사합니다.
• 일반 능력 보존:
  • 분류 (Classification): ImageNet, CIFAR-10, CIFAR-100에서의 성능은 거의 변하지 않았으며($\pm 0.3\%$ 이내의 변동), 일부 변형 모델은 약간의 향상을 보여 기하학적 재구성이 기본 인식 능력을 해치지 않음을 입증했습니다.
  • 검색 (Retrieval): 표준 단문 및 장문 검색 작업에서도 성능이 유지되거나 향상되었습니다. 특히 이미지-텍스트(I2T) 검색은 일관되게 개선되었으며, 텍스트-이미지(T2I)는 혼재되어 있으나 대체로 안정적인 결과를 보였습니다.
• 절제 연구 (Ablation Studies): 쌍곡형 대조 목적 함수(HCO)가 부정 처리 개선의 주요 동력으로 확인되었으며, 각도 삼중항 부정 손실(ATNL)은 특히 MCQ 작업에서 추가적인 정교함을 제공하는 것으로 나타났습니다.
• LoRA 영향: 텍스트 인코더만을 적응시켰을 때 가장 강력한 부정 이득을 얻었으며, 시각-텍스트 공동 적응("V+T")은 부정 성능과 장문 검색 안정성 사이에서 최적의 균형을 제공했습니다.

의의
본 논문은 정교하게 설계된 기하학적 목적 함수가 대규모 재학습이나 파괴적 망각 없이도 기존 VLM의 추론 능력을 실질적으로 확장할 수 있음을 입증한다고 주장합니다. 임베딩 공간의 기하학 구조에 직접 논리적 구조를 주입함으로써, 이 프레임워크는 사전 학습된 표현의 전역적 구조를 보존하면서도 부정 민감도를 향상시키는 원칙적인 방법을 제시합니다. 결과적으로, 비유클리드 기하학과 각도 제약이 부정과 같은 복잡한 논리 연산을 처리하는 데 있어 VLM의 "취약성"을 해결하는 효과적인 도구임을 보여줍니다.