HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models

Technische Samenvatting: HANCLIP – Een familie van Hyperbolische Angulaire Negatie Visuele Taalmodellen

Probleemstelling
Visuele Taalmodellen (VLMs), ondanks hun sterke prestaties bij standaard retrieval- en classificatietaken, vertonen aanzienlijke broosheid bij het verwerken van negatie. Huidige modellen vertrouwen vaak op oppervlakkige co-occurrences tussen woorden en objecten in plaats van op diep logisch redeneren, wat ertoe leidt dat ze hoge gelijkenheidsscores toekennen aan zowel affirmatieve als genegeerde bijschriften (bijv. het niet kunnen onderscheiden tussen "een kat naast een appelboom" en "een kat naast een stoel, geen appelboom"). Bestaande oplossingen die dit proberen aan te pakken via gespecialiseerde datasets en contrastieve doelstellingen, vereisen doorgaans grootschalige hertraining, wat het risico op catastrofale vergetelheid van eerder verworven kennis met zich meebrengt en de prestaties op standaard benchmarks verslechtert. Bovendien hebben veel benaderingen moeite met het modelleren van de compositionele aard van visuele negatie, wat redeneren over objectrelaties en alternatieven vereist in plaats van eenvoudige lexicale inversie.

Methodologie
De auteurs introduceren HANCLIP (Hyperbolic + Angular + Negation), een framework dat is ontworpen om de embedding-ruimte te herstructureren om expliciet te coderen "wat een afbeelding niet is" naast "wat het wel is". De aanpak is model-agnostisch en kan worden toegepast op getrainde backbones zoals CLIP, LongCLIP, SmartCLIP en HiMo-CLIP met behulp van een compacte dataset van 20.000 beeld-tekst-kwartetten $(I, P, P', N)$, waarbij $I$ de afbeelding is, $P$ het positieve bijschrift is, $P'$ het genegeerde-positieve bijschrift is, en $N$ het ware negatieve bijschrift is.

De methodologie steunt op twee kerncomponenten:

1. Hyperbolische Contrastieve Doelstelling (HCO):
   Door gebruik te maken van het Poincaré-balmodel van hyperbolische geometrie, benut HCO de eigenschap dat afstanden exponentieel groeien met de straal om hiërarchische en asymmetrische semantische relaties te modelleren. In tegen tegenstelling tot standaard Euclidische contrastieve leer, die alle niet-overeenkomende paren als impliciete negatieven behandelt, incorporeert HCO expliciet de ware negatieve bijschriften ($N$) in de noemer van de loss.

   • Mechanisme: Het dwingt een hiërarchie af waarbij de afbeelding $I$ en haar affirmatieve/genegeerde-positieve bijschriften ($P, P'$) dichter bij het centrum van de hyperbolische ruimte worden geplaatst, terwijl semantisch incompatibele negatieven ($N$) naar de rand worden geduwd.
   • Loss-termen: De doelstelling bestaat uit drie termen: het afstemmen van $P'$ op $I$; het waarborgen dat $I$ dichter bij $P'$ ligt dan bij enige $N$; en het afstemmen van $P'$ op $P$ terwijl ze gescheiden worden van $N$.

2. Angulaire Triplet Negatie Loss (ATNL):
   Deze component werkt op relatieve richtingen in plaats van absolute afstanden om geometrische consistentie tussen de triplet $(P, P', N)$ af te dwingen.

   • Positieve Afstemming ($L_{pos}$): Met het negatieve bijschrift $N$ als anker, minimaliseert deze term de hoek tussen de vectoren $\vec{NP}$ en $\vec{NP'}$. Dit zorgt ervoor dat het genegeerde-positieve bijschrift $P'$ in een vergelijkbare semantische richting ligt als het ware positieve $P$ wanneer men vanuit het negatieve anker kijkt.
   • Negatieve Separatie ($L_{neg}$): Met het genegeerde-positieve bijschrift $P'$ als anker, maximaliseert deze term de hoek tussen de vectoren $\vec{P'P}$ en $\vec{P'N}$, waardoor het ware positieve wordt weggeduwd van het negatieve in de feature-ruimte.
   • Totale Loss: De uiteindelijke trainingsdoelstelling is een gewogen som: $L_{final} = L_{hc} + \alpha L_{at}$.

3. Vergetelheidsmitigatie via LoRA:
   Om de degradatie van vooraf getrainde capaciteiten te voorkomen, gebruikt het framework Low-Rank Adaptation (LoRA). De gewichten van de vooraf getrainde backbone worden bevroren, en taakspecifieke adaptatie wordt gerouteerd via kleine, low-rank takken. Dit modulaire ontwerp stelt het model in staat om negatie-bewuste vaardigheden te accumuleren zonder de subspace die wordt gebruikt voor algemene retrieval en classificatie te overschrijven.

Belangrijkste Bijdragen

• Hyperbolische Negatie Modellering: Het artikel stelt de eerste toepassing van hyperbolische geometrie voor die specifiek is bedoeld om het begrip van negatie in VLMs op te lossen, waarbij gebruik wordt gemaakt van niet-Euclidische metrieken om affirmatieve en negatieve semantische clusters beter te scheiden.
• Angulaire Triplet Negatie Loss: Een nieuwe bifold loss-functie die tegelijkertijd ware positieven en genegeerde-positieven naar elkaar toe trekt terwijl negatieven worden weggeduwd, gebaseerd op angulaire afstemming in plaats van alleen afstand.
• Efficiëntie van Data en Prestaties: Het framework behaalt significante verbeteringen met slechts 20.000 trainingsmonsters (een kleine subset van CC-Neg), waardoor de noodzaak voor massale hertraining wordt vermeden.
• Model-Agnostisch: De methode is succesvol toegepast op vier verschillende VLM-architecturen (CLIP, LongCLIP, SmartCLIP, HiMo-CLIP) zonder grootschalige hertraining.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op de NegBench benchmark (dekking van Negative Retrieval en Zero-shot Multiple Choice Questions) en standaard retrieval/classificatie datasets (ImageNet, COCO, Flickr30k, Urban1k, ShareGPT4V).

• Negatie Prestaties: HANCLIP levert consistente winst op de NegBench.
  • Negative Retrieval: Het framework verbetert de algemene rSum-score met ongeveer 5%–10% over alle geteste backbones. Bijvoorbeeld, SmartCLIP-L verbeterde de rSum van 427,49 naar 438,51.
  • Multiple Choice Questions (MCQ): Er is een gemiddelde stijging van bijna 35% in MCQ-taken. Het framework toont met name kracht in "Hybride" vragen (bijv. "A maar niet B"), waarbij het de prestaties aanzienlijk meer verbetert dan op pure "Genegeerde" vragen, wat wijst op betere relatieve redeneervaardigheden.
• Behoud van Algemene Capaciteiten:
  • Classificatie: Prestaties op ImageNet, CIFAR-10 en CIFAR-100 blijven grotendeels onveranderd (variaties binnen $\pm 0,3\%$), waarbij sommige varianten lichte verbeteringen laten zien, wat aangeeft dat de geometrische hervorming de basisherkenning niet schaadt.
  • Retrieval: Standaard korte-tekst en lange-tekst retrieval-taken zien over het algemeen een gelijkblijvend of verbeterd prestatieniveau. Opvallend genoeg verbetert Image-to-Text (I2T) retrieval consistent, terwijl Text-to-Image (T2I) gemengde maar over het algemeen stabiele resultaten laat zien.
• Ablatie-studies: De Hyperbolische Contrastieve Doelstelling (HCO) wordt geïdentificeerd als de primaire drijfveer voor verbeterde afhandeling van negatie, terwijl de Angulaire Triplet Negatie Loss (ATNL) verdere verfijning biedt, met name voor MCQ-taken.
• Impact van LoRA: Het aanpassen van enkel de tekst-encoder levert de sterkste winst in negatie op, terwijl gezamenlijke visuele-tekst adaptatie ("V+T") de beste balans biedt tussen negatie-prestaties en de stabiliteit van lang-tekst retrieval.

Betekenis
Het artikel beweert dat HANCLIP aantoont dat een zorgvuldig ontworpen geometrische doelstelling de redeneervaardigheden van bestaande VLMs substantieel kan uitbreiden zonder dat grootschalige hertraining of catastrofale vergetelheid nodig is. Door logische structuur direct in de geometrie van de embedding-ruimte te injecteren, biedt het framework een principiële manier om de gevoeligheid voor negatie te verbeteren terwijl de globale structuur van vooraf getrainde representaties behouden blijft. De resultaten suggereren dat niet-Euclidische geometrieën en angulaire restricties effectieve instrumenten zijn om de "broosheid" van VLMs bij het afhandelen van complexe logische operaties zoals negatie aan te pakken.