💻 computer science

HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models

HANCHLIP führt eine Familie von Vision-Language-Modellen ein, die hyperbolische Geometrie und Winkel-Triplet-Objectives nutzt, um Negation innerhalb eines kompakten Trainingsrahmens explizit zu kodieren, wodurch die Negationssensitivität auf Benchmarks wie NegBench signifikant verbessert wird, während die Leistung bei Standardaufgaben ohne die Notwendigkeit eines groß angelegten Retrainings beibehalten wird.

Ursprüngliche Autoren: Hoang-Bao Le, Aiden Durrant, Thai Son Mai, Binh T. Nguyen, Liting Zhou, Cathal Gurrin

Veröffentlicht 2026-06-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hoang-Bao Le, Aiden Durrant, Thai Son Mai, Binh T. Nguyen, Liting Zhou, Cathal Gurrin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Bibliothekar (ein Vision-Language-Modell), der Millionen von Büchern gelesen und Millionen von Fotos betrachtet hat. Dieser Bibliothekar ist großartig darin, ein Foto einer „Katze“ mit dem Wort „Katze“ abzugleichen. Dieser Bibliothekar hat jedoch einen lustigen blinden Fleck: Er hat Schwierigkeiten mit dem Wort „nicht“.

Wenn man ihm ein Bild einer Katze zeigt und fragt: „Ist das nicht ein Hund?“, wird der Bibliothekar verwirrt. Da er durch das Auswendiglernen von Mustern gelernt hat, sieht er das Wort „Hund“ und das Bild einer Katze, und sein Gehirn sagt einfach: „Oh, diese beiden Dinge treten in meinen Trainingsdaten oft gemeinsam auf“, obwohl der Satz ihm sagt, dass sie das Gegenteil voneinander sind. Er verlässt sich auf oberflächliches Wortmatching anstatt auf echtes logisches Verständnis.

Das Paper stellt ein neues System namens HANCLIP vor, um dies zu beheben. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Die „flache“ Karte

Stellen Sie sich das Gehirn des Bibliothekars als eine riesige, flache Karte (euklidischer Raum) vor. Auf dieser Karte ist alles nur ein Punkt.

Der Punkt für „Katze“ liegt nah beim Punkt für „Kätzchen“.
Der Punkt für „Hund“ liegt weit entfernt.
Aber wenn der Bibliothekar die Phrase „Nicht ein Hund“ sieht, weiß er nicht, wohin er diesen Punkt setzen soll. Er ist zu weit weg von „Hund“, aber auch nicht ganz wie „Katze“. Die flache Karte wird chaotisch, und der Bibliothekar rät falsch.

2. Die Lösung: Eine „Baum“-Karte (Hyperbolischer Raum)

Die Autoren schlagen vor, das Gehirn des Bibliothekars auf eine baumförmige Karte (hyperbolischer Raum) zu übertragen.

Stellen Sie sich einen Baum vor, bei dem der Stamm die Mitte ist. Je näher man zur Mitte kommt, desto allgemeiner ist die Idee (wie „Tier“). Wenn man sich nach außen zu den Ästen und Blättern bewegt, werden die Dinge spezifischer (wie „Katze“, „Hund“, „Nicht ein Hund“).
In dieser Welt des Baumes können „Katze“ und „Nicht ein Hund“ auf demselben Ast sitzen, da sie verwandte Konzepte sind, während „Hund“ auf einem völlig anderen Ast liegt.
Dies ermöglicht es dem Modell zu verstehen, dass „Was ein Bild ist“ und „Was ein Bild nicht ist“, unterschiedliche Äste desselben Baumes sind und nicht nur zufällige Punkte auf einem flachen Boden.

3. Der „Winkel“-Trick (Angular Triplet Negation Loss)

Das System verwendet einen zweiten Trick namens Angular Triplet. Stellen Sie sich drei Personen in einem Raum vor:

Der negative Anker (N): Eine Person, die ein Schild hält, auf dem „Hund“ steht.
Das Positive (P): Eine Person, die ein Schild hält, auf dem „Katze“ steht.
Das negierte Positive (P'): Eine Person, die ein Schild hält, auf dem „Nicht ein Hund“ steht.

Das System lehrt das Modell, die Winkel zwischen ihnen zu betrachten:

Die Ausrichtung: Aus der Perspektung der „Hund“-Person sollten die „Katze“-Person und die „Nicht ein Hund“-Person in etwa die gleiche Richtung schauen. Beide sind „keine Hunde“.
Die Trennung: Die „Katze“-Person und die „Nicht ein Hund“-Person müssen jedoch weit genug voneinander entfernt stehen, damit sie sich nicht gegenseitig verwechseln.

Durch die Anpassung dieser Winkel lernt das Modell, dass „Nicht ein Hund“ in eine ähnliche Richtung zeigt wie „Katze“ (da beide „Nicht-Hunde“ sind), aber es hält sie dennoch deutlich genug getrennt, um Fehler zu vermeiden.

4. Das Ergebnis: Ein smartes, effizientes Upgrade

Die Autoren mussten das Gehirn des Bibliothekars nicht von Grund auf neu aufbauen. Stattdessen verwendeten sie einen kleinen, fokussierten Trainingsdatensatz von nur 20.000 Beispielen (ein winziger Tropfen im Vergleich zu den Millionen, die normalerweise benötigt werden).

Sie testeten dieses neue „HANCLIP“-System an vier verschiedenen bestehenden Modellen (CLIP, LongCLIP, SmartCLIP und HiMo-CLIP). Die Ergebnisse waren:

Bessere Logik: Die Modelle wurden signifikant besser darin, Fragen zu beantworten, die „nicht“ beinhalten (wie „Welches Bild enthält nicht ein Auto?“).
Kein Gedächtnisverlust: Entscheidend war, dass die Modelle nicht verlernten, ihre alten Aufgaben zu erfüllen. Sie sind immer noch genauso gut darin, Bilder basierend auf einfachen Beschreibungen zu finden oder Bilder zu klassifizieren.
Effizienz: Sie erreichten diese Verbesserungen, ohne massive Mengen an neuen Daten oder ein vollständiges Retraining des gesamten Systems zu benötigen.

Kurz gesagt: HANCLIP gibt KI-Modellen eine bessere „mentale Landkarte“ und einen Satz geometrischer Regeln, um das Konzept von „NICHT“ zu verstehen, was es ihnen ermöglicht, darüber zu urteilen, was etwas nicht ist, ohne dabei die Fähigkeit zu verlieren, zu verstehen, was es ist.

Technische Zusammenfassung: HANCLIP – Eine Familie von hyperbolischen, winkelbasierten Negations-Vision-Language-Modellen

Problemstellung
Vision-Language-Modelle (VLMs) weisen trotz ihrer starken Leistung bei Standardaufgaben der Retrieval- und Klassifizierung zeigen erhebliche Sprödigkeit bei der Verarbeitung von Negationen auf. Aktuelle Modelle verlassen sich oft auf oberflächliche Wort-Objekt-Ko-Okkurrenzen statt auf tiefes logisches Denken, was dazu führt, dass sie hohe Ähnlichkeitswerte sowohl für affirmative als auch für negierte Bildunterschriften zuweisen (z. B. das Unvermögen, zwischen „eine Katze neben einem Apfelbaum“ und „eine Katze neben einem Stuhl, nicht einem Apfelbaum“ zu unterscheiden). Bestehende Lösungen, die dies durch spezialisierte Datensätze und kontrastive Zielvorgaben zu adressieren versuchen, erfordern typischerweise ein groß angelegtes Retraining, was das Risiko eines katastrophalen Vergessens bereits erworbener Kenntnisse birgt und die Leistung bei Standard-Benchmarks verschlechtert. Darüber hinaus haben viele Ansätze Schwierigkeiten, die kompositionelle Natur der visuellen Negation zu modellieren, die ein Denken über Objektrelationen und Alternativen erfordert, anstatt nur eine einfache lexikalische Inversion.

Methodik
Die Autoren führen HANCLIP (Hyperbolic + Angular + Negation) ein, ein Framework, das darauf ausgelegt ist, den Embedding-Raum so umzustrukturieren, dass explizit kodiert wird, „was ein Bild nicht ist“, neben dem, „was es ist“. Der Ansatz ist modellagnostisch und kann auf vortrainierte Backbones wie CLIP, LongCLIP, SmartCLIP und HiMo-CLIP unter Verwendung eines kompakten Datensatzes von 20.000 Bild-Text-Quadruplets $(I, P, P', N)$ angewendet werden, wobei $I$ das Bild, $P$ die positive Bildunterschrift, $P'$ die negierte-positive Bildunterschrift und $N$ die wahre negative Bildunterschrift ist.

Die Methodik stützt sich auf zwei Kernkomponenten:

Hyperbolische kontrastive Zielvorgabe (HCO):
Unter Nutzung des Poincaré-Ball-Modells der hyperbolischen Geometrie nutzt HCO die Eigenschaft, dass Distanzen mit dem Radius exponentiell wachsen, um hierarchische und asymmetrische semantische Relationen zu modellieren. Im Gegensatz zum Standard-Euklidischen kontrastiven Lernen, das alle nicht übereinstimmenden Paare als implizite Negative behandelt, bezieht HCO explizit wahre negative Bildunterschriften ( $N$ ) in den Nenner des Loss-Terms ein.
- Mechanismus: Es erzwingt eine Hierarchie, in der das Bild $I$ und seine affirmative sowie negierte-positive Bildunterschriften ( $P, P'$ ) näher zum Zentrum des hyperbolischen Raums eingebettet werden, während semantisch inkompatible Negative ( $N$ ) in Richtung des Randes gedrängt werden.
- Loss-Terme: Die Zielvorgabe besteht aus drei Termen: die Ausrichtung von $P'$ an $I$ ; die Sicherstellung, dass $I$ näher an $P'$ liegt als an jedem $N$ ; und die Ausrichtung von $P'$ an $P$ bei gleichzeitiger Trennung von $N$ .
Winkelbasierter Triplet-Negations-Loss (ATNL):
Diese Komponente operiert auf relativen Richtungen statt auf absoluten Distanzen, um geometrische Konsistenz innerhalb des Triplets $(P, P', N)$ zu erzwingen.
- Positive Ausrichtung ( $L_{pos}$ ): Unter Verwendung der negativen Bildunterschrift $N$ als Anker minimiert dieser Term den Winkel zwischen den Vektoren $\vec{NP}$ und $\vec{NP'}$ . Dies stellt sicher, dass die negierte-positive Bildunterschrift $P'$ in eine ähnliche semantische Richtung wie die wahre positive Bildunterschrift $P$ weist, wenn man sie aus der Sicht des negativen Ankers betrachtet.
- Negative Trennung ( $L_{neg}$ ): Unter Verwendung der negierten-positiven Bildunterschrift $P'$ als Anker maximiert dieser Term den Winkel zwischen den Vektoren $\vec{P'P}$ und $\vec{P'N}$ , wodurch das wahre Positive vom Negativen im Feature-Raum weggedrückt wird.
- Gesamtverlust: Die finale Zielvorgabe ist eine gewichtete Summe: $L_{final} = L_{hc} + \alpha L_{at}$ .
Vergessen-Prävention via LoRA:
Um die Degradierung der vortrainierten Fähigkeiten zu verhindern, setzt das Framework auf Low-Rank Adaptation (LoRA). Die Gewichte des vortrainierten Backbones werden eingefroren, und die aufgabenspezifische Anpassung wird über kleine, niedrigdimensionale (low-rank) Zweige geleitet. Dieses modulare Design ermöglicht es dem Modell, negationsbewusste Fähigkeiten zu akkumulieren, ohne den Subraum zu überschreiben, der für allgemeines Retrieval und Klassifizierung genutzt wird.

Wesentliche Beiträge

Hyperbolische Negationsmodellierung: Das Paper schlägt die erste Anwendung der hyperbolischen Geometrie vor, um spezifisch das Verständnis von Negationen in VLMs zu lösen, indem es nicht-euklidische Metriken nutzt, um affirmative und negative semantische Cluster besser zu trennen.
Winkelbasierter Triplet-Negations-Loss: Ein neuartiger bifokaler Loss-Term, der gleichzeitig wahre Positive und negierte-Positive zusammenzieht, während Negative weggedrückt werden, basierend auf winkelbasierter Ausrichtung statt nur auf Distanz.
Dateneffizienz und Leistung: Das Framework erzielt signifikante Verbesserungen mit nur 20.000 Trainingsbeispielen (ein kleiner Teil von CC-Neg), wodurch ein massives Retraining vermieden wird.
Modellagnostik: Die Methode wurde erfolgreich auf vier verschiedene VLM-Architekturen (CLIP, LongCLIP, SmartCLIP, HiMo-CLIP) angewendet, ohne dass ein groß angelegtes Retraining erforderlich war.

Experimentelle Ergebnisse
Umfangreiche Experimente wurden auf dem NegBench Benchmark (abdeckend Negative Retrieval und Zero-shot Multiple Choice Questions) sowie auf Standard-Retrieval/Klassifizierungs-Datensätzen (ImageNet, COCO, Flickr30k, Urban1k, ShareGPT4V) durchgeführt.

Negationsleistung: HANCLIP liefert konsistente Gewinne auf NegBench.
- Negative Retrieval: Das Framework verbessert den gesamten rSum-Score um etwa 5 % bis 10 % über alle getesteten Backbones hinweg. Beispielsweise verbesserte SmartCLIP-L seinen rSum von 427,49 auf 438,51.
- Multiple Choice Questions (MCQ): Es gibt eine durchschnittliche Steigerung von fast 35 % bei MCQ-Aufgaben. Das Framework zeigt besondere Stärken bei „Hybrid“-Fragen (z. B. „A, aber nicht B“), bei denen es die Leistung im Vergleich zu reinen „negierten“ Fragen signifikant stärker steigert, was auf bessere relative Denkfähigkeiten hindeutet.
Erhalt der allgemeinen Fähigkeiten:
- Klassifizierung: Die Leistung auf ImageNet, CIFAR-10 und CIFAR-100 bleibt weitgehend unverändert (Variationen innerhalb von $\pm 0,3 \%$ ), wobei einige Varianten leichte Verbesserungen zeigen, was darauf hindeutet, dass die geometrische Umgestaltung die Basis-Erkennung nicht beeinträchtigt.
- Retrieval: Standardmäßige Kurztext- und Langtext-Retrieval-Aufgaben zeigen generell eine beibehaltene oder verbesserte Leistung. Bemerkenswerterweise verbessert sich das Image-to-Text (I2T) Retrieval konsistent, während Text-to-Image (T2I) gemischte, aber generell stabile Ergebnisse zeigt.
Ablationsstudien: Der Hyperbolic Contrastive Objective (HCO) wird als primärer Treiber für die verbesserte Handhabung von Negationen identifiziert, während der Angular Triplet Negation Loss (ATNL) weitere Verfeinerungen bietet, insbesondere für MCQ-Aufgaben.
LoRA-Impact: Die Anpassung des Text-Encoders allein liefert die stärksten Gewinne bei der Negation, während eine gemeinsame visuelle-textuelle Anpassung („V+T“) das beste Gleichgewicht zwischen Negationsleistung und Langtext-Retrieval-Stabilität bietet.

Bedeutung
Das Paper behauptet, dass HANCLIP demonstriert, dass eine sorgfältig entworfene geometrische Zielvorgabe die Denkfähigkeiten bestehender VLMs erheblich erweitern kann, ohne dass ein groß angelegtes Retraining erforderlich ist oder ein katastrophales Vergessen eintritt. Durch die Injektion logischer Strukturen direkt in die Geometrie des Embedding-Raums bietet das Framework einen prinzipienbasierten Weg, die Negationssensitivität zu verbessern und gleichzeitig die globale Struktur der vortrainierten Repräsentationen zu bewahren. Die Ergebnisse legen nahe, dass nicht-euklidische Geometrien und winkelbasierte Constraints effektive Werkzeuge sind, um die „Sprödigkeit“ von VLMs beim Umgang mit komplexen logischen Operationen wie der Negation zu adressieren.

1. Das Problem: Die „flache“ Karte

2. Die Lösung: Eine „Baum“-Karte (Hyperbolischer Raum)

3. Der „Winkel“-Trick (Angular Triplet Negation Loss)

4. Das Ergebnis: Ein smartes, effizientes Upgrade

Technische Zusammenfassung: HANCLIP – Eine Familie von hyperbolischen, winkelbasierten Negations-Vision-Language-Modellen

Mehr davon