HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models

Résumé Technique : HANCLIP – Une famille de modèles de langage-vision à négation angulaire hyperbolique

Énoncé du Problème
Les modèles de langage-vision (VLM), malgré leurs performances solides sur les tâches standards de recherche et de classification, font preuve d'une fragilité significative lors du traitement de la négation. Les modèles actuels reposent souvent sur des cooccurrences superficielles entre mots et objets plutôt que sur un raisonnement logique profond, ce qui les amène à attribuer des scores de similarité élevés tant aux légendes affirmatives qu'aux légendes niées (par exemple, échouer à distinguer « un chat à côté d'un pommier » de « un chat à côté d'une chaise, pas d'un pommier »). Les solutions existantes qui tentent d'y remédier via des jeux de données spécialisés et des objectifs contrastifs nécessitent généralement un réentraînement à grande échelle, ce qui risque de provoquer un oubli catastrophique des connaissances précédemment acquises et de dégrader les performances sur les benchmarks standards. De plus, de nombreuses approches peinent à modéliser la nature compositionnelle de la négation visuelle, laquelle nécessite un raisonnement sur les relations entre objets et leurs alternatives plutôt qu'une simple inversion lexicale.

Méthodologie
Les auteurs introduisent HANCLIP (Hyperbolic + Angular + Negation), un cadre conçu pour restructurer l'espace d'embedding afin d'encoder explicitement « ce qu'une image n'est pas » parallèlement à « ce qu'elle est ». L'approche est agnostique au modèle et peut être appliquée à des backbones pré-entraînés comme CLIP, LongCLIP, SmartCLIP et HiMo-CLIP en utilisant un jeu de données compact de 20 000 quadruplets image-texte $(I, P, P', N)$, où $I$ est l'image, $P$ est la légende positive, $P'$ est la légende négative de la positive, et $N$ est la véritable légende négative.

La méthodologie repose sur deux composantes clés :

1. Objectif Contrastif Hyperbolique (HCO) :
   Utilisant le modèle du ballon de Poincaré de la géométrie hyperbolique, l'HCO tire parti de la propriété selon laquelle les distances croissent exponentiellement avec le rayon pour modéliser des relations sémantiques hiérarchiques et asymétriques. Contrairement à l'apprentissage contrastif euclidien standard qui traite tous les couples non correspondants comme des négatifs implicites, l'HCO incorpore explicitement les véritables légendes négatives ($N$) dans le dénominateur de la perte.

   • Mécanisme : Il impose une hiérarchie où l'image $I$ et ses légendes affirmative et négative-positive ($P, P'$) sont injectées plus près du centre de l'espace hyperbolique, tandis que les négatifs sémantiquement incompatibles ($N$) sont repoussés vers la bordure.
   • Termes de Perte : L'objectif se compose de trois termes : aligner $P'$ avec $I$ ; s'assurer que $I$ est plus proche de $P'$ que de n'importe quel $N$ ; et aligner $P'$ avec $P$ tout en les séparant de $N$.

2. Perte de Négation par Triplet Angulaire (ATNL) :
   Cette composante opère sur des directions relatives plutôt que sur des distances absolues pour imposer une cohérence géométrique parmi le triplet $(P, P', N)$.

   • Alignement Positif ($L_{pos}$) : Utilisant la légende négative $N$ comme ancrage, ce terme minimise l'angle entre les vecteurs $\vec{NP}$ et $\vec{NP'}$. Cela garantit que la légende négative-positive $P'$ se situe dans une direction sémantique similaire à la véritable positive $P$ lorsqu'elle est vue depuis l'ancre négative.
   • Séparation Négative ($L_{neg}$) : Utilisant la légende négative-positive $P'$ comme ancrage, ce terme maximise l'angle entre les vecteurs $\vec{P'P}$ et $\vec{P'N}$, éloignant la véritable positive de la négative dans l'espace des caractéristiques.
   • Perte Totale : L'objectif d'entraînement final est une somme pondérée : $L_{final} = L_{hc} + \alpha L_{at}$.

3. Atténuation de l'Oubli via LoRA :
   Pour éviter la dégradation des capacités pré-entraînées, le cadre emploie l'adaptation de bas rang (LoRA). Les poids du backbone pré-entraîné sont gelés, et l'adaptation spécifique à la tâche est acheminée via de petites branches de bas rang. Cette conception modulaire permet au modèle d'accumuler des compétences de négation sans écraser le sous-espace utilisé pour la recherche et la classification générales.

Contributions Clés

• Modélisation de la Négation Hyperbolique : Le papier propose la première application de la géométrie hyperbolique spécifiquement pour résoudre la compréhension de la négation dans les VLM, en exploitant des métriques non euclidiennes pour mieux séparer les clusters sémantiques affirmatifs et négatifs.
• Perte de Triplet Angulaire (ATNL) : Une nouvelle fonction de perte bifonctionnelle qui attire simultanément les véritables positives et les négatives-positives tout en repoussant les négatives, basée sur l'alignement angulaire plutôt que sur la simple distance.
• Efficacité des Données et Performance : Le cadre obtient des améliorations significatives en utilisant seulement 20 000 échantillons d'entraînement (un petit sous-ensemble de CC-Neg), évitant ainsi le besoin d'un réentraînement massif.
• Agnosticisme du Modèle : La méthode est appliquée avec succès à quatre architectures de VLM distinctes (CLIP, LongCLIP, SmartCLIP, HiMo-CLIP) sans réentraînement à grande échelle.

Résultats Expérimentaux
Des expériences approfondies ont été menées sur le benchmark NegBench (couvrant la recherche de négation et les questions à choix multiples en zero-shot) et sur des jeux de données de recherche/classification standards (ImageNet, COCO, Flickr30k, Urban1k, ShareGPT4V).

• Performance de la Négation : HANCLIP apporte des gains constants sur NegBench.
  • Recherche de Négation : Le cadre améliore le score rSum global d'environ 5 % à 10 % sur tous les backbones testés. Par exemple, SmartCLIP-L a amélioré son rSum de 427,49 à 438,51.
  • Questions à Choix Multiples (MCQ) : On observe une augmentation moyenne de près de 35 % pour les tâches de type MCQ. Le cadre montre une force particulière dans les questions « Hybrides » (ex: « A mais pas B »), où il améliore les performances de manière bien plus significative que sur les questions purement « Négatives », suggérant de meilleures capacités de raisonnement relatif.
• Préservation des Capacités Générales :
  • Classification : Les performances sur ImageNet, CIFAR-10 et CIFAR-100 restent largement inchangées (variations de $\pm 0,3 \%$), certaines variantes montrant même de légères améliorations, ce qui indique que le remodelage géométrique ne nuit pas à la reconnaissance de base.
  • Recherche : Les tâches de recherche de textes courts et longs voient généralement leurs performances maintenues ou améliorées. Notamment, la recherche Image-vers-Texte (I2T) s'améliore de façon constante, tandis que la recherche Texte-vers-Image (T2I) présente des résultats mixtes mais globalement stables.
• Études d'Ablation : L'Objectif Contrastif Hyperbolique (HCO) est identifié comme le principal moteur de l'amélioration de la gestion de la négation, tandis que la Perte de Triplet Angulaire (ATNL) apporte un raffinement supplémentaire, particulièrement pour les tâches de type MCQ.
• Impact de LoRA : L'adaptation du seul encodeur de texte produit les gains de négation les plus forts, tandis que l'adaptation conjointe visuelle-textuelle (« V+T » offre le meilleur équilibre entre la performance de négation et la stabilité de la recherche de textes longs.

Signification
L'article affirme que HANCLIP démontre qu'un objectif géométrique soigneusement conçu peut substantiellement étendre les capacités de raisonnement des VLM existants sans nécessiter de réentraînement à grande échelle ni causer d'oubli catastrophique. En injectant une structure logique directement dans la géométrie de l'espace d'embedding, le cadre offre une manière principled d'améliorer la sensibilité à la négation tout en préservant la structure globale des représentations pré-entraînées. Les résultats suggèrent que les géométries non euclidiennes et les contraintes angulaires sont des outils efficaces pour traiter la « fragilité » des VLM face à des opérations logiques complexes comme la négation.