HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models

Sintesi Tecnica: HANCLIP – Una famiglia di modelli Vision-Language con negazione angolare iperbolica

Problematica
I modelli Vision-Language (VLM), nonostante le loro forti prestazioni nei compiti standard di recupero e classificazione, mostrano una significativa fragilità nell'elaborare la negazione. Gli attuali modelli spesso si affidano a co-occorrenze superficiali tra parole e oggetti piuttosto che a un ragionamento logico profondo, portandoli ad assegnare punteggi di similarità elevati sia a didascalie affermative che negate (ad esempio, fallendo nel distinguere tra "un gatto accanto a un albero di mele" e "un gatto accanto a una sedia, non un albero di mele"). Le soluzioni esistenti che tentano di affrontare questo problema tramite dataset specializzati e obiettivi contrastivi richiedono tipicamente un riaddestramento su larga scala, il che rischia il dimenticanza catastrofica delle conoscenze precedentemente acquisite e degrada le prestazioni sui benchmark standard. Inoltre, molti approcci faticano a modellare la natura composizionale della negazione visiva, che richiede il ragionamento sulle relazioni tra oggetti e le alternative, piuttosto che sulla semplice inversione lessicale.

Metodologia
Gli autori introducono HANCLIP (Hyperbolic + Angular + Negation), un framework progettato per ristrutturare lo spazio di embedding per codificare esplicitamente "ciò che un'immagine non è" insieme a "ciò che è". L'approccio è agnostico rispetto al modello e può essere applicato a backbone pre-addestrati come CLIP, LongCLIP, SmartCLIP e HiMo-CLIP utilizzando un dataset compatto di 20.000 quadruplette immagine-testo $(I, P, P', N)$, dove $I$ è l'immagine, $P$ è la didascalia positiva, $P'$ è la didascalia positiva-negata e $N$ è la vera didascalia negativa.

La metodologia si basa su due componenti principali:

1. Obiettivo Contrastivo Iperbolico (HCO):
   Utilizzando il modello della palla di Poincaré della geometria iperbolica, l'HCO sfrutta la proprietà per cui le distanze crescono esponenzialmente con il raggio per modellare relazioni semantiche gerarchiche e asimmetriche. A differenza del tipico apprendimento contrastivo euclideo che tratta tutte le coppie non corrispondenti come negativi impliciti, l'HCO incorpora esplicitamente le vere didascalie negative ($N$) nel denominatore della perdita.

   • Meccanismo: Impone una gerarchia in cui l'immagine $I$ e le sue didascalie affermative/negate-positive ($P, P'$) sono incorporate più vicino al centro dello spazio iperbolico, mentre le negazioni semanticamente incompatibili ($N$) sono spinte verso il confine.
   • Termini di Perdita: L'obiettivo consiste in tre termini: allineare $P'$ con $I$; garantire che $I$ sia più vicino a $P'$ che a qualsiasi $N$; e allineare $P'$ con $P$ separandoli al contempo da $N$.

2. Perdita di Negazione Triplet Angolare (ATNL):
   Questa componente opera su direzioni relative piuttosto che su distanze assolute per imporre la coerenza geometrica tra la triplette $(P, P', N)$.

   • Allineamento Positivo ($L_{pos}$): Utilizzando la didascalia negativa $N$ come ancora, questo termine minimizza l'angolo tra i vettori $\vec{NP}$ e $\vec{NP'}$. Ciò assicura che la didascalia positiva-negata $P'$ si trovi in una direzione semantica simile alla vera positiva $P$ quando vista dalla negativa come ancora.
   • Separazione Negativa ($L_{neg}$): Utilizzando la didascalia positiva-negata $P'$ come ancora, questo termine massimizza l'angolo tra i vettori $\vec{P'P}$ e $\vec{P'N}$, allontanando il vero positivo dal negativo nello spazio delle feature.
   • Perdita Totale: L'obiettivo finale è una somma pesata: $L_{final} = L_{hc} + \alpha L_{at}$.

3. Mitigazione del Dimenticanza tramite LoRA:
   Per prevenire il degrado delle capacità pre-addestrate, il framework impiega la Low-Rank Adaptation (LoRA). I pesi del backbone pre-addestrato sono congelati e l'adattamento specifico del compito è instradato attraverso piccoli rami a basso rango. Questo design modulare permette al modello di accumulare competenze di negazione senza sovrascrivere il sottospazio utilizzato per il recupero e la classificazione generale.

Contributi Chiave

• Modellazione della Negazione Iperbolica: Il lavoro propone la prima applicazione della geometria iperbolica specificamente per risolvere la comprensione della negazione nei VLM, sfruttando metriche non euclidee per separare meglio i cluster semantici affermativi e negativi.
• Perdita di Negazione Triplet Angolare: Una nuova funzione di perdita bifida che attira simultaneamente i veri positivi e i positivi-negati, mentre spinge via i negativi, basandosi sull'allineamento angolare piuttosto che sulla semplice distanza.
• Efficienza dei Dati e Prestazioni: Il framework ottiene miglioramenti significativi utilizzando solo 20.000 campioni di addestramento (un piccolo sottoinsieme di CC-Neg), evitando la necessità di un riaddestramento massivo.
• Agnosticismo del Modello: Il metodo è applicato con successo a quattro diverse architetture VLM (CLIP, LongCLIP, SmartCLIP, HiMo-CLIP) senza riaddestramento su larga scala.

Risultati Sperimentali
Sono stati condotti esperimenti estesi sul benchmark NegBench (che copre il Recupero Negativo e le Domande a Scelta Multipla Zero-shot) e su dataset standard di recupero/classificazione (ImageNet, COCO, Flickr30k, Urban1k, ShareGPT4V).

• Prestazioni sulla Negazione: HANCLIP fornisce guadagni consistenti su NegBench.
  • Recupero Negativo: Il framework migliora il punteggio rSum complessivo di circa il 5%-10% in tutti i backbone testati. Ad esempio, SmartCLIP-L ha migliorato il suo rSum da 427,49 a 438,51.
  • Domande a Scelta Multipla (MCQ): Si registra un aumento medio di quasi il 35% nei compiti MCQ. Il framework mostra una forza particolare nelle domande "Ibride" (es. "A ma non B"), dove migliora le prestazioni in modo significativamente maggiore rispetto alle domande puramente "Negate", suggerendo migliori capacità di ragionamento relativo.
• Preservazione delle Capacità Generali:
  • Classificazione: Le prestazioni su ImageNet, CIFAR-10 e CIFAR-100 rimangono ampiamente invariate (variazioni entro $\pm 0,3\%$), con alcune varianti che mostrano lievi miglioramenti, indicando che la rimodellazione geometrica non danneggia il riconoscimento di base.
  • Recupero: I compiti standard di recupero di testi brevi e lunghi vedono generalmente mantenute o migliorate le prestazioni. In particolare, il recupero Immagine-Testo (I2T) migliora costantemente, mentre il Testo-Immagine (T2I) mostra risultati misti ma generalmente stabili.
• Studi di Ablazione: L'Obiettivo Contrastivo Iperbolico (HCO) è identificato come il driver principale per il miglioramento della gestione della negazione, mentre la Perdita di Negazione Triplet Angolare (ATNL) fornisce un ulteriore raffinamento, particolarmente per i compiti MCQ.
• Impatto di LoRA: L'adattamento del solo encoder testuale produce i maggiori guadagni nella negazione, mentre l'adattamento congiunto visivo-testuale ("V+T") offre il miglior equilibrio tra prestazioni di negazione e stabilità del recupero di testi lunghi.

Significatività
Il paper sostiene che HANCLIP dimostra come un obiettivo geometrico accuratamente progettato possa estendere sostanzialmente le capacità di ragionamento degli esistenti VLM senza richiedere un riaddestramento su larga scala o causare un dimenticanza catastrofica. Iniettando una struttura logica direttamente nella geometria dello spazio di embedding, il framework offre un modo fondato per migliorare la sensibilità alla negazione preservando la struttura globale delle rappresentazioni pre-addestrate. I risultati suggeriscono che le geometrie non euclidee e i vincoli angolari sono strumenti efficaci per affrontare la "fragilità" dei VLM nel gestire operazioni logiche complesse come la negazione.