When Negation Is a Geometry Problem in Vision-Language Models

1. Il Problema: La Negazione nei Modelli Vision-Language

I modelli di embedding congiunto visione-linguaggio, come CLIP (Contrastive Language–Image Pretraining), eccellono nell'allineare immagini e testo, ma falliscono sistematicamente nella comprensione della negazione (es. "una camicia blu senza loghi").

• Limitazione attuale: I modelli tendono a trattare le query come un "sacco di parole" (bag-of-words), ignorando la struttura sintattica e le relazioni logiche. Di conseguenza, una query con negazione viene spesso mappata nello stesso spazio vettoriale della sua controparte affermativa.
• Approcci esistenti: Le soluzioni precedenti si basano su strategie data-centric, generando dataset sintetici massicci con caption negate e fine-tuning del modello CLIP.
• Criticità degli approcci attuali:
  1. Falsi Negativi: I dataset sintetici spesso etichettano come "negativi" immagini che in realtà soddisfano la query, ma non sono state selezionate come ground-truth univoca dal pipeline di annotazione automatica.
  2. Metriche ingannevoli: Le metriche di recupero standard (es. Recall@K) non distinguono tra un recupero semanticamente corretto e la corretta comprensione della negazione logica.
  3. Collasso del modello: Alcuni modelli fine-tuned (come ConCLIP) collassano completamente, restituendo immagini irrilevanti per query negate.

2. Metodologia Proposta

Il paper propone un duplice approccio: una nuova metodologia di valutazione e una tecnica di intervento geometrico senza fine-tuning.

A. Valutazione basata su MLLM-as-a-Judge

Per superare i limiti delle metriche tradizionali, gli autori introducono un framework di valutazione supervisionato da Multimodal Large Language Models (MLLM) che agiscono come giudici.

• Protocollo: Per ogni query negata e immagine recuperata, un MLLM (es. Qwen-3-VL) risponde a due domande sequenziali:
  1. Giudice Semantico ($q_r$): "L'immagine è contestualmente e semanticamente corretta rispetto alla parte affermativa della query?"
  2. Giudice di Negazione ($q_n$): "L'oggetto o l'azione negata è assente nell'immagine?"
• Vantaggio: Questo metodo è unsupervised rispetto al dataset di retrieval, può essere applicato a database di qualsiasi dimensione e rileva errori logici che le metriche di similarità coseno ignorano.

B. Direzione di Negazione e Steering Geometrico

Gli autori ipotizzano che l'informazione sulla negazione sia già codificata nello spazio di embedding di CLIP, ma non venga sfruttata correttamente durante il recupero.

• Scoperta: Analizzando gli stati nascosti (hidden states) del text encoder di CLIP, è stato identificato un vettore direzionale che separa linearmente le caption affermate da quelle negate.
• Tecnica di Intervento (Steering): Invece di ri-addestrare il modello, viene applicato un intervento a tempo di inferenza (test-time intervention):
  1. Si addestra un classificatore binario lineare su un piccolo dataset di caption (4.000 campioni) per identificare la direzione della negazione ($W_{dir}$).
  2. Durante l'inferenza, l'embedding del testo ($h_l$) viene "spinto" verso la direzione della negazione se la query contiene un negatore:
     $$h_l = (1 - \alpha)h_l + \alpha W_{dir}||h_l||$$
  3. Il parametro $\alpha$ controlla l'intensità dello spostamento, preservando la norma del vettore per evitare di uscire dalla distribuzione originale.

3. Risultati Chiave

I risultati sono stati valutati su benchmark esistenti (NegBench) e nuovi benchmark creati dagli autori (SimpleNeg e N-COCO).

• Valutazione MLLM-as-a-Judge:
  • Le metriche standard mostravano miglioramenti marginali per i modelli fine-tuned rispetto a CLIP base.
  • La valutazione con MLLM ha rivelato che la maggior parte dei baseline fallisce nel comprendere la negazione logica, mentre il metodo di Steering proposto ottiene prestazioni superiori a tutti i baseline (es. Top-1 del 54.3% vs 53.1% di CLIP-CC12M su SimpleNeg), senza alcun fine-tuning.
• Generalizzazione (N-COCO):
  • Su un benchmark di oggetti non comuni e scenari fuori distribuzione (N-COCO), i modelli fine-tuned (NegCLIP, CLIP-CC12M) hanno subito un calo significativo di prestazioni (overfitting sui pattern sintetici di addestramento).
  • Il metodo di Steering ha mantenuto una robustezza superiore (R@1 = 0.80), dimostrando che la manipolazione geometrica preserva la capacità di generalizzazione del modello originale.
• Efficienza:
  • Il metodo richiede solo 4.000 campioni di testo (0.03% dei dati usati negli approcci precedenti) e non richiede immagini per l'addestramento del classificatore lineare.

4. Contributi Principali

1. Critica alle Metriche di Valutazione: Identificazione di due limiti fondamentali (falsi negativi e collasso del modello) nelle metriche di recupero attuali e proposta di un protocollo di valutazione basato su MLLM-as-a-Judge.
2. Analisi Geometrica: Dimostrazione empirica che una direzione vettoriale per la negazione esiste già nello spazio di embedding di CLIP, specialmente negli strati intermedi del text encoder.
3. Soluzione senza Fine-Tuning: Sviluppo di una tecnica di representation steering che permette a CLIP di comprendere la negazione modificando geometricamente gli embedding a runtime, senza alterare i pesi del modello o richiedere grandi dataset sintetici.

5. Significato e Implicazioni

Questo lavoro ribalta la narrazione secondo cui la comprensione della negazione richieda necessariamente un massiccio ri-addestramento con dati sintetici.

• Efficienza: Dimostra che interventi leggeri a livello di rappresentazione possono risolvere problemi complessi di ragionamento logico, riducendo drasticamente i costi computazionali e i requisiti di dati.
• Robustezza: Evita il problema dell'overfitting tipico dei dataset sintetici, mantenendo la capacità del modello di generalizzare su scenari non visti durante l'addestramento.
• Futuro: Apre la strada all'uso di tecniche di representation engineering per correggere difetti specifici nei modelli foundation, spostando la complessità dalla fase di addestramento a quella di valutazione e inferenza.

In sintesi, il paper suggerisce che la "negazione" non è un'informazione mancante da apprendere, ma una struttura geometrica già presente che deve essere semplicemente "orientata" correttamente.