Sintesi Tecnica: LeVLJEPA

Definizione del Problema

Il pre-addestramento visione-linguaggio (VLP) è stato storicamente dominato da obiettivi contrastivi (es. CLIP, SigLIP), che ottimizzano l'allineamento di un singolo embedding d'immagine aggregato (pooled) con un embedding testuale. Mentre l'apprendimento auto-supervisionato puramente visivo si è ampiamente spostato verso metodi non contrastivi e predittivi (es. DINO, I-JEPA, LeJEPA), il VLP non ha seguito questa traiettoria.

Questa discrepanza crea un disallineamento tra gli obiettivi di addestramento e le moderne necessità di implementazione. Gli encoder visione-linguaggio sono sempre più utilizzati non come classificatori zero-shot, ma come backbone visivi congelati per sistemi di predizione densa (es. segmentazione semantica) e modelli visione-linguaggio (es. LLaVA). Questi sistemi a valle consumano l'intera griglia di token di patch piuttosto che un singolo vettore aggregato. Gli obiettivi contrastivi, tuttavia, supervisionano principalmente l'embedding globale aggregato, trattando le caratteristiche per-token solo come un sottoprodotto. Il paper pone la domanda: Il pre-addestramento visione-linguaggio end-to-end può funzionare senza negativi contrastivi per servire meglio queste applicazioni dense a livello di token?

Metodologia: LeVLJEPA

Gli autori introducono LeVLJEPA, il primo metodo di pre-addestramento visione-linguaggio end-to-end completamente non contrastivo. Adatta il framework LeJEPA al contesto cross-modale utilizzando un'architettura predittiva con vincoli specifici per prevenire il collasso delle rappresentazioni senza coppie negative.

Architettura e Obiettivo

Il metodo impiega due encoder: un Vision Transformer (ViT) per le immagini e un encoder basato su GPT-2 per il testo. Entrambi producono embedding ($Z_V$ e $Z_T$) che vengono passati attraverso predittori specifici per modalità (MLP) per generare predizioni cross-modali.

L'obiettivo di addestramento, $L_{LeVLJEPA}$, combina due componenti:

1. Predizione Cross-Modale con Stop-Gradients:

   • L'encoder d'immagine predice l'embedding testuale, e l'encoder testuale predice l'embedding d'immagine.
   • Fondamentalmente, i target sono scollati tramite un'operazione di stop-gradient: i gradienti fluiscono solo attraverso il predittore e l'encoder che produce la predizione, non attraverso l'encoder che produce il target.
   • Loss: $L_{cross} = \frac{1}{B} \sum (\|h_v(z_v) - \text{sg}(z_t)\|^2 + \|h_t(z_t) - \text{sg}(z_v)\|^2)$.
   • Questa asimmetria impedisce agli encoder di collassare in uno spazio sottospaziale comune a bassa dimensionalità, un modo di fallimento osservato quando si utilizza la regressione simmetrica diretta.

2. Regolarizzazione Distribuionale Per-Modalità (SIGReg):

   • Per prevenire il collasso senza coppie negative, la distribuzione degli embedding di ogni modalità viene regolarizzata per essere una Gaussiana isotropa.
   • Ciò è ottenuto tramite SIGReg (Sketched Isotropic Gaussian Regularization), che proietta gli embedding su direzioni 1D casuali e applica un test di normalità basato sulla funzione caratteristica (Epps–Pulley).
   • Questo evita la maledizione della dimensionalità associata alla corrispondenza diretta delle densità e non richiede parametri di temperatura, encoder momentum o programmi teacher-student.

Protocollo di Addestramento

• Dataset: Valutato a due scale: CC12M (12M campioni) e Datacomp-L (92M campioni).
• Stabilità: Il metodo si addestra stabilmente senza la dipendenza dalla dimensione del batch tipica dei metodi contrastivi. L'obiettivo è calcolato per singolo campione, rendendolo ampiamente invariante rispetto alla dimensione del batch.
• Ablazioni: Gli esperimenti confermano che rimuovere qualsiasi componente (ad esempio, l'uso di MSE diretto senza stop-gradients, o l'uso di predittori senza SIGReg) porta al collasso o a prestazioni scarse.

Risultati Chiave

1. Qualità della Rappresentazione Globale (Pooled Embeddings)

Quando valutato su protocolli che riducono l'immagine a un singolo vettore:

• Trasferimento Zero-Shot: Alla scala Datacomp-L, i baseline contrastivi (InfoNCE, SigLIP) superano LeVLJEPA. Questo è previsto, poiché la classificazione zero-shot misura direttamente l'allineamento immagine-testo che i metodi contrastivi ottimizzano. Alla scala minore CC12M, il divario si riduce significativamente.
• Linear Probing: Sui token CLS congelati, LeVLJEPA è in linea con i baseline contrastivi su ImageNet, Places365, Aircraft e Pets. Ciò indica che le caratteristiche visive globali apprese da LeVLJEPA sono ugualmente discriminanti, e il divario zero-shot è dovuto ai meccanismi di allineamento piuttosto che alla qualità delle feature.
• Robustezza allo Sfondo: LeVLJEPA dimostra una robustezza superiore agli shift di sfondo (ImageNet-9), mostrando cali di accuratezza minori quando i foreground sono composti su diversi sfondi. Ciò suggerisce una rappresentazione più incentrata sull'oggetto.

2. Caratteristiche Semantiche Dense (Patch Tokens)

Quando valutato su task che consumano l'intera sequenza di token di patch, LeVLJEPA mostra una superiorità marcata:

• Segmentazione Semantica: Su ADE20K e COCO-Stuff, LeVLJEPA supera entrambi i baseline contrastivi con un margine significativo (~2.0–2.2 mIoU) quando utilizzato come backbone congelato con una testa lineare. Ciò indica una struttura spaziale e semantica più forte nelle feature per-token.
• Modelli Visione-Linguaggio (VLM): Quando utilizzato come backbone visivo congelato per i VLM (con un bridge leggero addestrato su un LLM congelato), LeVLJEPA raggiunge l'accuratezza più alta su GQA, VQAv2 e POPE attraverso due distinte famiglie di modelli linguistici (Llama-1B e Qwen-1.5B).
  • In particolare, SigLIP è il modello zero-shot più forte ma il più debole backbone per VLM, mentre LeVLJEPA è il modello zero-shot più debole ma il backbone più forte.
  • LeVLJEPA produce anche risposte più bilanciate su POPE (allucinazione di oggetti), riducendo il bias verso il "sì" visto in altri modelli.

Significato e Rivendicazioni

Il paper stabilisce che il pre-addestramento non contrastivo è un mezzo efficace per produrre feature visive semantiche dense, sfidando l'assunto che i negativi contrastivi siano necessari per rappresentazioni visione-linguaggio di alta qualità.

• Decoupling di Allineamento e Qualità delle Feature: I risultati dimostrano che la proprietà rappresentativa che genera un forte classificatore zero-shot (allineamento globale) è distinta dalla proprietà che genera un forte encoder di feature visive (struttura densa dei token).
• Rilevanza per l'Implementazione Moderna: Poiché gli encoder visione-linguaggio sono sempre più impiegati come backbone congelati per la predizione densa e i modelli istruiti (instruction-tuned), i protocolli di valutazione standard (zero-shot, linear probing su vettori aggregati) non riescono a catturare le metriche di prestazione rilevanti. LeVLJEPA eccelle in questi scenari di implementazione.
• Semplicità e Stabilità: Il metodo raggiunge questi risultati con una ricetta di addestramento più semplice, eliminando la necessità di campionamento dei negativi, sintonizzazione della temperatura, encoder momentum o programmi teacher-student, pur rimanendo stabile a grandi scale.

Gli autori concludono che, sebbene gli obiettivi contrastivi mantengano un vantaggio nell'allineamento diretto immagine-testo, gli obiettivi predittivi non contrastivi sono superiori per apprendere le feature dense per-token richieste dalla prossima generazione di sistemi visione-linguaggio.