Supervised Classification Heads as Semantic Prototypes: Unlocking Vision-Language Alignment via Weight Recycling

Riepilogo Tecnico: Teste di Classificazione Supervisionata come Prototipi Semantici

Enunciazione del Problema
I Modelli Vision-Language (VLM) come CLIP hanno dimostrato capacità notevoli nella classificazione zero-shot e nel recupero cross-modale mappando immagini e testo in uno spazio di rappresentazione condiviso. Tuttavia, raggiungere tale allineamento richiede tipicamente un addestramento end-to-end su dataset massicci di coppie immagine-testo, comportando costi di dati e computazionali proibitivi. Sebbene recenti metodi di allineamento post-hoc tentino di ridurre tali costi apprendendo mappature leggere tra encoder preaddestrati indipendentemente, essi dipendono ancora fortemente da grandi quantità di dati di coppie immagine-testo per funzionare efficacemente. Questo lavoro affronta la sfida di raggiungere l'allineamento visione-linguaggio con dati di coppie immagine-testo minimi o nulli, esplorando specificamente se le informazioni semantiche già incorporate nei pesi dei modelli di visione supervisionati possano essere riutilizzate.

Metodologia
L'idea centrale di questo lavoro è che i pesi della testa di classificazione ($W$) dei modelli di visione preaddestrati su dataset supervisionati su larga scala (specificamente ImageNet-21K) funzionano come prototipi semantici di alta qualità. Questi pesi, tipicamente scartati dopo il preaddestramento, vengono riciclati per allineare in modo post-hoc encoder di immagini e testo addestrati indipendentemente.

Il framework proposto opera in due regimi principali:

1. Allineamento senza coppie Immagine-Testo: Gli autori trattano i vettori riga $w_i$ della matrice dei pesi di classificazione $W$ come ancoraggi semantici. Questi vettori vengono accoppiati con gli embedding di testo dei rispettivi nomi di classe (ad esempio, "Un tinca") per formare un dataset di allineamento sintetico ($D_{weights}$). Questo dataset viene utilizzato per addestrare funzioni di allineamento leggere (come un MLP, CSA o Text-to-Concepts) per mappare lo spazio dell'encoder di immagini su quello dell'encoder di testo, bypassando completamente la necessità di coppie immagine-testo reali.
2. Aumento dei Dati: Gli autori dimostrano che questi prototipi basati sui pesi sono compatibili con le rappresentazioni reali di coppie immagine-testo. Propongono di aumentare i dataset di allineamento esistenti ($D_{imgtxt}$) con le coppie peso-testo ($D_{weights}$) per formare un dataset combinato ($D_{aug}$). Questa strategia è progettata per migliorare le prestazioni dei metodi di allineamento post-hoc, in particolare nei regimi a pochi dati.

La giustificazione teorica è fornita attraverso la lente del Collasso Neurale, suggerendo che, nel limite dell'addestramento, le righe dei pesi del classificatore convergono verso i centroidi delle rispettive classi, codificando efficacemente la direzione del concetto di classe. La validazione empirica conferma che questi vettori di pesi si allineano meglio con le rappresentazioni di testo rispetto agli embedding medi delle immagini, anche quando le condizioni rigorose per il Collasso Neurale non sono pienamente soddisfatte.

Contributi Chiave

• Teste di Classificazione come Prototipi Semantici: Il paper fornisce validazione empirica e inquadramento teorico per trattare i pesi della testa di classificazione come prototipi semantici significativi. Gli esperimenti mostrano che i classificatori basati sulla similarità cosena che utilizzano questi pesi raggiungono un'accuratezza paragonabile a baseline lineari, e questi pesi si allineano più fortemente con gli embedding di testo rispetto alle caratteristiche medie delle immagini.
• Allineamento Visione-Linguaggio senza Coppie Immagine-Testo: Gli autori introducono un framework di riciclo dei pesi che consente l'allineamento post-hoc di encoder di immagini e testo utilizzando solo pesi della testa di classificazione e nomi di classe, raggiungendo capacità zero-shot senza alcun dato di coppie immagine-testo.
• Compatibilità e Aumento dei Dati: Il lavoro dimostra che le rappresentazioni basate sui pesi sono altamente compatibili con le coppie immagine-testo reali. Quando combinate con dati immagine-testo disponibili, fungono da fonte di aumento robusta che migliora costantemente le prestazioni dei metodi di allineamento post-hoc all'avanguardia.
• Analisi Geometrica e di Dominio: Il paper analizza la distribuzione geometrica di questi pesi, identificando un "divario di modalità" tra vettori di pesi e caratteristiche delle immagini simile al divario testo-immagine. Valuta inoltre l'impatto dell'uso di pesi provenienti da dataset generali (ImageNet-21K) rispetto a dataset specializzati (iNaturalist), riscontrando che la diversità generale produce prestazioni a valle superiori.

Risultati
Gli autori hanno valutato il loro approccio su compiti di recupero cross-modale (Flickr30K, MS-COCO) e di classificazione (zero-shot e few-shot su nove dataset diversificati tra cui CIFAR, Food101 e Places365).

• Allineamento Zero-Shot: Utilizzando solo i pesi di classificazione di ImageNet-21K, il metodo ha raggiunto prestazioni competitive di classificazione e recupero zero-shot, superando significativamente il caso casuale e dimostrando che le strutture semantiche derivanti dal preaddestramento supervisionato possono essere sfruttate senza dati di coppie.
• Vantaggi dell'Aumento: Nei regimi a pochi dati (ad esempio, utilizzando solo 1K coppie immagine-testo), l'aumento con rappresentazioni basate sui pesi ha fornito i guadagni di prestazioni più significativi. All'aumentare della quantità di dati immagine-testo reali, il beneficio marginale dell'aumento è diminuito, come previsto.
• Classificazione Few-Shot: L'approccio ha superato significativamente baseline robuste come il Classificatore del Centroido più Vicino (NCC) e i K-Nearest Neighbors (KNN) in impostazioni few-shot (1, 2 e 4 shot) su più dataset.
• Confronto con Rappresentazioni di Immagini: Quando confrontato con dataset di allineamento composti da rappresentazioni medie di immagini di dimensioni uguali, l'approccio basato sui pesi ha costantemente prodotto un'accuratezza superiore sia nei compiti di recupero che in quelli di classificazione.

Significato e Affermazioni
Il paper afferma di offrire una nuova prospettiva sull'emergere della semantica nei modelli di visione profonda preaddestrati con supervisione. Riciclando i pesi della testa di classificazione scartati, gli autori propongono una strategia che riduce le barriere di dati e computazionali per l'allineamento post-hoc, contribuendo agli obiettivi della "Green AI".

Il lavoro suggerisce che il potere semantico del preaddestramento supervisionato non è limitato al compito specifico su cui è stato addestrato, ma può essere estratto e riutilizzato per dotare backbones di sola visione di capacità linguistiche. Gli autori rimangono modesti riguardo alle limitazioni attuali, notando che, sebbene l'approccio sia efficace, il divario geometrico di modalità tra pesi e immagini persiste e che strategie più sofisticate di mitigazione del divario sono una direzione per lavori futuri. Sottolineano che questo metodo non sostituisce la necessità di preaddestramento su larga scala, ma offre piuttosto un percorso efficiente per sbloccare l'allineamento visione-linguaggio per modelli in cui tali risorse di preaddestramento o dati di coppie non sono disponibili.