ESsEN: Training Compact Discriminative Vision-Language Transformers in a Low-Resource Setting

1. Il Problema

Il campo della modellazione visione-linguaggio (Vision-Language, VL) è dominato da modelli massicci con decine di miliardi di parametri, che richiedono enormi risorse computazionali, grandi dataset e molta energia per l'addestramento. Questo approccio presenta diverse criticità:

• Inaccessibilità: I modelli grandi sono difficili da addestrare per ricercatori con risorse limitate o per applicazioni su dispositivi edge e piattaforme robotiche autonome.
• Dipendenza da Dataset Enormi: I modelli attuali sono spesso addestrati su dataset web-scale (milioni di coppie immagine-testo) che possono essere rumorosi e non riflettere accuratamente l'esperienza visiva umana.
• Divario con lo Sviluppo Infantile: I bambini apprendono il linguaggio e i concetti visivi con una quantità di dati relativamente piccola (circa 5 milioni di parole e stimoli visivi limitati). Esiste un bisogno di modelli VL "compatti" che siano efficienti in termini di parametri e dati, ispirandosi a come avviene l'apprendimento umano.
• Mancanza di Ricerca: C'è scarsa letteratura su come addestrare modelli VL leggeri da zero (end-to-end) senza ricorrere alla distillazione da modelli teacher di grandi dimensioni o al pruning.

2. Metodologia

Gli autori hanno condotto una serie sistematica di esperimenti per identificare l'architettura ottimale per compiti VL discriminativi in ambienti a risorse limitate. Lo studio si è articolato in tre fasi principali:

A. Confronto Architetture: One-Tower vs Two-Tower

Hanno confrontato modelli con un singolo encoder (One-Tower, che processa insieme testo e immagine) contro modelli con encoder separati (Two-Tower, con encoder visivo e testuale distinti uniti da un modulo di fusione).

• Setup: Hanno creato coppie di modelli con lo stesso numero di parametri (circa 33.7M e 54.3M) utilizzando diverse combinazioni di backbone (DeiT, ELECTRA, Swin).
• Risultato Preliminare: I modelli Two-Tower hanno superato sistematicamente quelli One-Tower su tutti i task, specialmente in contesti con pochi dati.

B. Ricerca dell'Architettura di Backbone (Backbone Search)

Hanno testato diverse combinazioni di modelli pre-addestrati per i moduli visivi e testuali, mantenendo l'architettura Two-Tower.

• Moduli Testuali: ELECTRA-Tiny, ELECTRA-Small, MobileBERT.
• Moduli Visivi: Transformer puri (DeIT-Tiny, DeIT-Small, Swin-Tiny) e Reti Neurali Convoluzionali (CNN) tradizionali (ResNet-50, EfficientNet-b2).
• Innovazione: Hanno esplorato l'uso di CNN come encoder visivo in un'architettura Two-Tower, un approccio raro nella letteratura VL recente.

C. Ottimizzazione del Modulo di Fusione (Auxiliary Architecture Search)

Una volta selezionati i backbone migliori, hanno variato le dimensioni del modulo di fusione cross-modale (il "collante" tra visione e linguaggio).

• Hanno testato variazioni nella profondità (numero di layer: 4, 6, 8, 10, 12) e nella larghezza (dimensione nascosta MHA: 192, 256, 320, 384).
• L'obiettivo era trovare la configurazione che massimizzasse le prestazioni mantenendo il modello compatto.

D. Dataset e Valutazione

• Pre-addestramento: Utilizzo esclusivo di MSCOCO e Visual Genome (circa 6 milioni di coppie, ma solo 180k immagini uniche, <30GB). Questo dataset è scelto per la sua rilevanza nello sviluppo infantile (risoluzione di riferimenti).
• Task di Valutazione:
  1. NLVR2: Verifica di verità su coppie di immagini.
  2. SNLI-VE: Inferenza di implicazione visiva.
  3. RefCOCO: Risoluzione di riferimenti (identificare un oggetto specifico in un'immagine basandosi su una frase).

3. Contributi Chiave

1. Superiorità dei Two-Tower: Dimostrazione che, in contesti a risorse limitate, i modelli Two-Tower sono superiori ai One-Tower per compiti discriminativi.
2. Efficienza delle CNN: Dimostrazione che l'integrazione di reti convoluzionali tradizionali (in particolare EfficientNet-b2) nell'architettura Two-Tower produce modelli più efficienti in termini di parametri rispetto ai transformer visivi puri di dimensioni simili.
3. Robustezza del Modulo di Fusione: Scoperta che il modulo di fusione cross-modale può variare significativamente in forma e dimensione senza impattare drasticamente le prestazioni finali, offrendo flessibilità progettuale.
4. Introduzione di ESsEN: Presentazione di un nuovo modello compattissimo, ESsEN (Electra-Small supported by EfficientNet), che combina:
   • Encoder testuale: ELECTRA-Small.
   • Encoder visivo: EfficientNet-b2.
   • Modulo di fusione: 6 layer con hidden size 320.
   • Totale parametri: ~39.2 milioni.
   • Addestramento end-to-end con risorse minime (2 GPU NVIDIA L40).

4. Risultati Sperimentali

Il modello ESsEN ha ottenuto risultati competitivi con modelli molto più grandi, utilizzando una frazione dei parametri e dei dati:

• Confronto con MiniVLM (52M parametri): ESsEN (39.2M) ottiene un punteggio medio leggermente superiore (0.730 vs 0.737 su NLVR2, ma con un training di soli 20 epoch contro 100).
• Confronto con PixelBERT (110M parametri): Su NLVR2, ESsEN ottiene 0.711 contro 0.717 di PixelBERT, pur avendo meno di un terzo dei parametri e addestrandosi sullo stesso dataset (MSCOCO/Visual Genome).
• Task RefCOCO: ESsEN ha superato il baseline "Words as Classifiers" (WAC) con un punteggio di 0.727 (obiettivo era battere 0.700).
• Efficienza: Il modello è stato addestrato completamente end-to-end senza distillazione, su un dataset piccolo e con risorse computazionali limitate.

5. Significato e Impatto

• Accessibilità alla Ricerca: Il lavoro dimostra che la ricerca VL non è più appannaggio esclusivo di grandi laboratori con budget illimitati. Fornisce un modello e strumenti (la piattaforma Renaissance) accessibili a ricercatori con risorse limitate.
• Sostenibilità: Riducendo drasticamente i parametri e i requisiti di dati, si diminuisce l'impronta di carbonio e il consumo energetico associato allo sviluppo di modelli VL.
• Ispirazione Biologica: L'approccio si allinea meglio con lo sviluppo cognitivo umano, utilizzando dataset più piccoli e focalizzati su compiti di risoluzione di riferimenti, suggerendo che modelli più piccoli possono essere sufficienti per compiti specifici.
• Versatilità Architetturale: La scoperta che le CNN possono funzionare efficacemente come backbone visivo in architetture Two-Tower apre nuove strade per l'ottimizzazione dei modelli VL, sfidando la predominanza attuale dei transformer puri per la visione.

In conclusione, il paper stabilisce che è possibile costruire modelli visione-linguaggio compatti, efficienti e addestrabili da zero con risorse limitate, mantenendo prestazioni competitive rispetto a modelli molto più grandi.