Frequency Is What You Need: Considering Word Frequency When Text Masking Benefits Vision-Language Model Pre-training

Sintesi Tecnica: La frequenza è ciò di cui hai bisogno: considerare la frequenza delle parole quando il masking del testo beneficia il pre-training dei modelli Vision-Language

Problematica
I modelli Vision-Language (VLM), come CLIP, richiedono tipicamente enormi risorse computazionali (migliaia di giorni-GPU) per il pre-training su dataset immagine-testo su larga scala. Per accelerare questo processo, lavori recenti hanno impiegato strategie di masking per i token di immagini e di testo. Mentre il masking dell'immagine è ben consolidato, le strategie di masking del testo hanno prodotto risultati misti. Il precedente stato dell'arte (CLIPA) ha identificato il "syntax masking" — che dà priorità alla conservazione di sostantivi e aggettivi basandosi sul Part-of-Speech (POS) tagging — come l'approccio di masking del testo superiore. Tuttavia, questo articolo sostiene che la valutazione di queste strategie sia stata limitata dall'addestramento per un numero fisso e relativamente piccolo di epoche. Gli autori osservano che all'aumentare delle epoche di addestramento, le prestazioni del syntax masking degradano rispetto ad altre strategie, suggerendo che l'attuale comprensione del masking ottimale del testo sia incompletta.

Metodologia
Gli autori propongono un'analisi sistematica di come diverse strategie di masking del testo influenzino la distribuzione delle frequenze delle parole nei dati di addestramento. Definiscono il masking del testo come la selezione di un sottoinsieme di token da un testo $T$ per formare un nuovo input $T'$. Lo studio confronta quattro strategie esistenti:

1. Truncation (Troncamento): Conserva i primi $k$ token.
2. Random (Casuale): Seleziona casualmente $k$ token.
3. Block (Blocco): Seleziona un blocco contiguo di $k$ token partendo da un indice casuale.
4. Syntax (Sintassi): Utilizza il POS tagging (tramite strumenti come NLTK) per dare priorità alla conservazione dei sostantivi, seguiti da aggettivi, verbi e altre parole.

Attraverso questa analisi, gli autori scoprono che strategie come il troncamento e il syntax masking alterano in modo sproporzionato le frequenze relative delle parole nel set di addestramento. Ad esempio, il syntax masking conserva pesantemente i sostantivi mentre sopprime le parole funzionali (categoria "Altro"), e il troncamento sovrarappresenta le parole iniziali della frase. Al contrario, il masking casuale e a blocchi preserva più fedelmente la distribuzione originale della frequenza delle parole.

Motivati dalla scoperta che la preservazione della frequenza delle parole correla con una migliore performance del modello, gli autori introducono CLIPF (Contrastive Language-Image Pre-training with Word Frequency Masking). CLIPF calcola un punteggio di probabilità di masking $P(w_i)$ per ogni parola $w_i$ basato sulla sua frequenza $f(w_i)$ nei dati di addestramento:
$$P(w_i) = 1 - \sqrt{\frac{t}{f(w_i)}}$$
dove $t$ è un parametro di soglia. A differenza dei precedenti tentativi basati sulla frequenza (ad es., SW-CLIP) che utilizzavano un cutoff netto per scartare le parole (lasciando potenzialmente vuoti gli slot di input), CLIPF utilizza queste probabilità per dare priorità a quali parole conservare, riempiendo i token di input con le parole a più alta probabilità. Questo approccio evita l'overhead computazionale del POS tagging richiesto dal syntax masking.

Contributi Chiave

1. Analisi dell'impatto della frequenza: Il documento dimostra che il successo di una strategia di masking del testo è legato a quanto essa distorce la distribuzione della frequenza delle parole dei dati di addestramento. Le strategie che impattano in modo sproporzionato sulla frequenza (troncamento, sintassi) performano peggio di quelle che la preservano (casuale, blocco).
2. Introduzione di CLIPF: Gli autori propongono CLIPF, una strategia di masking basata sulla frequenza che sfrutta direttamente le statistiche di frequenza delle parole senza richiedere il POS tagging.
3. Rivalutazione delle epoche di addestramento: Lo studio evidenzia che il numero di epoche di addestramento è una variabile critica. Mentre il syntax masking appariva superiore in brevi sessioni di addestramento (come riportato in CLIPA), esso rimane indietro rispetto ad altre strategie quando l'addestramento viene esteso alla convergenza (ad es., oltre 30 epoche).
4. Valutazione esaustiva: Gli autori forniscono ampi confronti quantitativi su molteplici dataset (CC3M, CC12M, LAION-400M) e task (classificazione zero-shot, robustezza, retrieval immagine-testo).

Risultati

• Performance vs. Epoche: Gli esperimenti su ImageNet-1K mostrano che, sebbene il syntax masking funzioni bene nelle fasi iniziali dell'addestramento, la sua accuratezza si stabilizza o declina rispetto a random, block e CLIPF all'aumentare delle epoche (fino a 40 epoche). CLIPF raggiunge costantemente l'accuratezza più elevata nell'intervallo tra 16 e 40 epoche.
• Efficienza dei Token: CLIPF supera il syntax masking e altri baseline, in particolare quando il numero di token di testo in input è ridotto (ad es., da 4 a 8 token). In questi scenari di masking aggressivo, CLIPF mantiene un divario di performance significativo rispetto al syntax masking.
• Robustezza e Retrieval: CLIPF dimostra una robustezza zero-shot superiore su dataset come ImageNet-A, ImageNet-R e ObjectNet. Nei task di retrieval immagine-testo, CLIPF generalmente supera il troncamento e il syntax masking, sebbene mostri una performance comparabile al masking casuale e a blocchi in alcune metriche di retrieval, con un vantaggio distinto negli scenari ad alto rapporto di masking (4 token).
• Comportamento specifico dei dataset: Su dataset dove i nomi delle classi non sono prevalentemente sostantivi (ad es., Describable Textures Dataset, OxfordPets), il syntax masking performa scarsamente, mentre CLIPF mantiene una forte performance.
• Efficienza Computazionale: CLIPF evita il dispendioso POS tagging richiesto dal syntax masking. Gli esperimenti mostrano che il syntax masking impiega circa 2,5 volte più tempo per elaborare il dataset CC12M rispetto a CLIPF.

Significatività e Rivendicazioni
Il documento sostiene che l'attuale scoperta dello stato dell'arte (ovvero che il syntax masking sia il migliore) è subordinata a una durata limitata dell'addestramento. Estendendo l'addestramento, gli autori dimostrano che il syntax masking non è l'approccio ottimale. La significatività di questo lavoro risiede in:

• Correzione dello Stato dell'Arte: Aggiornare la comprensione secondo cui il syntax masking è la migliore strategia di masking del testo, mostrando invece che le strategie che preservano la frequenza sono superiori.
• Guida Pratica: Fornire una linea guida chiara per i professionatori: le strategie di masking del testo che impattano in modo sproporzionato sulla frequenza delle parole dovrebbero essere evitate, mentre sono preferibili quelle che proteggono le frequenze relative (come CLIPF, random e block).
• Efficienza delle Risorse: CLIPF offre un'alternativa ad alte prestazioni che richiede meno overhead computazionale (nessun POS tagging) e ottiene risultati migliori con meno risorse di addestramento (meno token ed epoche) rispetto ai baseline non mascherati o agli approcci basati sulla sintassi.

Gli autori concludono che considerare la frequenza delle parole è essenziale quando si seleziona una strategia di masking del testo, e che CLIPF fornisce una soluzione robusta, efficiente e ad alte prestazioni per il pre-training dei VLM.