Data Selection Through Iterative Self-Filtering for Vision-Language Settings

Sintesi Tecnica: Selezione dei Dati tramite Auto-Filtraggio Iterativo per Ambienti Vision-Language

Definizione del Problema

L'addestramento di modelli vision-language su larga scala, come CLIP, richiede dataset massicci che sono spesso intrinsecamente rumorosi a causa della loro origine da scraping su scala internet. Sebbene la supervisione manuale sia impraticabile a questa scala, i metodi di filtraggio dei dati esistenti si affidano pesantemente a euristiche (ad esempio, conteggio delle parole, risoluzione), dataset di riferimento curati o modelli pre-addestrati (ad esempio, il CLIP di OpenAI) per selezionare campioni puliti.

Gli autori identificano tre limitazioni critiche negli approcci attuali:

1. Conoscenza Concludente (Confounding Knowledge): L'uso di un modello pre-addestrato per il filtraggio intreccia i benefici della selezione dei dati con la distillazione indiretta della conoscenza del filtro stesso, rendendo poco chiaro se il filtraggio stia effettivamente migliorando l'efficienza dei campioni.
2. Propagazione dei Bias: I dataset selezionati catturano inevitabilmente i limiti e i bias del filtro pre-addestrato (ad esempio, il CLIP di OpenAI è influenzato verso eventi passati e fatica con concetti recenti).
3. Opacità Scientifica: L'impossibilità di accedere ai dataset di pre-addestramento dei filtri proprietari ostacola l'indagine scientifica sulla natura del filtraggio dei dati.

Inoltre, una sfida fondamentale rimane quella di distinguere tra campioni "difficili" (che codificano conoscenza utile e non banale) e campioni "rumorosi" (coppie immagine-testo non corrispondenti), poiché entrambi tipicamente incorrono in un alto loss durante le prime fasi di addestramento.

Metodologia: Auto-Filtraggio (Self-Filtering)

Il paper propone l'Auto-Filtraggio (Self-Filtering), un metodo bootstrapped e iterativo che addestra un modello vision-language mentre cura simultaneamente un dataset in evoluzione. Questo approccio opera senza modelli pre-addestrati o dati aggiuntivi. La filosofia centrale è che modelli migliori portano a mix di dati migliori, che a loro volta producono modelli migliori.

Il metodo segue un ciclo iterativo a quattro fasi (Algoritmo 1):

1. Inizializzazione: Un modello ($f_\theta$) viene inizializzato casualmente e il mix di dati di addestramento ($D_{current}$) è impostato sul dataset completo, non filtrato.
2. Fase di Addestramento: Il modello viene addestrato per $T$ step su esempi campionati da $D_{current}$.
3. Fase di Selezione: L'attuale modello funge da filtro. Per ogni coppia $(x, y)$ nel dataset, viene calcolato un punteggio basato sull'allineamento tra gli embedding di immagine e testo (similarità del coseno per CLIP). Il top $p\%$ dei campioni con il punteggio più alto viene identificato come "probabilmente pulito".
4. Fase di Mixing: Un nuovo mix di dati viene creato ricampionando dall'unione del dataset completo e dal sottoinsieme "probabilmente pulito". Fondamentalmente, ai campioni probabilmente puliti viene dato il doppio del peso di campionamento. Questo passaggio bilancia l'esplorazione (concentrarsi su campioni ad alta confidenza) con la diversità (mantenere l'accesso alla distribuzione completa per evitare il collasso del modello e garantire che i campioni difficili non vengano scartati permanentemente).

Questo ciclo si ripete per $R$ round. Gli autori sottolineano che la fase di mixing è essenziale per evitare di convergere verso un set di campioni facili e per consentire al modello di apprendere eventualmente i campioni difficili che erano stati inizialmente classificati erroneamente come rumorosi.

Contributi Chiave

• Indipendenza dai Modelli Pre-addestrati: Gli autori dimostrano che strategie di filtraggio efficaci possono essere raggiunte senza fare affidamento su modelli pre-addestrati o dati proprietari aggiuntivi.
• Auto-Miglioramento Iterativo: Propongono un metodo in cui il modello di addestramento migliora iterativamente il dataset su cui si addestra, creando un ciclo di feedback positivo tra qualità dei dati e performance del modello.
• Bilanciamento Esplorazione-Diversità: Viene introdotta una strategia specifica per mixare i campioni selezionati ad alta probabilità con esempi casuali dell'intera distribuzione, garantendo che il modello mantenga l'accesso a dati diversificati pur concentrandosi sui campioni probabilmente puliti.
• Correlazione delle Metriche: Il paper mostra che le performance di filtraggio e le performance downstream sono correlate all'interno dello stesso run di addestramento, validando la natura auto-migliorante dell'approccio.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark Datacomp (sottoinsieme piccolo: ~11,5M di campioni; sottoinsieme medio: ~128M di campioni) utilizzando modelli CLIP ViT-B/32.

• Guadagni di Performance: I modelli di Auto-Filtraggio (addestrati su mix del 30% o 40% di campioni selezionati) hanno superato costantemente i baseline addestrati sul dataset completo o su dataset filtrati esclusivamente dal pre-addestrato CLIP di OpenAI.
• Confronto con i Filtri Pre-addestrati: I modelli addestrati su mix di dati generati dall'Auto-Filtraggio hanno raggiunto performance downstream paragonabili a quelle dei modelli addestrati su dati filtrati dal molto più grande OpenAI CLIP ViT-L/14.
• Miglioramento Iterativo: Gli esperimenti in cui i modelli sono stati addestrati da zero su dataset filtrati da iterazioni precedenti hanno mostrato guadagni di performance progressivi (ad esempio, Round 2 > Round 1), confermando che la qualità dei dati migliora a ogni iterazione.
• Trasferibilità: Un modello addestrato tramite Auto-Filtraggio sul piccolo sottoinsieme di Datacomp ha filtrato con successo un distinto e inedito sottoinsieme di medie dimensioni, ottenendo risultati superiori rispetto all'addestramento sui dati grezzi e comparabili al filtraggio di OpenAI CLIP.
• Curriculum vs. Qualità dei Dati: Gli autori hanno scoperto che i guadagni di performance non erano dovuti all'effetto del curriculum learning (ordinamento dei dati da facili a difficili). I modelli addestrati da zero sul mix di dati finale fisso hanno superato i modelli addestrati iterativamente, suggerendo che il beneficio primario sia la maggiore qualità dei dati stessi, non l'ordine di presentazione.

Significato e Rivendicazioni

Il paper sostiene che l'Auto-Filtraggio offre una via percorribile per un addestramento vision-language di alta qualità senza la dipendenza da costosi filtri pre-addestrati o risorse di dati aggiuntive. Trattando la selezione dei dati e l'addestramento del modello come aspetti dello stesso problema, il metodo raggiunge un equilibrio tra lo sfruttamento della conoscenza appresa e il mantenimento della diversità del dataset.

Gli autori notano con modestia che, sebbene il loro metodo distingua efficacemente il rumore dai campioni difficili nel tempo, non risolve perfettamente la distinzione nelle prime fasi di addestramento. Essi riconoscono anche che il costo computazionale per il punteggio dei campioni per la selezione non è stato considerato nella loro analisi basata su Datacomp, sebbene suggeriscano che ciò possa essere mitigato tramite l'inferenza parallela su hardware datato. In definitiva, il lavoro fornisce prove del fatto che modelli auto-miglioranti possono generare dataset di qualità comparabile a quelli curati da grandi modelli pre-addestrati, sfidando la necessità di filtri esterni e statici per scalare i modelli vision-language.