Sintesi Tecnica: Mitigazione delle Correlazioni Spurie tramite la Selezione di Coreset Guidata dalla Memorizzazione (TCSL-CS)

Definizione del Problema

I dataset del mondo reale contengono frequentemente correlazioni spurie—caratteristiche che sono altamente coerenti all'interno di una classe ma non sono causalmente correlate al target (etichetta). I modelli di deep learning addestrati tramite l'ERM (Empirical Risk Minimization) mostrano spesso un bias di semplicità (simplicity bias), apprendendo queste caratteristiche spurie più semplici prima di catturare le complesse caratteristiche core. Ciò porta a una scarsa accuratezza sul gruppo peggiore (WGA - worst-group accuracy) sui dati di test dove le correlazioni spurie non sussistono, in particolare per i gruppi minoritari in cui l'attributo spurio è in disaccordo con l'etichetta.

Sebbene gli approcci esistenti per mitigare questo bias spesso si discostino dall'ERM standard impiegando tecniche di ottimizzazione complesse o richiedendo l'accesso alle etichette di gruppo (attributi spuri), vi è la necessità di metodi che possano ridurre la dipendenza dalle correlazioni spurie pur mantenendo l'addestramento ERM standard. Una potenziale soluzione risiede nella selezione di coreset—la costruzione di sottoinsiemi di alta qualità che rappresentino l'intera distribuzione dei dati. Tuttavia, il paper sostiene che le funzioni di punteggio dei campioni ampiamente utilizzate (ad es., EL2N, SelfSup) e gli algoritmi di selezione di coreset falliscano in questo contesto. A causa del bias di semplicità, queste funzioni di punteggio sono dominate dalle caratteristiche spurie, classificando erroneamente i campioni con forti correlazioni spurie come "facili" e i campioni senza di esse come "difficili". Di conseguenza, le strategie di selezione standard non riescono a dare priorità alle caratteristiche core difficili necessarie per la robustezza del gruppo.

Metodologia

Gli autori propongono TCSL-CS (Two-Stage Cumulative Sample Loss-guided Coreset Selection), un framework progettato per disaccoppiare la dinamica di apprendimento delle caratteristiche core e spurie senza richiedere le etichette di gruppo.

1. Fondamento Teorico

Il paper fornisce un'analisi teorica sotto il regime del Neural Tangent Kernel (NTK) e un modello di covarianza a picchi (spiked covariance model). Dimostra che sotto la condizione di bias di semplicità ($\beta_s(2\alpha - 1) > \beta_c$, dove $\beta$ rappresenta la forza della caratteristica e $\alpha$ la frazione del gruppo di maggioranza), le caratteristiche spurie vengono apprese significativamente più velocemente delle caratteristiche core durante le prime fasi dell'addestramento. Questo apprendimento rapido causa il fatto che le perdite dei campioni (e quindi i punteggi standard) siano dominate dall'attributo spurio, rendendoli inefficaci per identificare i campioni con caratteristiche core difficili.

2. Addestramento del Modello in Due Fasi

Per disaccoppiare queste dinamiche, gli autori introducono uno schema di addestramento in due fasi (Algoritmo 1):

• Fase 1 (Modello Spurio, $f_s$): Un modello distorto viene addestrato per apprendere solo le caratteristiche spurie. Ciò si ottiene aumentando il peso dei campioni con la perdita più bassa ad ogni epoca, amplificando efficacemente l'apprendimento dei campioni in cui l'attributo spurio è allineato con l'etichetta ($a=y$).
• Fase 2 (Modello Core, $f_c$): I pesi di $f_s$ vengono congelati. Un modello core viene addestrato utilizzando una funzione di perdita modificata che incorpora il logit del modello spurio come meccanismo di feedback negativo:
  $$L(B_t, W^c_t) = \sum_{i \in B_t} \lambda_i \ell\left(y_i, f_c(x_i; W^c_t) + \log(f_s(x_i))\right)$$
  Questo spinge $f_c$ a imparare le caratteristiche core compensando le predizioni del modello distorto.

3. Perdita Cumulativa del Campione in Due Fasi (TCSL)

Sulla base dei modelli addestrati, gli autori definiscono un nuovo indice di punteggio, il TCSL, che consiste di due componenti:

• $TCSL_s(x)$: La perdita cumulativa del modello spurio $f_s$. Punteggi elevati indicano campioni in cui la caratteristica spuria è debole o disallineata con l'etichetta.
• $TCSL_c(x)$: La perdita cumulativa del modello core $f_c$. Questo punteggio riflette la difficoltà delle caratteristiche core, indipendentemente dall'attributo spurio.

4. Algoritmo TCSL-CS

L'algoritmo di selezione del coreset (Algoritmo 2) opera in due fasi per costruire un sottoinsieme robusto:

1. Identificare i Campioni ad Alta Spuriosità: Utilizzando wKMeans sui punteggi $TCSL_s$ e sulle curve di perdita, l'algoritmo identifica un gruppo di campioni ($G_{high}$) con alta difficoltà spuria (ovvero, campioni privi di forti correlazioni spurie). Un sottoinsieme di questi viene selezionato per garantire che il coreset includa campioni simili a quelli delle minoranze che presentano sfide.
2. Riempire la Quota Residua: I posti rimanenti sono riempiti dal gruppo di maggioranza ($G_{low}$) in base ai punteggi $TCSL_c$.
   • Se il rapporto di selezione $r$ è alto ($r \geq \tau$), l'algoritmo seleziona i campioni con i minori punteggi $TCSL_c$ (caratteristiche core più facili) per massimizzare l'accuratezza media.
   • Se $r$ è basso ($r < \tau$), l'algoritmo utilizza una selezione basata su istogramma (SelectHist) per campionare da bin di diversa difficoltà $TCSL_c$, garantendo la diversità nella difficoltà delle caratteristiche core e prevenendo l'esclusione delle caratteristiche core difficili.

Contributi Chiave

• Punteggio TCSL: Un nuovo indice che quantifica separatamente la difficoltà di apprendimento delle caratteristiche core e spurie, affrontando il fallimento degli indici esistenti nel disaccoppiare questi componenti sotto il bias di semplicità.
• Algoritmo TCSL-CS: Un metodo di selezione di coreset robusto rispetto ai gruppi che raggiunge un'elevata accuratezza sul gruppo peggiore senza richiedere l'accesso alle etichette di gruppo. Sfrutta il punteggio TCSL per costruire coreset che bilancino l'accuratezza media e le prestazioni del gruppo peggiore.
• Analisi Teorica: Un'analisi rigorosa sotto il regime NTK che dimostra come le caratteristiche spurie dominino le dinamiche di apprendimento iniziale, spiegando perché i punteggi basati sulla perdita standard falliscano in contesti di scarsità (spuriousness).
• Superiorità Empirica: Dimostrare che un modello ERM standard addestrato sul coreset TCSL-CS supera le tecniche di debiasing allo stato dell'arte (incluse quelle che richiedono etichette di gruppo) utilizzando solo il 10% dei dati di addestramento originali.

Risultati Sperimentali

Gli autori hanno valutato TCSL-CS su quattro dataset noti per le correlazioni spurie: Waterbirds, cMNIST, MetaShift e UrbanCars-B.

• Performance vs. Baseline di Debiasing: Su Waterbirds, TCSL-CS ha migliorato la WGA di un modello ERM standard del 10,44%, superando GroupDRO (che richiede etichette di gruppo) e altri metodi di debiasing come LC, DFR e JTT. Su cMNIST (dove le correlazioni spurie sono estremamente forti, $\alpha=0,995$), TCSL-CS ha superato il secondo miglior metodo di oltre l'11%.
• Performance vs. Baseline di Selezione di Coreset: TCSL-CS ha superato significativamente i metodi standard di selezione di coreset (EL2N, SelfSup, Random, D2) in tutti i dataset. Ad esempio, su Waterbirds, i metodi basati su EL2N hanno ottenuto punteggi WGA bassi come il 39,88%, mentre TCSL-CS ha raggiunto il 91,91%.
• Efficienza dei Dati: Il metodo ha raggiunto prestazioni allo stato dell'arte utilizzando solo il 10% dei dati di addestramento.
• Studi di Ablazione: Gli esperimenti hanno confermato che $TCSL_s$ e $TCSL_c$ disaccoppiano con successo le difficoltà delle caratteristiche spurie e core, mostrando un'alta similarità del coseno con i punteggi derivati da modelli addestrati esclusivamente sulle caratteristiche spurie o core, rispettivamente.

Significato e Rivendicazioni

Il paper sostiene che TCSL-CS offra un approccio scalabile e principialmente fondato al debiasing. A differenza di molti metodi esistenti che richiedono ottimizzazioni complesse o etichette di gruppo, TCSL-CS:

1. Mantiene l'ERM Standard: Permette l'uso dell'addestramento ERM standard sul coreset selezionato, evitando la necessità di funzioni di perdita o procedure di ottimizzazione specializzate durante la fase finale di addestramento.
2. Riduce il Costo Computazionale: Selezionando un piccolo sottoinsieme (ad es., il 10%) di dati, riduce significativamente l'onere computazionale dell'addestramento di grandi modelli, poiché la costosa fase di selezione del coreset viene eseguita una sola volta e il sottoinsieme risultante può essere riutilizzato.
3. Generalizzabilità: I coreset selezionati sono indipendenti dall'architettura (architecture-agnostic), producendo guadagni di prestazione costanti attraverso diversi backbone di modelli (ResNet, Inception, DenseNet).

Gli autori posizionano il loro lavoro come il primo algoritmo di selezione di coreset specificamente progettato per raggiungere sia un'alta accuratezza media che un'alta accuratezza sul gruppo peggiore in assenza di etichette di gruppo, mitigando efficacementamente l'impatto negativo del bias di semplicità sulla selezione del dataset.