Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition

Enunciato del Problema

Il paper affronta una sfida pratica nel riconoscimento dell'engagement, un compito che implica la classificazione dei livelli di coinvolgimento degli utenti a partire da dati video. I dataset di engagement (ad esempio, DAiSEE, EngageNet) sono tipicamente indicizzati per soggetto e contengono supervisione rumorosa e soggettiva. A differenza dei problemi standard di etichette rumorose in cui singoli clip possono essere erroneamente etichettati, l'unità problematica in questi dataset è spesso l'intero soggetto. Multipli clip dello stesso individuo possono condividere ambiguità di annotazione, artefatti di registrazione o pattern comportamentali atipici che introducono supervisione controproducente.

Una volta addestrato un modello di base, la soluzione concettualmente corretta per rimuovere un soggetto problematico è riaddestrare il modello da zero sui dati rimanenti. Tuttavia, questo riaddestramento completo è computazionalmente costoso, specialmente quando è necessario auditare più sottoinsiemi candidati di soggetti. Il paper pone la domanda: È possibile rimuovere l'influenza di un intero soggetto problematico da un modello già addestrato senza un riaddestramento completo?

Metodologia

Gli autori propongono un framework di machine unlearning a livello di soggetto come meccanismo di sanificazione post-hoc. Il protocollo consiste in quattro fasi principali:

1. Addestramento di Base: Un modello di base ($f_{\theta_0}$) viene addestrato sull'insieme completo di soggetti di training ($S_{tr}$) utilizzando un'architettura fissa, TCCT-Net (Tensor-Convolution and Convolution-Transformer Network).
2. Identificazione del Soggetto Dannoso: Invece di assumere una corruzione delle etichette di verità fondamentale, gli autori trattano la dannosità come un problema di ranking operativo. Calcolano un punteggio ($r_s$) per ogni soggetto basato sulla media della perdita di entropia incrociata per clip dei dati di quel soggetto sotto il modello di base addestrato. I soggetti classificati nei primi $K$ posti formano il forget-set ($F$).
3. Aggiornamento di Unlearning Approssimato: Viene applicata una correzione leggera al modello di base per produrre un modello unlearned ($\tilde{f}_{\theta}$).
   • Restrizione dell'Architettura: Per mantenere efficiente l'aggiornamento, l'estrattore di feature di basso livello di TCCT-Net viene congelato. Vengono aggiornati solo gli strati finali di fusione e classificazione (la "testa").
   • Funzione Obiettivo: L'aggiornamento minimizza una perdita composita ($L_{unl}$):
     • $L_{ret}$: Entropia incrociata sui dati trattenuti ($D_R$) per preservare l'utilità del compito.
     • $L_{cons}$: Un termine di consistenza (divergenza KL) tra le previsioni del modello di base e del modello unlearned sui dati trattenuti per prevenire derive non necessarie.
     • $L_{forg}$: Un termine negativo di entropia incrociata sui dati dimenticati ($D_F$) per spingere il modello a non adattarsi a questi soggetti (anti-fitting).
     • Regolarizzazione: Un termine che penalizza la deviazione dai parametri originali della testa ($\phi_0$).
4. Valutazione Centrata sull'Oracolo: Il modello unlearned viene confrontato con un modello Oracolo ($f^*_{\theta_F}$), che viene riaddestrato da zero sui soggetti trattenuti ($D_R$) solamente. Questo oracolo funge da riferimento pulito per la "soluzione basata sui dati trattenuti".

Contributi Chiave

1. Formulazione del Problema: Il paper definisce la sanificazione post-hoc a livello di soggetto come un setting di problema distinto per il riconoscimento dell'engagement, andando oltre la correzione di etichette rumorose a livello di campione per affrontare la revisione di dati indicizzati per soggetto.
2. Protocollo di Valutazione: Introduce una valutazione centrata sull'oracolo che misura se un aggiornamento di unlearning approssima la soluzione di un modello riaddestrato da zero sui dati trattenuti, piuttosto che semplicemente perturbare il modello o degradare le prestazioni sui dati dimenticati.
3. Studio Empirico: Uno studio controllato su DAiSEE e EngageNet dimostra quando l'oblio a livello di soggetto è benefico, come dipende dalla costruzione del forget-set e i compromessi utilità-efficienza rispetto al riaddestramento completo.

Risultati

Lo studio valuta tre stati del modello (Base, Unlearned, Oracolo) in scenari con piccoli forget-set ($K \in \{1, 3, 5\}$).

• Recupero delle Prestazioni:
  • Su EngageNet ($K=3$), il modello unlearned ha recuperato l'89,3% del guadagno di prestazioni ottenuto dal modello oracolo (rispetto alla base).
  • Su DAiSEE ($K=3$), il modello unlearned ha recuperato il 92,5% del guadagno dell'oracolo.
• Efficienza: L'aggiornamento di unlearning ha richiesto circa un quarto del costo computazionale del riaddestramento completo dell'oracolo (costo relativo in tempo reale di ~0,22×–0,26× rispetto a ~0,97×–0,98× per il riaddestramento).
• Confronto con Metodi Naivi: Un approccio "rimozione naiva + breve fine-tuning" ha prestazioni significativamente inferiori rispetto al metodo di unlearning proposto, recuperando solo il 36,7% (EngageNet) e il 23,3% (DAiSEE) del guadagno dell'oracolo.
• Sensibilità alla Dimensione del Forget-Set:
  • Le prestazioni sono generalmente migliorate da $K=1$ a $K=3$, suggerendo che la dannosità è distribuita su un piccolo sottoinsieme di soggetti piuttosto che concentrata in un singolo outlier.
  • A $K=5$, i guadagni hanno iniziato a saturarsi o a diminuire, indicando che rimuovere troppi soggetti (oltre il "nucleo dannoso") può scartare una variabilità di training utile.
  • Il Recupero del Gap Oracolo (OGR) è stato più alto nella configurazione intermedia $K=3$, suggerendo che l'unlearning approssimato è più efficace quando il regime di rimozione mira a un sottoinsieme specifico e piccolo audito.

Significato e Affermazioni

Il paper mantiene un ambito modesto e pratico. Non afferma di fornire un oblio esatto o certificato, né propone una nuova architettura di backbone per l'engagement. Invece, il suo significato risiede nel dimostrare che:

1. La correzione post-hoc è fattibile: L'unlearning approssimato a livello di soggetto può servire come meccanismo di correzione a basso costo per dati di engagement rumorosi, recuperando una porzione sostanziale dei benefici del riaddestramento completo.
2. Il riferimento oracolo è critico: Valutare l'unlearning contro un oracolo riaddestrato sui dati trattenuti è necessario per distinguere tra sanificazione utile e semplice perturbazione del modello.
3. Dipendenza dal Regime: L'efficacia del metodo dipende fortemente dalla qualità della selezione dei soggetti e dalla dimensione del forget-set. Funziona meglio come correzione mirata per un piccolo sottoinsieme identificato di soggetti dannosi piuttosto che come strategia di potatura monotona.

Gli autori concludono che, sebbene il metodo non sia una soluzione universale per tutti i dataset o le architetture, fornisce un framework plausibile per la revisione di modelli di engagement addestrati quando la supervisione è rumorosa e organizzata per soggetti.