Robust Trajectory Distillation: Hybrid Reweighting Meets Teacher-Inspired Targets

Sintesi Tecnica: Distillazione di Traiettoria Robusta

Problematica

La Distillazione di Dataset (DD) mira a condensare dataset su larga scala in sottoinsiemi sintetici compatti e ricchi di informazioni per consentire un addestramento e un riutilizzo dei modelli efficienti. Tuttavia, gli attuali framework di DD assumono implicitamente una supervisione pulita. Negli scenari reali caratterizzati da etichette rumorose (dovute a errori di crowdsourcing, bias umani o ambiguità semantica), i metodi di DD standard rischiano di condensare associazioni corrotte insieme ai segnali utili, portando a una degradazione della robustezza e della generalizzazione.

Le attuali tecniche di apprendimento con etichette rumorose (ad es., selezione dei campioni, pesatura della perdita, correzione delle etichette) soffrono spesso di tre limitazioni quando applicate alla DD:

1. Accoppiamento Stretto: Esse accoppiano strettamente la stima del rumore con l'ottimizzazione del modello, creando un ciclo di feedback autoreferenziale che amplifica il bias di conferma.
2. Dipendenza da Ancore Pulite: Molte richiedono sottoinsiemi di validazione puliti o un pesante raffinamento iterativo, limitando la scalabilità.
3. Vincoli di Capacità: I dataset distillati, tipicamente parametrizzati come tensori di immagini di dimensione fissa, limitano la capacità rappresentativa, causando una compressione prematura delle informazioni prima che rumore e segnali puliti possano essere disgiunti.

La sfida centrale è migliorare sia la qualità (fedeltà dei dati sintetici) che la capacità (quantità di supervisione di alta qualità assorbita) dei dati distillati sotto supervisione rumorosa senza richiedere la ricollegatura delle etichette (relabeling) o sottoinsiemi puliti.

Metodologia

Gli autori propongono la Distillazione di Traiettoria Robusta, un framework che sopprime congiuntamente il rumore e preserva la conoscenza trasferibile attraverso due moduli complementari integrati in una pipeline di DD basata sul matching delle traiettorie. Il framework opera tramite uno schema di ottimizzazione bilevel in cui un modello studente addestrato sul dataset sintetico $S$ è ottimizzato per corrispondere alla dinamica di apprendimento di un modello insegnante addestrato sul dataset reale rumoroso $D_{real}$.

1. Ripesatura della Guida Selettiva (Selective Guidance Reweighting - SGR)

SGR affina la traiettoria dell'insegnante assegnando pesi specifici per campione basati su stime di affidabilità, garantendo che l'insegnante fornisca segnali di guida più puliti. Impiega un estimatore ibrido che combina:

• Consistenza Dinamica ($W_{knn}$): Basata sui K-Nearest Neighbors (KNN) nello spazio delle feature. Misura l'accordo tra l'etichetta osservata di un campione e le etichette predette dei suoi vicini utilizzando la divergenza di Jensen-Shannon.
• Prior Statico ($W_{ssft}$): Derivato dal "Second-Split Forgetting Time" (SSFT). Quantifica la difficoltà del campione registrando l'epoca più precoce in cui un campione è classificato correttamente ($t_{learn}$) e l'epoca più precoce in cui viene successivamente classificato erroneamente ($t_{forget}$). Ai campioni appresi tardivamente e dimenticati precocemente vengono assegnati pesi inferiori.

Questi punteggi sono fusi tramite un'interpolazione convessa dipendente dal tempo ($W_t$) che transita dai prior statici alla consistenza dinamica con il progredire dell'addestramento. Questa ripesatura progressiva dà priorità alla supervisione pulita lungo la traiettoria dell'insegnante.

2. Target Ausiliari Ispirati dall'Insegnante (Teacher-Inspired Auxiliary Targets - TIAT)

Mentre SGR migliora la qualità del segnale dell'insegnante, TIAT affronta l'assorbimento di tali segnali da parte dello studente. Inietta una regolarizzazione ausiliaria per garantire che il dataset distillato rimanga allineato con la supervisione pulita nello spazio delle rappresentazioni.

• Aggregazione della Fiducia Probabilistica: Il framework aggrega i pesi di affidabilità attraverso molteplici traiettorie dell'insegnante per stimare la fiducia complessiva di un campione.
• Selezione Consapevole dell'Incertezza: Un sottoinsieme affidabile di campioni ($D_{sub}$) viene selezionato sulla base di un'alta affidabilità statica e di una bassa varianza nei punteggi di fiducia attraverso le traiettorie.
• Perdita Ausiliaria: Il modello insegnante viene perfezionato (fine-tuning) su $D_{sub}$ per produrre un checkpoint "più pulito" ($\theta^{ft}$). Una perdita ausiliaria viene calcolata per allineare la traiettoria dello studente con questo checkpoint raffinato, oltre alla standard perdita di matching della traiettoria.

L'obiettivo totale combina la standard perdita di allineamento della traiettoria ($\mathcal{L}_{match}$) e la perdita ausiliaria ($\mathcal{L}_{aux}$), bilanciate da un coefficiente $\beta$.

Contributi Chiave

1. Ripesatura Ibrida Progressiva: L'introduzione di un meccanismo che integra la ripesatura dei campioni dinamica (basata su KNN) e statica (basata sul tempo di dimenticanza). Questo fonde segnali complementari della traiettoria dell'insegnante per sopprimere robustamente il rumore delle etichette senza ricollegare le etichette.
2. Regolarizzazione della Guida Ausiliaria: Un modulo innovativo (TIAT) che impone la consistenza con le traiettorie pulite durante la distillazione. Utilizzando la selezione consapevole dell'incertezza e i target ausiliari derivati dalle dinamiche intermedie dell'insegnante, esso amplifica l'influenza dei segnali puliti e mitiga l'amplificazione dell'errore.
3. Design Preservante le Etichette e Leggero: Il framework non richiede né ricollegatura delle etichette né costosi programmi di riaddestramento, rendendolo pratico per dataset rumorosi su larga scala e del mondo reale.
4. Validazione Empirica: Esperimenti estesi dimostrano miglioramenti costanti rispetto ai baseline di stato dell'arte per la DD (ad es., DATM, DANCE) sotto regimi di rumore simmetrico, asimmetrico e dataset rumorosi del mondo reale (CIFAR-N).

Risultati Sperimentali

Il metodo è stato valutato su CIFAR-10, CIFAR-100, CIFAR-N e Tiny-ImageNet sotto regimi di rumore simmetrico (20%, 40%) e asimmetrico.

• Guadagni di Performance: Il metodo proposto supera costantemente i forti baseline. Ad esempio, su CIFAR-10 con rumore simmetrico al 40% e 1000 IPC, ha raggiunto un'accuratezza dell'81,4% rispetto al 76,7% di DATM. Sotto rumore asimmetrico al 40%, ha raggiunto il 75,0% (rispetto al 71,4% di DATM).
• Rumore del Mondo Reale: Su CIFAR-N (rumore annotato da umani), il metodo ha mostrato una resilienza superiore, particolarmente all'aumentare del tasso di rumore (ad es., caso "Worst" con circa il 40% di rumore), mantenendo un margine di miglioramento superiore al 3% rispetto al miglior baseline ad alti IPC.
• Studi di Ablazione:
  • L'aggiunta di SGR al baseline ha fornito guadagni stabili in tutti i tipi di rumore, con miglioramenti significativi in scenari di rumore severo (ad es., +4,7% a 10 IPC con il 40% di rumore).
  • L'aggiunta di TIAT ha ulteriormente potenziato le performance, in particolare nei regimi di alto rumore, confermando il beneficio della supervisione ausiliaria filtrata per incertezza.
  • Campionamento Diversificato: L'addestramento di molteplici traiettorie dell'insegnante con coefficienti di equilibrio statico-dinamico ($\alpha_{max}$) variabili si è dimostrato più robusto rispetto alle strategie di campionamento a fissi.
• Efficienza: Il metodo introduce un incremento trascurabile della memoria GPU di picco. L'overhead computazionale è moderato (ad es., ~1,5x runtime su CIFAR-10 con 500 IPC), principalmente a causa della stima dell'affidabilità e della costruzione dei target ausiliari.

Significato

Questo lavoro posiziona la ricerca come una soluzione al problema inesplorato della distillazione di dataset sotto supervisione rumorosa. Decoupling (disaccoppiando) la stima del rumore dal ciclo di ottimizzazione attraverso la ripesatura della traiettoria e la regolarizzazione ausiliaria, il framework offre un approccio robusto e "plug-and-play" per generare dataset sintetici di alta qualità da dati imperfetti. Gli autori affermano che ciò apre la strada alla ricerca futura nella distillazione di dataset resistente al rumore, consentendo un riaddestramento efficiente dei modelli e la condivisione dei dati anche quando la supervisione pulita non è disponibile.