Prediction-Only Distillation in Linear and Logistic Regression

Sintesi Tecnica: Distillazione basata solo sulle predizioni in regressione lineare e logistica

Definizione del problema
L'auto-distillazione (SD) standard prevede tipicamente il riaddestramento di un modello studente sui dati di addestramento etichettati originali dell'insegnante. Tuttavia, in molti scenari pratici di implementazione, i dati di addestramento etichettati originali non sono disponibili a causa di vincoli di privacy, archiviazione o sicurezza. In questi regimi di "solo-predizione" (prediction-only), si ha accesso solo a un predittore addestrato (l'insegnante) e a un flusso di nuovi dati covariabili non etichettati, potenzialmente fuori distribuzione (OOD). La questione centrale affrontata è se tali nuovi dati non etichettati possano essere sfruttati per migliorare un predittore fisso quando i dati di addestramento originali e i parametri di regolarizzazione specifici dell'insegnante sono sconosciuti.

Metodologia
Gli autori propongono un framework di Auto-distillazione a Miscelazione di Predizione (PMSD). La procedura prevede tre fasi:

1. Distillazione Pura (PD): Un modello studente viene addestrato su nuove covariate non etificate utilizzando le predizioni dell'insegnante come pseudo-etichette. Ciò produce uno studente "puramente distillato".
2. Miscelazione Affine: Invece di implementare il singolo studente PD, il predittore finale è costruito come una combinazione affine delle predizioni dell'insegnante e delle predizioni dello studente PD: $f_{pmsd}(x) = (1-\xi)f_{teacher}(x) + \xi f_{pd}(x)$. Il peso di miscelazione $\xi$ è un parametro a valori reali che non deve necessariamente essere limitato all'intervallo $[0, 1]$.
3. Calibrazione: Poiché il peso di miscelazione ottimale dipende da quantità di popolazione sconosciute, gli autori propongono di stimarlo utilizzando un piccolo set di calibrazione etichettato indipendente. Questa stima viene eseguita in un singolo passaggio post-addestramento senza riaddestrare i modelli.

L'analisi teorica è condotta sotto l'ipotesi di asintotica proporzionale ($n, p \to \infty$ con $p/n$ costante) per due setting:

• Regressione Ridge: Analizzata sotto strutture di covarianza anisotrope generali e segnali deterministici. Gli autori derivano equivalenti deterministici per il peso di miscelazione ottimale e il conseguente rischio di predizione.
• Regressione Logistica: Analizzata in un contesto di classificazione binaria con pseudo-etichette rigide (hard pseudo-labels), estendendo l'analisi a scenari in cui il tasso di errore dell'insegnante è elevato (anche superiore al 50%).

Contributi Chiave

1. Caratterizzazione Teorica del Rischio PMSD: Il documento deriva identità oracle esatte ed equivalenti deterministici per il peso di miscelazione ottimale e il rischio PMSD nella regressione ridge. Questi risultati valgono per covarianze anisotrope generali dove le nuove covariate possono avere una distribuzione diversa (ma matrici di covarianza commutanti) rispetto ai dati di addestramento dell'insegnante.
2. Garanzie di Miglioramento Stretto: Gli autori dimostrano che, per quasi ogni coppia di livelli di regolarizzazione di insegnante e studente, lo studente PMSD ottimamente miscelato supera strettamente l'insegnante. Ciò è valido anche quando:
   • Le nuove covariate sono fuori distribuzione (ad esempio, campionate da una distribuzione gaussiana isotropa).
   • Il livello di regolarizzazione dell'insegnante è sconosciuto o subottimale.
   • La regolarizzazione dello studente non è ottimamente calibrata.
     Le uniche eccezioni si verificano in specifici punti di "degenerazione" finiti dove i rischi coincidono.
3. Non-monotonicità dei Dati Non Etichettati: Contrariamente all'intuizione, il documento dimostra che aumentare la quantità di nuovi dati non etichettati non migliora monotonicamente le prestazioni. Nel setting isotropo con lo stesso-$\lambda$, il rischio ottimale PMSD è unimodale rispetto alla dimensione del campione non etichettato; aggiungere più dati oltre un certo punto può degradare le prestazioni.
4. Calibrazione Coerente senza Riaddestramento: Gli autori mostrano che il peso di miscelazione ottimale non può essere identificato dai soli dati non etichettati (un limite informazionale). Tuttavia, dimostrano che un piccolo set di calibrazione etichettato indipendente permette una stima coerente del peso ottimale in un singolo passaggio post-hoc, richiedendo nessun ulteriore adattamento del modello.
5. Guadagni nella Regressione Logistica: Estendendo l'analisi oltre la perdita quadratica (squared loss), il documento mostra che la miscelazione delle predizioni può superare strettamente sia l'insegnante che lo studente PD nella regressione logistica. Notevolmente, anche quando l'insegnante e lo studente PD falliscono entrambi nel recuperare le etichette reali (raggiungendo l'accuratezza dello 0% in regimi ad alto rumore), lo studente PMSD può raggiungere il 100% di accuratezza di popolazione attraverso l'estrapolazione tramite il peso di miscelazione.

Risultati

• Validazione Empirica: Esperimenti su dataset reali (UCI Blog Feedback, Communities and Crime, Airfoil) e dati sintetici confermano le previsioni teoriche. Lo studente PMSD raggiunge costantemente un rischio di predizione quadratica inferiore rispetto sia all'insegnante che allo studente PD in vari livelli di regolarizzazione e strutture di covarianza (incluse isotropic e AR1).
• Robustezza all'OOD: Il metodo rimane efficace anche quando le nuove covariate sono campionate da una distribuzione isotropa, distinta dalla distribuzione di addestramento dell'insegnante.
• Prestazioni di Classificazione: Negli esperimenti di linear probing su Caltech-101, Caltech-256 e CIFAR-100 con etichette corrotte, il PMSD migliora costantemente l'accuratezza del test rispetto all'insegnante e allo studente PD. I pesi di miscelazione ottimali si trovano spesso al di fuori dell'intervallo $[0, 1]$, validando l'uso di combinazioni affini anziché convesse.

Significato e Rivendicazioni
Il documento sostiene che la distillazione basata solo sulle predizioni offre un metodo teoricamente fondato e praticamente praticabile per migliorare i predittori fissi in ambienti con vincoli di dati. La sua importanza risiede in:

• Colmare il Divario dei Dati: Fornire un meccanismo per adattare i modelli quando i dati di addestramento originali sono inaccessibili, un vincolo comune nell'implementazione reale.
• Miglioramento Generico: Stabilire che il miglioramento rispetto all'insegnante è una proprietà generica dello schema PMSD, non dipendente da iperparametri finemente sintonizzati o da specifici allineamenti distribuzionali.
• Efficienza Operativa: Dimostrare che i benefici della distillazione possono essere realizzati con un carico computazionale minimo (calibrazione one-shot) e senza accesso alle etichette reali per i nuovi dati.
• Novità Teorica: Sfidare l'assunto che più dati non etichettati aiutino sempre, rivelando una relazione non monotona tra la dimensione del campione e il rischio nel contesto delle nuove-X.

Gli autori posizionano questo lavoro come un complemento alla letteratura esistente sull'auto-distillazione "stesso-X", evidenziando come, mentre i metodi "stesso-X" possono recuperare le prestazioni ottimali dati i dati originali, il PMSD fornisce il miglior miglioramento possibile dati solo le predizioni dell'insegnante e le nuove covariate.