Riepilogo Tecnico: L'Apprendimento Supervisionato come Procedura Non Supervisionata a Due Stadi

Definizione del Problema

Il documento affronta una questione fondamentale nel machine learning: le etichette di output ($y$) sono strettamente necessarie per l'addestramento di modelli supervisionati, o la struttura del modello può essere appresa interamente in modo non supervisionato? Mentre l'apprendimento non supervisionato opera senza accesso a $y$, l'apprendimento supervisionato si affida tradizionalmente a $y$ per ottimizzare i parametri del modello. Gli autori indagano se l'apprendimento supervisionato possa essere scomposto in una procedura a due stadi in cui (1) tutti i parametri del modello (specificamente lo "smoother" o la rappresentazione dello spazio di input) vengono selezionati senza accesso a $y$, e (2) gli output $y$ vengono aggiunti solo dopo che i parametri sono stati fissati per generare le predizioni.

Metodologia

1. Il Framework dello Smoother

Il nucleo del contributo teorico è la formulazione dei modelli supervisionati come linear smoother (regolarizzatori lineari). Un modello è espresso come:
$$\hat{f}^* = s^{*\top} y$$
dove $\hat{f}^*$ è la predizione per un nuovo covariata $x^*$, e $s^*$ è un vettore smoother (o matrice $S$ per i dati in-sample) che dipende dalle covariate di addestramento $X$ e potenzialmente dagli iperparametri del modello, ma non dagli output $y$.

• Per i modelli lineari (es. Ridge Regression), $s^*$ è derivato direttamente dalla soluzione in forma chiusa.
• Per i modelli non lineari (es. Reti Neurali, Random Forests), gli autori dimostrano come esprimerli come smoother. Per le Reti Neurali, ciò utilizza il framework della Neural Tangent Kernel (NTK), trattando la rete come un linear smoother dove la matrice dello smoother viene aggiornata iterativamente durante l'addestramento ma rimane indipendente dal vero $y$ se le etichette di addestramento vengono sostituite.

2. Selezione del Modello Senza $y$ (MSV)

Per selezionare gli iperparametri del modello (es. forza di regolarizzazione $\lambda$, larghezza di banda del kernel o tempo di arresto) senza accesso a $y$, gli autori propongono un criterio basato sulla varianza delle predizioni fuori campione.

• Premessa: Per un modello che generalizza bene, la distribuzione delle predizioni fuori campione $\hat{f}^*_v$ dovrebbe corrispondere approssimativamente alla distribuzione dei dati osservati $y$.
• Criterio: Il metodo minimizza la differenza tra la varianza campionaria di $y$ e la varianza campionaria delle predizioni su un insieme di covariate di validazione $X^*_v$ (che sono generate dalla distribuzione di addestramento ma non hanno etichette associate).
• Implementazione y-free: La funzione obiettivo coinvolge un termine della forma $|y^\top A y|$. Per rendere questo termine indipendente da $y$, gli autori sostituiscono $y$ con un vettore casuale $y_R$ (o il vettore zero). Prendendo l'aspettativa su $y_R$, l'obiettivo si semplifica nel minimizzare una norma della matrice $A$ (specificamente la seminorma della traccia o la norma di Frobenius), denominata MSV-Tr (Matching of Sample Variances - Trace).
  $$\text{Minimizzare } \left| 1 - \frac{1}{n^*_v} \text{Tr}(S^{*\top}_v S^*_v) \right|$$
  Ciò consente la selezione degli iperparametri utilizzando solo $X$ e $X^*_v$ generati, bypassando completamente la necessità di $y$ durante la fase di selezione.

3. Analisi Teorica

Il documento fornisce un'analisi della decomposizione bias-varianza per la regressione ridge lineare nel limite asintotico ($n, d \to \infty$).

• Proposizione 1: Mostra che MSV-Tr seleziona il modello tale per cui la varianza della funzione inferita è uguale alla varianza del rumore di misurazione ($\sigma^2_\epsilon$).
• Teorema 1: Per la regressione ridge lineare, gli autori derivano un'espressione in forma chiusa per il parametro di regolarizzazione ottimale $\lambda$ selezionato da MSV-Tr. Dimostrano che il rischio asintotico fuori campione di questo metodo è limitato rispetto al rischio teoricamente ottimale (che richiede la conoscenza del rapporto segnale-rumore). Nello specifico, per rapporti segnale-rumore (SNR) compresi tra $[1, 80]$, il rapporto di rischio è limitato a 2.45.
• Teorema 2: Dimostra che altri metodi "y-free", come la Generalized Cross-Validation (GCV) e la MSV in-sample, falliscono per la regressione ridge. Essi selezionano o una regolarizzazione infinita (zero addestramento) o una regolarizzazione nulla (overfitting), rendendoli inutili per la selezione dei parametri. Solo la MSV fuori campione produce una regolarizzazione finita e non nulla.

Contributi Chiave

1. Decomposizione dell'Apprendimento Supervisionato: Il documento dimostra che i modelli supervisionati standard (regressione ridge lineare/kernel, smoothing splines, k-NN, random forests e reti neurali) possono essere addestrati in un processo a due stadi in cui la struttura del modello viene appresa in modo non supervisionato, e le etichette vengono introdotte solo nella fase di predizione.
2. Nuovo Criterio di Selezione del Modello (MSV): Introduzione di un criterio di selezione del modello basato sul far corrispondere la varianza delle predizioni fuori campione alla varianza dei dati, che può essere calcolato senza accesso a $y$ sostituendo $y$ con rumore casuale.
3. Limiti Teorici: Stabilimento di limiti di rischio asintotico per la regressione ridge lineare addestrata tramite MSV-Tr, mostrando che opera entro un fattore costante del rischio ottimale.
4. Validazione Empirica: Esperimenti estesi su dataset sintetici e reali (MNIST, CIFIA-10, Steel Production, CPU Run Time, Superconductors, Power Consumption) mostrano che i modelli addestrati senza $y$ (usando etichette casuali o zero durante la fase di selezione dei parametri) raggiungono prestazioni paragonabili all'addestramento standard basato su $y$.

Risultati

• Parità di Prestazioni: Negli esperimenti, i modelli addestrati senza $y$ (usando MSV per la selezione) hanno ottenuto accuratezza e punteggi $R^2$ molto vicini ai loro controparti standard addestrati con $y$. Ad esempio, su MNIST, il classificatore di rete neurale standard ha raggiunto un'accuratezza di 0.82, mentre la versione MSV y-free ha raggiunto 0.75.
• Fallimento delle Alternative: La GCV y-free ha performato al livello del caso casuale (es. 0.1 di accuratezza per problemi a 10 classi), confermando i risultati teorici secondo cui la GCV non può essere resa efficacemente y-free per questi modelli.
• Random Forests: Sebbene l'addestramento y-free abbia funzionato bene per la maggior parte dei modelli, le Random Forests hanno mostrato un divario di prestazioni maggiore rispetto all'addestramento basato su $y$. Gli autori attribuiscono ciò alla dipendenza dei split degli alberi decisionali dalla varianza di $y$, che viene persa quando $y$ viene sostituito da rumore casuale.

Significato e Rivendicazioni

Il documento sostiene che la differenza tra apprendimento supervisionato e non supervisionato sia "meno fondamentale di quanto possa apparire". I risultati suggeriscono che la sfida principale nell'apprendimento supervisionato sia trovare una buona rappresentazione dello spazio di input $x$ (lo smoother $s^*$), che può essere ottenuta senza etichette. Le etichette $y$ sono necessarie solo per assegnare valori a queste rappresentazioni pre-costruite.

Modestia delle Rivendicazioni:
Gli autori dichiarano esplicitamente di non suggerire l'esclusione di $y$ dal processo di addestramento nelle applicazioni pratiche. Essi riconoscono che:

• La formulazione dello smoother scala male con la dimensione dei dati, in particolare per le reti neurali dove il NTK deve essere ricalcolato iterativamente.
• Il loro metodo non è inteso per superare gli approcci esistenti basati su $y$.
• L'obiettivo è dimostrare la fattibilità e sottolineare i paralleli teorici tra l'apprendimento supervisionato e quello non supervisionato, piuttosto che proporre un nuovo standard per l'implementazione industriale.

Il lavoro serve come dimostrazione teorica ed empirica che la selezione del modello e l'apprendimento della rappresentazione possono essere scissi dalle informazioni delle etichette, sfidando la necessità convenzionale delle etichette per l'intero processo di addestramento.