Sintesi Tecnica: K-Inverse-RFM

Definizione del Problema

Le Recursive Feature Machines (RFM) sono una classe di modelli basati su kernel che utilizzano l'Average Gradient Outer Product (AGOP) per apprendere le feature, colmando teoricamente il divario tra i metodi classici basati su kernel e le reti neurali feedforward (FNN). Sebbene le RFM abbiano dimostrato la capacità di replicare la dinamica delle reti neurali e raggiungere prestazioni allo stato dell'arte su dati tabulari puliti e compiti matematici specifici (come l'aritmetica modulare), questa tesi identifica un significativo divario di prestazioni tra le RFM e le FNN quando i dati sono corrotti.

Nello specifico, l'autore osserva che le RFM degradano significativamente rispetto alle FNN in tre scenari distinti:

1. Rumore delle Etichette (Label Noise): Le RFM non riescono a scalare in modo robusto all'aumentare del rumore delle etichette di addestramento, mentre le FNN mantengono un'alta accuratezza.
2. Dati Sbilanciati (Imbalanced Data): Le RFM soffrono di overfitting quando le distribuzioni di input o di output sono sbilanciate (ad esempio, tramite resampling o esclusione sistematica di specifici sottoinsiemi di dati), mentre le FNN rimangono relativamente stabili.
3. Rappresentazioni Complesse: Quando gli input sono codificati utilizzando schemi complessi come il Teorema Cinese del Resto (CRT), le RFM faticano a decodificare la struttura, ottenendo spesso prestazioni inferiori alle FNN.

L'ipotesi centrale è che, sebbene le FNN possiedano capacità superiori di apprendimento delle feature in questi regimi rumorosi o complessi, le standard RFM non riescono ad apprendere le strutture delle feature necessarie (specificamente le feature block-circulant richieste per l'aritmetica modulare) in tali condizioni.

Metodologia: Il K-Inverse-RFM

Per affrontare queste limitazioni, l'autore propone il K-Inverse-RFM, una modifica del framework standard della RFM. Il metodo introduce tre modifiche algoritmiche primarie al ciclo di addestramento standard della RFM (che itera tra l'addestramento del predittore e l'apprendimento delle feature basato su AGOP):

1. Proiezione delle Etichette (K-Inverse): Invece di risolvere la standard equazione di kernel ridge regression, il metodo risolve un'equazione modificata in cui le etichette sono proiettate nello spazio delle feature kernelizzate. Nello specifico, il vettore dei pesi $\alpha$ viene risolto tramite:
   $$\alpha (K(X, X; M_t) + \lambda I) = K(X, X; M_t) d y$$
   Qui, $d$ è un parametro di potenza (tipicamente impostato a $-1$, da cui "K-Inverse"). Questa formulazione mappa le etichette nello spazio delle feature kernelizzate, rappresentando efficacemente gli output come combinazioni di punti dati. Ciò incoraggia la condivisione della struttura multiclasse e permette alle feature apprese da una classe di informare le altre, mitigando i problemi di sbilanciamento delle classi e di rumore.

2. Media Mobile AGOP (Moving Average AGOP): Per affrontare l'instabilità e i grandi cambiamenti di gradiente nella matrice AGOP (particolarmente in spazi di feature ad alta dimensionalità), il passo di apprendimento delle feature ($M_{t+1}$) è riformulato come una media mobile delle matrici AGOP su una finestra di $k$ passi. Questa media è pesata dall'inverso della perdita di addestramento ($1/l_i$), riducendo l'impatto di aggiornamenti scadenti.

3. Regolarizzazione Ridge: La regressione kernel è riformulata come kernelized ridge regression con un termine ridge elevato ($\lambda$) per vincolare le dimensioni degli aggiornamenti e garantire la stabilità dell'addestramento.

Il parametro di potenza $d$ è trattato come un iperparametro; sebbene venga utilizzato $d=-1$ per i casi standard, l'autore nota che per spazi di feature più densi (come le codifiche CRT), potenze minori o positive (ad esempio, $d=0.4$ o $0.6$) possono migliorare le prestazioni e la stabilità.

Contributi Chiave

• Indagine Empirica dei Limiti delle RFM: La tesi fornisce un'analisi completa di dove le RFM divergono dalle FNN, isolando specificamente il rumore delle etichette, lo sbilanciamento dei dati e le rappresentazioni complesse degli input come le cause primarie dei divari di prestazione nei compiti matematici.
• Diagnosi dell'Apprendimento delle Feature: Attraverso esperimenti con kernel Laplace addestrati sulle feature del primo strato di FNN, l'autore dimostra che il divario di prestazione nei contesti rumorosi e sbilanciati è dovuto principalmente all'incapacità della RFM di apprendere feature robuste (il meccanismo AGOP), piuttosto che alla testa predittiva (kernel regression).
• L'Algoritmo K-Inverse-RFM: L'introduzione di una RFM modificata che incorpora la proiezione delle etichette e la stabilizzazione della media delle feature. Questo metodo riesce a colmare il divario di prestazione tra le RFM e le FNN negli scenari di dati corrotti.
• Analisi dell'Efficienza Campionaria: Il lavoro rivela che le prestazioni delle RFM scalano quasi linearmente con il numero di punti di addestramento unici piuttosto che con il numero totale di campioni. Il K-Inverse-RFM mostra una superiore efficienza campionaria, ottenendo maggiori guadagni di prestazione per ogni campione unico grazie alla sua capacità di condividere informazioni tra le classi.

Risultati

Il K-Inverse-RFM è stato valutato contro le RFM standard e le FNN attraverso compiti di addizione, moltiplicazione, sottrazione, divisione modulare e GCD sotto varie condizioni di dati:

• Rumore delle Etichette: Il K-Inverse-RFM colma in media il 64% del divario di prestazione tra le RFM standard e le FNN. Supera significativamente le RFM standard (fino al 39,3% in più di accuratezza nel test) e rimane comparabile alle FNN fino al 14% di rumore delle etichette.
• Dati Sbilanciati: In scenari con pesi di input sbilanciati (ad esempio, coppie divisibili per 3), il K-Inverse-RFM mostra un miglioramento del 53% nell'accuratezza del test rispetto alle RFM standard. I risultati indicano che il K-Inverse-RFM è meno sensibile agli sbilanciamenti della distribuzione dei dati e più dipendente dal numero effettivo di campioni unici.
• Esclusione Sistematica: Il K-Inverse-RFM supera le RFM standard in tutti i tipi di esclusione testati (ad esempio, escludendo operandi $>50$ o $<10$).
• Rappresentazioni Complesse (CRT): Nei compiti che utilizzano le codifiche del Teorema Cinese del Resto (CRT), il K-Inverse-RFM non solo colma il divario con le FNN, ma in 5 casi su 6 di coppie di compiti di codifica, supera sia la RFM standard che la rete neurale. Ciò suggerisce che, con il corretto meccanismo di apprendimento delle feature, i modelli basati su kernel possono superare le reti profonde su compiti strutturati specifici.

Significato e Rivendicazioni

Il documento sostiene che il K-Inverse-RFM rappresenti un passo significativo verso l'unificazione dell'efficienza dei metodi kernel con la robustezza delle reti neurali. Modificando la RFM per gestire meglio l'apprendimento delle feature multiclasse e stabilizzare gli aggiornamenti AGOP, il modello ottiene:

1. Robustezza: Funziona in modo affidabile su dati rumorosi, sbilanciati e con rappresentazioni complesse dove le RFM standard falliscono.
2. Efficienza: Mantiene l'efficienza computazionale delle RFM, essendo in grado di essere addestrato su una CPU, a differenza dell'addestramento intensivo su GPU richiesto dalle FNN profonde.
3. Superiorità in Scenari Specifici: In determinati compiti strutturati (specificamente l'aritmetica modulare codificata con CRT), il K-Inverse-RFM può superare le reti neurali profonde, suggerendo che il "divario" tra i metodi kernel e le reti neurali non è intrinseco, ma è piuttosto il risultato di meccanismi di apprendimento delle feature subottimali in questi ultimi.

L'autore conclude con modestia che, sebbene il K-Inverse-RFM riduca significativamente il divario, non lo elimina completamente in tutti gli scenari. Il lavoro futuro suggerito esplora l'estensione di queste scoperte a domini non matematici (NLP, Computer Vision) e l'indagine sul comportamento dei Transformer, dato che lo studio attuale è limitato alle Reti Neurali Feedforward.