OUI as a Structural Observable: Towards an Activation-Centric View of Neural Network Training

Riepilogo Tecnico: OUI come Osservabile Strutturale

Enunciato del Problema
Le diagnosi attuali dell'addestramento delle reti neurali si basano pesantemente su metriche esterne come la perdita, l'accuratezza e la calibrazione finale. Queste metriche sono spesso ritardate, comprimendo la narrazione interna dell'addestramento, e non riescono a rivelare i regimi strutturali specifici in cui un modello entra durante il processo di apprendimento. Sebbene le funzioni di attivazione siano la fonte del potere espressivo di una rete, consentendo la partizione dello spazio di input in regioni funzionali distinte tramite pattern di attivazione, le diagnosi standard monitorano raramente l'evoluzione di queste strutture interne. Questo divario porta a ricerche costose di iperparametri, rilevamento tardivo dei fallimenti e una mancanza di interpretabilità riguardo alla dinamica dell'addestramento.

Metodologia e Definizione
Il documento si concentra sull'Indicatore di Sovradattamento-Sottadattamento (OUI), ridefinito qui come un osservabile strutturale della dinamica di apprendimento. Gli autori adottano una formulazione basata sui batch (Fernández-Hernández et al., 2026) per monitorare l'addestramento online:

1. Mascheramento dell'Attivazione: Per un livello $l$ con $d_l$ unità e un batch $B_t$, viene definita una maschera binaria $m^{(l)}_{b,n}(t)$ per ogni neurone $n$ e campione $x_b$, indicando se la preattivazione è positiva.
2. Conteggio dell'Attivazione: Per ogni neurone, viene calcolato il conteggio $s^{(l)}_n(t)$ dei campioni attivi nel batch.
3. Conteggio della Minoranza: Viene calcolata la metrica $u^{(l)}_n(t) = \min(s^{(l)}_n(t), B - s^{(l)}_n(t))$. Questo valore è alto quando un neurone divide il batch in modo equilibrato e basso quando il neurone è costantemente acceso o spento (sbilanciato).
4. Calcolo dell'OUI: L'OUI per il modulo è la media di questi conteggi della minoranza normalizzata per $\lfloor B/2 \rfloor$.

Operativamente, un OUI alto indica che molte unità stanno partizionando il batch di prova in modo equilibrato, riflettendo una ricca struttura di attivazione interna. Un OUI basso suggerisce che il modulo è diventato sbilanciato, con unità che si comportano in modo uniforme su tutti gli input.

Risultati Chiave ed Evidenze
Il documento sintetizza evidenze da tre domini distinti per dimostrare l'utilità dell'OUI come segnale precoce e privo di etichette:

• Apprendimento Supervisionato (Regolarizzazione): Negli esperimenti con DenseNet-BC-100 su CIFAR-100, le traiettorie dell'OUI si sono separate precocemente (intorno al 15% dell'addestramento) per diversi valori di decadimento dei pesi. Valori elevati di OUI si sono correlati con una migliore generalizzazione, mentre valori bassi hanno anticipato regimi di sottadattamento o sovradattamento prima che le metriche di validazione standard potessero distinguerli.
• Apprendimento per Rinforzo (Attore-Critico PPO): Riformulato per PPO, l'OUI ha discriminato con successo tra regimi di velocità di apprendimento nelle fasi iniziali dell'addestramento. Crucialmente, il documento osserva un'asimmetria strutturale: i critici ottimali occupano una banda intermedia di OUI, mentre gli attori forti tendono a operare a valori di OUI più elevati. Ciò suggerisce che il regime strutturale "buono" è dipendente dal contesto.
• Convergenza dei Pattern di Attivazione: Citando lavori recenti (Pérez-Corral et al., 2026), il documento nota che i pattern di attivazione spesso si stabilizzano significativamente prima degli aggiornamenti dei parametri. Nell'addestramento di ViT-B16, le metriche di convergenza dell'attivazione hanno raggiunto la saturazione mentre la perdita continuava a migliorare, supportando una visione a due scale temporali in cui le reti affinano i pesi all'interno di regimi di attivazione stabili.

Contributi
Il contributo principale di questo documento non è un nuovo algoritmo, ma un riquadramento concettuale e una sintesi delle evidenze esistenti:

1. Osservabile Strutturale: Il documento sostiene che l'OUI dovrebbe essere inteso come il primo osservabile pratico della dimensione strutturale interna dell'apprendimento, piuttosto che semplicemente come un euristico per la regolazione degli iperparametri.
2. Visione Centrata sull'Attivazione: Propone una "teoria centrata sull'attivazione della dinamica di addestramento", postulando che le strutture interne di attivazione diventino informative e azionabili prima della convergenza, offrendo una dimensione dell'addestramento non catturata dalle metriche finali.
3. Sintesi delle Evidenze: Unifica le scoperte nell'apprendimento supervisionato, nell'apprendimento per rinforzo e nel controllo online per mostrare un pattern ricorrente: gli osservabili basati sull'attivazione possono rivelare il destino di una sessione di addestramento precocemente.
4. Direzione di Ricerca: Identifica le domande aperte necessarie per avanzare questa visione, inclusa la "struttura di fase" dell'addestramento (organizzazione strutturale precoce vs. affinamento tardivo), l'"adeguatezza" dei regimi di attivazione rispetto a ruoli e compiti specifici, e la connessione teorica tra questi osservabili e le nozioni formali di stabilità e generalizzazione.

Significato e Affermazioni
Il documento afferma che considerare l'OUI come un osservabile strutturale sposta la prospettiva dell'addestramento dal monitoraggio di risultati esterni ritardati al monitoraggio dell'organizzazione strutturale interna. Ciò ha implicazioni pratiche immediate per la selezione precoce nel pre-addestramento di modelli fondazionali, dove i fallimenti nelle fasi tardive sono costosi. Inoltre, suggerisce un cambiamento nel controllo funzionale, consentendo di regolare l'addestramento tramite segnali più vicini a ciò che la rete sta facendo funzionalmente ai dati, piuttosto che a ciò che l'ottimizzatore sta facendo ai parametri.

Gli autori mantengono una posizione modesta, riconoscendo che l'OUI è attualmente una "base empirica" verso una teoria più ampia. Notano limitazioni, come la definizione naturale dell'OUI per pattern simili a ReLU e il rischio di confusione da loop di feedback se utilizzato come segnale di controllo online. Il documento conclude che se il passaggio dal considerare le attivazioni come sottoprodotti nascosti a oggetti espliciti di studio si rivela valido, una teoria dell'addestramento centrata sull'attivazione diventa un passo necessario per comprendere come le reti neurali apprendono.