Sintesi Tecnica: La supervisione densa non è sufficiente: Il punto cieco del readout nei modelli linguistici a ciclo (looped)

1. Definizione del Problema

I modelli linguistici a ciclo (looped LLMs) riutilizzano lo stesso blocco transformer attraverso una profondità ricorrente, permettendo alla profondità durante l'inferenza di fungere da manopola dinamica per il calcolo (ad esempio, interrompendosi precocemente per predizioni facili). In questa architettura, uno stato nascosto $H_k$ svolge un doppio ruolo: viene decodificato per la predizione (l'interfaccia di "readout") e reinserito come input per il calcolo futuro (lo stato "ricorrente").

Il problema centrale identificato è un disallineamento tra visibilità e attività (visibility–activity mismatch). Sebbene la supervisione densa (applicando la perdita di cross-entropy ad ogni ciclo) assicuri che gli stati intermedi siano utilizzabili per la predizione, essa non controlla necessariamente tutte le variabili attive all'interno della transizione ricorrente. Nello specifico, il paper indaga la scala dello stato nascosto (l'ampiezza radiale del vettore nascosto).

Nei classici loop residui pre-norm con readout invarianti per scala (es. RMSNorm o LayerNorm), il readout normalizza lo stato nascosto, rendendo la cross-entropy immediata insensibile alla scala radiale dell'input. Tuttavia, il percorso ricorrente (la connessione skip e l'aggiornamento residuo) continua a trasportare e aggiornare questa scala. Di conseguenza, il modello può essere addestrato ad ogni ciclo mentre le norme degli stati nascosti derivano in modo incontrollato verso migliaia o decine di migliaia, rendendo il "punto cieco del readout" un modo di fallimento in cui la supervisione densa non riesce a vincolare le variabili ricorrenti attive.

2. Metodologia e Meccanismo

Meccanismo Teorico

Gli autori formalizzano il modo di fallimento attraverso due lemmi:

1. Lemma della Visibilità: Se un readout $r$ è invariante per scala (ovvero $r(\alpha H) = r(H)$ per $\alpha > 0$), la perdita di cross-entropy immediata $L$ ha una derivata radiale approssimativamente nulla ($\langle \nabla_H L, H \rangle \approx 0$). La perdita non può "vedere" o correggere la scala dello stato nascosto.
2. Lemma dell'Attività: Nelle transizioni residue pre-norm, la scala è attiva. La funzione di aggiornamento $F(su) = su + b(u)$ (dove $s$ è la scala e $u$ è la direzione) permette alla branca residua $b(u)$ di aggiornare la scala al primo ordine dominante. Anche se il readout nasconde la scala, la ricorrenza la preserva e potenzialmente la amplifica.

Ciò crea un disallineamento locale: il segnale di perdita non può opporsi alla velocità radiale appresa dell'aggiornamento ricorrente, portando alla deriva della scala (scale drift).

Setup Sperimentale

Gli autori hanno addestrato transformer autoregressivi a ciclo sul dataset WikiText-103 con $K=4$ applicazioni ricorrenti di uno stack di decoder condiviso. Hanno utilizzato due dimensioni di modello: 44M e 129M di parametri.

• Ablazione Core: Un design $2 \times 2$ che incrocia la Posizione della Perdita (CE solo terminale vs. CE per ogni ciclo) e il Tipo di Readout (RMSNorm normalizzato vs. Raw/Non normalizzato).
• Controlli:
  • Penalità di Norma: Aggiunta di un termine di perdita ausiliario esplicito $\lambda \sum \|H_k\|^2$ per rendere visibile la scala senza cambiare il readout.
  • Norma Solo Finale: Utilizzo di readout raw per i cicli intermedi ma un readout normalizzato per l'output finale.
  • Clamp della Scala Ricorrente: Rescaling manuale degli stati nascosti alla magnitudo iniziale del ciclo-1 per testare se l'accumulo della crescita della scala sia predittivo.
• Valutazione: Misura delle norme degli stati nascosti dell'ultimo ciclo, perplexity (PPL) e la "frontiera qualità-calcolo" (PPL vs. throughput) a diverse profondità di inferenza ($K=1$ a $K=4$).

3. Contributi Chiave

1. Identificazione del Punto Cieco del Readout: Il paper definisce un modo di fallimento specifico in cui la supervisione densa di cross-entropy addestra le interfacce di predizione ma non riesce a controllare le variabili ricorrenti attive (specificamente la scala) se tali variabili sono nascoste da readout invarianti per scala.
2. Validazione del Meccanismo: Attraverso ablazioni e diagnostica, gli autori dimostrano che:
   • La CE per ciclo con readout normalizzati porta a una massiccia deriva della norma (es. norme che raggiungono oltre 39.000 nel modello da 44M).
   • I readout raw o le penalità di norma esplicite collassano queste norme a decine, anche con CE per ciclo.
   • La deriva è a livello di token e heavy-tailed, non è solo uno spostamento della media.
3. Regola di Design: Gli autori propongono una semplice regola di design: il controllo della scala ricorrente richiede o rendere la scala dello stato nascosto visibile a una perdita (tramite readout raw o penalità di norma) o rimuoverla dal percorso ricorrente (tramite normalizzazione inter-ciclo). La sola CE densa è insufficiente.
4. Performance a Profondità Variabile: I modelli con scala controllata (usando readout raw o penalità di norma) mantengono uscite precoci utilizzabili pur ottenendo una perplexity inferiore a parità di profondità di inferenza rispetto ai baseline invarianti per scala. I baseline spesso mostrano "K-invarianza" (la performance non migliora con più cicli) perché la deriva della scala restringe gli aggiornamenti angolari ($1/s_k$), congelando di fatto lo stato normalizzato.

4. Risultati

• Deriva della Norma: Nei modelli da 44M e 129M con CE per ciclo e readout RMSNorm, la norma finale è derivata rispettivamente a 39.207 e 56.051. Al contrario, i modelli con readout raw o penalità di norma hanno mantenuto le norme nell'intervallo 17–83.
• Diagnostica dei Gradienti: Le frazioni di gradiente radiale per i readout normalizzati erano vicine allo zero ($\sim 10^{-9}$), mentre i readout raw mostravano una sensibilità radiale significativa ($\sim 10^{-2}$).
• Perplexity e Profondità:
  • Baseline RMSNorm: I modelli erano quasi K-invarianti; fermarsi a $K=1$ forniva una perplexity simile a $K=4$. Ciò ha risultato in un alto aumento apparente della velocità ma indicava una mancanza di utilizzo utile della profondità.
  • Varianti con Scala Controllata: Questi modelli hanno mostrato un miglioramento significativo della perplexity all'aumentare della profondità ($K=1$ a $K=4$). Occupano una frontiera PPL-throughput superiore, offrendo una perplexity inferiore allo stesso throughput rispetto al baseline RMSNorm.
• Scale Clamp: Il clamping artificiale della scala degli stati nascosti nei modelli addestrati ha prodotto cambiamenti trascurabili nella cross-entropy, suggerendo che la crescita accumulata della scala in sé non è la fonte primaria di informazione predittiva, ma piuttosto un sottoprodotto della ricorrenza incontrollata.

5. Significato e Rivendicazioni

Il paper sostiene che il "punto cieco del readout" è una considerazione architettonica fondamentale per i modelli a ciclo e a profondità adattiva. La significatività risiede nello spostare l'attenzione non solo dall'applicazione della supervisione densa, ma dall'assicurarsi che il segnale di supervisione sia visibile alle specifiche variabili che vengono aggiornate nella ricorrenza.

• Implicazione Pratica: Per i professionisti che utilizzano readout normalizzati, il paper suggerisce di aggiungere una penalità di norma esplicita come baseline "drop-in" per controllare la scala senza alterare l'interfaccia di output.
• Insight Teorico: Il lavoro chiarisce che la supervisione densa addestra l'interfaccia (il readout) ma non regola automaticamente la dinamica dello stato (la ricorrenza) se l'interfaccia maschera la magnitudo dello stato.
• Limitazione dell'Ambito: Gli autori notano con modestia che le loro conclusioni si basano su impostazioni specifiche (WikiText-103, modelli 44M/129M, valutazione con teacher-forcing) e che il meccanismo è locale. Non pretendono di risolvere tutti i problemi di stabilità nei modelli a ciclo, ma affrontano specificamente la natura sotto-vincolata della scala nei loop con readout invarianti per scala.

Il paper conclude che i modelli a ciclo con profondità adattiva richiedono sia uscite addestrate (tramite perdita per ciclo) sia un meccanismo per controllare la scala ricorrente attiva (tramite visibilità o rimozione), e che questi sono requisiti di design ortogonali.