🤖 machine learning

A Defense of the Quadratic Model

Questo articolo dimostra che il semplice modello quadratico, quando applicato tramite espansione di Taylor in checkpoint intermedi, può sorprendentemente prevedere con accuratezza la dinamica di ottimizzazione nei grandi modelli linguistici, rivelando spettri di Hessen strutturati e confermando che l'addestramento avviene tipicamente in un bordo di stabilità stocastico dipendente dalla dimensione del batch.

Autori originali: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade, Alex Damian

Pubblicato 2026-07-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade, Alex Damian

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di navigare in una massiccia catena montuosa, avvolta dalla nebbia e immersa nella notte. Questa montagna è il "paesaggio di perdita" (loss landscape) di un'Intelligenza Artificiale gigante, un terreno complesso dove ogni passo che l'IA compie è un tentativo di trovare la valle più bassa (la migliore prestazione possibile). Il problema è che la montagna è così enorme e contorta che nessuno può vedere l'intera mappa in una volta sola. Per anni, gli scienziati hanno cercato di prevedere come l'IA si muove usando mappe semplici e piatte o modelli idealizzati. A volte queste mappe funzionano, ma spesso sono troppo semplici per essere utili, o troppo complicate da calcolare. La grande domanda è: possiamo usare una mappa semplice e piatta per prevedere il viaggio dell'IA attraverso questa montagna caotica?

Per capire questo, devi sapere alcune cose. Primo, i modelli di IA imparano tramite l' "ottimizzazione", il che significa compiere piccoli passi per ridurre i propri errori. Secondo, l' "Hessiano" è un modo matematico per descrivere quanto il terreno sia ripido o curvo in un punto specifico. Se conosci la curva, puoi prevedere se un passo ti porterà giù in una valle o su un dirupo. Infine, esiste il concetto di "bordo di stabilità", che è come camminare proprio sul bordo di un precipizio dove il terreno è così ripido che un solo passo falso ti farebbe precipitare, eppure l'IA riesce comunque a continuare a camminare senza cadere. Questo articolo si chiede se la mappa più semplice possibile — un'approssimazione piatta e quadratica — possa effettivamente prevedere il comportamento di una gigantesca IA nel mondo reale.

Gli autori di questo articolo hanno deciso di sottoporre a un test di stress questo semplice "modello quadratico" su un Modello di Linguaggio di Grandi Dimensioni (LLM) con 150 milioni di parametri, addestrato su 3 miliardi di parole. Volevano vedere se, invece di cercare di comprendere l'intera montagna folle, potessero semplicemente guardare una piccola porzione di terreno piatta e circoscritta intorno a dove l'IA si trova attualmente, e usare quella per prevedere i passi successivi.

Hanno scoperto una cosa sorprendentemente interessante: la semplice mappa a forma di ciotola funziona! Quando hanno interrotto l'addestramento ogni 10% del percorso e hanno creato una versione piatta e quadratica del problema in quel punto esatto, questo semplice modello riusciva a prevedere accuratamente il comportamento dell'IA per il successivo 10% dell'addestramento. È come se, nonostante la montagna sia un caos frastagliato, l'IA trascorra così tanto tempo in specifiche valli "a forma di ciotola" che una semplice mappa di una ciotola sia sufficiente per dirti dove andrà dopo. La previsione era persino migliore verso la fine dell'addestramento rispetto all'inizio.

Una volta dimostrato che la mappa semplice funzionava, hanno usato questa per sbirciare sotto il cofano del processo di apprendimento dell'IA. Hanno esaminato lo "spettro dell'Hessiano", che è come un elenco di tutte le diverse pendenze e curvature nel paesaggio. Hanno scoperto che questo elenco non è casuale; ha una struttura molto specifica. La parte superiore della lista è dominata dalla parte dell'IA che gestisce il vocabolario (lo strato di "unembedding"), mentre la lunga parte terminale segue una "legge di potenza" universale. Ciò significa che la forma della coda è identica sia che l'IA utilizzi un piccolo lotto di dati (batch) o uno enorme, e non le importa dei trucchi specifici (precondizionatori) che l'ottimizzatore usa per velocizzare le cose. È un modello universale nascosto nel caos.

Infine, hanno investigato il "bordo di stabilità". Volevano sapere se l'IA stia camminando con cautela nel mezzo della valle o se stia danzando proprio sul bordo di un precipizio. Modificando il tasso di apprendimento (learning rate) e la dimensione del lotto (batch size), hanno scoperto che l'IA sta effettivamente danzando sul bordo. Quando l'IA utilizza lotti piccoli, danza su un "bordo di stabilità stocastico", ovvero vacilla a causa del rumore casuale nei dati. Quando utilizza lotti enormi, vacilla su un "bordo deterministico", dove l'instabilità è causata dalla matematica stessa dei passi compiuti. In entrambi i casi, l'IA opera proprio al limite di ciò che è stabile, il che suggerisce che questo precario equilibrio sia in realtà il modo in cui questi modelli imparano meglio.

L'articolo conclude che, sebbene il mondo dell'IA sia incredibilmente complesso, possiamo comprenderlo trattandolo come una sequenza di problemi quadratici locali e semplici. Invece di aver bisogno di una singola teoria impossibile per l'intera montagna, possiamo semplicemente guardare la ciotola locale in cui si trova l'IA. Questo modello semplice non è solo un giocattolo; è un proxy sorprendentemente accurato di come avviene realmente l'addestramento preventivo (pretraining) delle IA nel mondo reale, offrendo un modo nuovo e trattabile per comprendere e migliorare questi sistemi massicci.

Sintesi Tecnica: Una Difesa del Modello Quadratico

Definizione del Problema

La teoria dell'ottimizzazione per i Large Language Models (LLM) si affida spesso a modelli idealizzati per navigare la complessità dei paesaggi di perdita non convessi. Tuttavia, esiste un divario significativo tra la trattabilità teorica e l'accuratezza empirica: i modelli matematicamente semplici spesso non riescono a descrivere la dinamica del mondo reale, mentre i modelli che catturano strutture specifiche di problemi sono frequentemente teoricamente intrattabili. La domanda centrale affrontata da questo lavoro è: fino a che punto il modello di ottimizzazione più semplice possibile — il modello quadratico — riesce effettivamente a catturare la dinamica di addestramento degli LLM?

Metodologia

Gli autori conducono un rigoroso "stress test" del modello quadratico utilizzando un transformer da 150 milioni di parametri addestrato su 3 miliardi di token da FineWeb. La metodologia coinvolge tre componenti primarie:

1. Approssimazione Quadratica Locale (Sezione 3)

Gli autori valutano il potere predittivo delle espansioni di Taylor locali in checkpoint intermedi (ogni 10% dell'addestramento). Definiscono due perdite proxy:

Prox (Linearizzata): Linearizza il modello $f_\theta$ attorno a un punto di riferimento $\theta_{ref}$ mantenendo l'originale obiettivo di cross-entropy. Questo equivale alla regressione logistica multi-classe nel regime del Neural Tangent Kernel (NTK).
Quad (Quadratica): Esegue l'espansione di Taylor della perdita Prox al secondo ordine, risultando in un obiettivo quadratico convesso. Fondamentalmente, utilizzano la matrice di Gauss-Newton ( $G$ ) invece della piena matrice Hessiana ( $H$ ) per garantire che l'obiettivo quadratico rimanga convesso (semidefinito positivo), evitando l'instabilità in direzioni di curvatura negativa.

Addestrano questi modelli proxy per il 10% del budget totale di token partendo da ciascun checkpoint e confrontano le traiettorie di ottimizzazione risultanti con le dinamiche di addestramento del vero LLM.

2. Stima dello Spettro dell'Essiana (Sezione 4)

Per analizzare la struttura di questi problemi quadratici locali, gli autori stimano gli spettri della matrice Hessiana e delle matrici di Gauss-Newton (sia raw che precondizionate con Adam) lungo la traiettoria di addestramento.

Tecnica: Utilizzano la Stochastic Lanczos Quadrature (SLQ) con sonde estremamente profonde ( $m=1200$ ) e intervalli di errore rigorosi (limiti Gauss-Radau).
Scala: Le sonde sono eseguite su checkpoint al 10%, 50% e 100% dell'addestramento con batch size $B \in \{1, 64, 1024\}$ .
Analisi: Esaminano il decadimento spettrale (leggi di potenza), la distribuzione degli autovettori attraverso i layer della rete e l'allineamento tra il gradiente e gli autovettori (condizioni sorgente).

3. Analisi del Bordo della Stabilità (Edge of Stability - EOS) (Sezione 5)

Gli autori testano empiricamente se l'addestramento degli LLM operi al "bordo della stabilità".

Configurazione: Congelano il precondizionatore Adam ed eseguono SGD precondizionato sul proxy quadratico locale.
Perturbazione: Variano i moltiplicatori del tasso di apprendimento ( $\eta$ ) e della dimensione del batch ( $B$ ) su una griglia per determinare il confine di stabilità.
Metrica: Una corsa è considerata divergente se la perdita supera una soglia (100). Distinguono tra Stabilità della Media Quadrata (sensibile alle code pesanti) e Stabilità di Lyapunov (comportamento tipico).

Risultati Chiave

1. Potere Predittivo dei Modelli Quadratici

Finestra di Accordo: Il modello quadratico e quello linearizzato predicono accuratamente le dinamiche di ottimizzazione reali per finestre che durano fino al 10% del budget totale di addestramento.
Accuratezza Temporale: La qualità dell'approssimazione è significativamente migliore nelle fasi intermedie e tardive dell'addestramento rispetto alle fasi iniziali.
Prox vs. Quad: Il modello linearizzato (Prox) generalmente corrisponde meglio alla perdita reale rispetto al modello quadratico (Quad) nella fase iniziale di addestramento, mentre Quad converge ad un'alta accuratezza solo dopo il 60% dell'addestramento.

2. Struttura dello Spettro dell'Essiana

Split Testa-Coda: Lo spettro presenta una transizione netta intorno all'indice $i \approx 8192$ (la dimensione del vocabolario). La "testa" (autovalori superiori) è dominata dal layer di unembedding, in linea con il fenomeno del "neural collapse".
Coda Universale: La "coda" dello spettro (indici $> 10^5$ ) segue una legge di potenza che è universale: è identica per diverse batch size e non è influenzata dal precondizionamento di Adam.
Esponenti:
- Esponente di Capacità ( $\alpha$ ): Stimato a $\alpha \approx 0.96$ per la coda di Gauss-Newton e $\alpha \approx 0.65$ per la coda dell'Essiana.
- Esponente Sorgente ( $\beta$ ): La condizione sorgente (allineamento del gradiente) produce $\beta \in [0.1, 0.2]$ per Gauss-Newton e $\beta \in [0.3, 0.6]$ per l'Essiana. Ciò contraddice l'assunzione comune nella letteratura $\beta > 1$ , suggerendo che il problema si comporti come se fosse a dimensione finita con un decadimento del bias esponenziale dopo un tempo critico.
Autovalori Negativi: L'Essiana precondizionata presenta grandi autovalori negativi, in particolare con batch size più grandi, localizzati nel layer di up-projection MLP. Gli autori ipotizzano che questi siano legati ai "neuroni morti" e all'effetto dei token rari.

3. Dinamiche del Bordo della Stabilità

Stocastico vs. Deterministico:
- A piccole e medie dimensioni del batch ( $B=1, 64$ ), l'addestramento avviene in un bordo della stabilità stocastico. Il confine di stabilità segue una linea diagonale nello spazio $(\eta, B)$ , indicando che l'instabilità è guidata dalla stocasticità (rumore).
- A grandi dimensioni del batch ( $B=1024$ ), l'addestramento opera nel bordo della stabilità deterministico, caratterizzato da un cutoff piatto nella regione di stabilità, coerente con il comportamento del gradiente a batch completo.
Prossimità al Confine: In tutte le configurazioni, l'addestramento opera entro un fattore di 2 dal confine di stabilità.

Significato e Rivendicazioni

Il documento sostiene che il modello quadratico non è solo un giocattolo teorico, ma un proxy valido e sperimentalmente verificato per le dinamiche di pre-addestramento degli LLM.

Trattabilità Teorica: Le scoperte suggeriscono che l'ottimizzazione complessa degli LLM può essere compresa localmente come una sequenza di problemi quadratici strutturati. Ciò consente ai ricercatori di sfruttare il ricco arsenale della teoria dell'ottimizzazione quadratica (ad esempio, analisi della stabilità, pianificazione del tasso di apprendimento) per ragionare sull'addestramento degli LLM.
Revisione delle Assunzioni: I risultati mettono in discussione le assunzioni standard nella letteratura, specificamente la sommabilità delle condizioni sorgente ( $\beta > 1$ ) e l'universalità della coda dell'Essiana sotto precondizionamento.
Implicazioni Pratiche: L'identificazione del "bordo della stabilità stocastica" a piccole dimensioni del batch fornisce una comprensione raffinata del perché l'addestramento diverga sotto specifiche configurazioni di iperparametri, distinguendo tra errori di discretizzazione e rumore stocastico.

Gli autori concludono che, sebbene i paesaggi di perdita globali siano non convessi, l'approssimazione quadratica locale offre un quadro potente e trattabile per analizzare e progettare pipeline di addestramento per modelli su larga scala.