Beyond Perplexity: A Geometric and Spectral Study of Low-Rank Pre-Training

Sintesi Tecnica: Oltre la Perplexity: Uno Studio Geometrico e Spettrale del Pre-Training a Bassa Rango

Enunciato del Problema
Il pre-training dei Large Language Models (LLM) è vincolato dai costi di memoria associati all'archiviazione di pesi, gradienti e stati degli ottimizzatori a rango completo. Il pre-training a bassa rango è emerso come soluzione per ridurre tali costi, con metodi che si sono evoluti in tre categorie: basati sull'ottimizzatore (ad es. GaLore, Fira), basati sull'architettura (ad es. CoLA, SLTrain) e basati su adapter (ad es. ReLoRA). Tuttavia, la valutazione di questi metodi rimane limitata. Le pratiche attuali si affidano quasi esclusivamente alla perplexity di validazione ottenuta da esecuzioni con singolo seme. Gli autori sostengono che la perplexity sia un proxy scadente per la qualità della soluzione; modelli con perplexity identica possono convergere verso regioni fondamentalmente diverse del paesaggio di perdita, con rappresentazioni interne distinte. Inoltre, i confronti esistenti spesso non riescono a distinguere tra quanto bene un metodo affina un modello pre-addestrato e quanto bene un modello pre-addestrato con quel metodo si generalizza a valle.

Metodologia
Gli autori introducono un framework diagnostico per caratterizzare le soluzioni trovate da cinque metodi di pre-training a bassa rango (GaLore, Fira, CoLA, SLTrain, ReLoRA) rispetto all'addestramento a rango completo su tre scale di modello (60M, 130M, 350M). Lo studio valuta questi metodi utilizzando 16 metriche su quattro dimensioni:

1. Paesaggio di Perdita 1-D (Direzioni Casuali): Gli autori perturbano i parametri del modello lungo 100 direzioni casuali per misurare la media e la varianza della perdita di validazione. Derivano metriche scalari per Sharpness (la velocità di crescita della perdita allontanandosi dal checkpoint) e Varianza Direzionale (anisotropia della superficie di perdita).
2. Paesaggio di Perdita 1-D (Direzioni Top-K PCA): Vengono applicate perturbazioni lungo le direzioni singolari principali delle matrici dei pesi per analizzare la geometria lungo gli assi più significativi.
3. Interpolazione 1-D: Gli autori misurano la perdita lungo percorsi lineari tra i checkpoint. Introducono due metriche specifiche:
   • Altezza della Barriera tra Checkpoint Consecutivi (CCBH): Misura la barriera tra checkpoint sequenziali dello stesso metodo.
   • Altezza della Barriera Inter-Metodo (IMBH): Una metrica innovativa che quantifica la separazione geometrica tra diversi metodi di addestramento allo stesso passo di training. Ciò rivela se metodi diversi convergono verso lo stesso bacino o soluzioni geometricamente distinte.
4. Metriche Spettrali e di Rango: Lo studio traccia la struttura spettrale dei pesi e degli aggiornamenti, inclusi Rango Effettivo, Rango Stabile, Gap Spettrale e Rango di Soglia.
5. Similarità delle Attivazioni: Gli autori confrontano gli stati nascosti dei modelli a bassa rango con i baseline a rango completo utilizzando Distanza L2 delle Attivazioni, Similarità del Coseno e CKA Lineare (Centered Kernel Alignment).

Infine, gli autori testano se queste caratteristiche geometriche e spettrali possano prevedere le prestazioni zero-shot a valle meglio della sola perplexity, utilizzando la regressione lineare con validazione incrociata leave-one-size-out (LOSO) e leave-one-method-out (LOMO).

Contributi Chiave

1. Framework Diagnostico: Il documento propone una suite di valutazione completa che include la nuova metrica IMBH, che quantifica la separazione geometrica tra algoritmi di addestramento piuttosto che solo tra semi o epoche.
2. Risultati Empirici Trans-Famiglia: Lo studio stabilisce che i metodi a bassa rango non sono equivalenti all'addestramento a rango completo né tra loro. Le scoperte chiave includono:
   • Separazione Geometrica: I metodi convergono verso bacini geometricamente distinti, con l'IMBH che cresce monotonicamente man mano che l'addestramento procede.
   • Impronte Spettrali: GaLore corrisponde strettamente alla struttura spettrale degli aggiornamenti a rango completo, mentre CoLA no.
   • Divergenza delle Rappresentazioni: Le attivazioni a bassa rango divergono sempre più da quelle a rango completo negli strati successivi. CoLA mostra attivazioni ortogonali, mentre Fira recupera l'allineamento solo nello strato finale.
3. Miglioramento della Previsione a Valle: La perplexity di validazione da sola è un predittore incompleto delle prestazioni a valle. Integrare la perplexity con caratteristiche geometriche e spettrali migliora significativamente l'accuratezza della previsione (la correlazione di Pearson LOSO aumenta da 0,873 a 0,913).
4. Codebase Unificata: Gli autori rilasciano una pipeline open-source che integra pre-training, calcolo delle metriche e valutazione a valle per facilitare ulteriori ricerche.

Risultati

• Geometria del Paesaggio di Perdita: L'addestramento a rango completo si assesta in bacini più acuti lungo le direzioni casuali ma in bacini più piatti lungo la direzione PCA top-1. Al contrario, i metodi a bassa rango come Fira e SLTrain convergono verso bacini più piatti lungo le direzioni casuali, mentre CoLA e ReLoRA raggiungono i bacini più acuti. GaLore mostra un profilo misto: moderatamente piatto lungo le direzioni casuali ma acuto lungo la sua direzione PCA top-1.
• Barriere Inter-Metodo: Tutti i metodi occupano bacini geometricamente separati. Alla scala 60M, la barriera tra rango completo e qualsiasi metodo a bassa rango è più alta delle barriere tra i metodi a bassa rango. Fira converge verso il bacino geometricamente più vicino al rango completo, mentre SLTrain rimane il più isolato.
• Analisi Spettrale: Il rango completo domina tutte le metriche di rango. GaLore traccia da vicino il rango completo nel rango effettivo e stabile ma mostra un gap spettrale più piccolo. Fira e GaLore riproducono più fedelmente la distribuzione spettrale degli aggiornamenti dei pesi a rango completo.
• Allineamento delle Attivazioni: ReLoRA traccia le rappresentazioni a rango completo più da vicino su tutte le scale. CoLA mostra la maggiore deviazione, con attivazioni che diventano ortogonali al baseline negli strati successivi. Fira mostra un'alta deriva media per strato ma sorprendentemente bassa deviazione nello strato finale.
• Prestazioni a Valle: La perplexity di validazione non prevede coerentemente la classifica a valle. Ad esempio, Fira ottiene la perplexity più bassa a tutte le scale, eppure CoLA guida in multiple categorie a valle a 130M e 350M nonostante non si classifichi tra le prime due per perplexity.

Significato
Il documento conclude che i metodi di pre-training a bassa rango non sono approssimazioni intercambiabili dell'addestramento a rango completo; alterano fondamentalmente le soluzioni raggiunte. Lo studio dimostra che la perplexity di validazione offre un quadro incompleto della qualità del modello. Incorporando metriche geometriche e spettrali, i ricercatori possono prevedere meglio le prestazioni a valle e comprendere i diversi bias induttivi introdotti da diverse strategie a bassa rango. Il lavoro evidenzia che mentre alcuni metodi (come Fira) convergono verso bacini geometricamente vicini al rango completo, altri (come CoLA) occupano valli distinte, suggerendo che la scelta del metodo a bassa rango determina la regione specifica del paesaggio di perdita in cui risiede il modello.