Sintesi Tecnica: Recuperabile ma non Stazionario: Strutture Lineari Locali nei Pesi e nelle Attivazioni

1. Definizione del Problema

Approcci recenti per l'editing e l'adattamento di modelli pre-addestrati — come i vettori di task, LoRA, lo steering delle attivazioni e la ricerca casuale attorno ai pesi — si basano su un'ipotesi geometrica condivisa: che i comportamenti appresi corrispondano a direzioni lineari fisse a bassa dimensionalità, sia nello spazio dei pesi che nello spazio delle attivazioni. L'ipotesi prevalente suggerisce che esista un "piano di task" come sottospazio statico attraverso un checkpoint, e che muoversi lungo questo piano permetta di aggiungere o rimuovere comportamenti specifici del task senza riaddestramento.

Tuttavia, rimane poco chiaro se queste strutture lineari siano realmente globali e statiche, o se siano locali ed evolutive. Inoltre, l'efficacia della ricerca casuale in spazi ad alta dimensionalità (es. $10^9$ parametri) è controintuitiva; se le direzioni utili fossero aghi rari in un pagliaio, il campionamento casuale dovrebbe teoricamente fallire. Questo articolo investiga la vera natura di queste strutture lineari: la loro dimensionalità, la loro stazionarietà e la relazione tra perturbazioni dei pesi e steering delle attivazioni.

2. Metodologia

Gli autori utilizzano un ciclo sperimentale di "recupero dopo l'oblio" per generare un vettore di adattamento ground-truth ($\Delta_{GD}$) rispetto al quale vengono misurati i candidati sottospazi. Il ciclo consiste in tre fasi:

1. Addestramento Multitask: Addestramento di un modello su una miscela di task per raggiungere un checkpoint $\theta_{mt}$.
2. Oblio: Continuazione dell'addestramento su un singolo task finché le prestazioni sugli altri task degradano, raggiungendo $\theta_{forg}$.
3. Recupero: Ri-addestramento breve sul mix originale per recuperare i task perduti, raggiungendo $\theta_{rec}$.

Lo spostamento $\Delta_{GD} = \theta_{rec} - \theta_{forg}$ funge da target di adattamento. Gli autori valutano i candidati sottospazi misurando quanto $\Delta_{GD}$ essi catturino e eseguendo una ricerca casuale all'interno di questi sottospazi.

Scale Sperimentali

• Transformer Sintetici: Un Transformer causale controllato a 4 strati e 128 dimensioni addestrato su task di sequenze di cifre (copia, reverse, sort, mod-add).
• Adapter LoRA: Fine-tuning su backbone DistilGPT-2 e GPT-2 utilizzando adapter a rango deficitaria.
• Large Language Models (LLM): Esperimenti su Qwen2.5 (0.5B, 3B, 7B) e OLMo-7B.

Framework Teorico

Il documento sviluppa un framework teorico per spiegare l'efficacia della ricerca casuale e la selezione del sottospazio:

• Teorema Best-of-N: Dimostra che in un regime di linearità locale, la ricerca casuale gaussiana isotropa coglie un segnale utile con una varianza indipendente dalla dimensione ambiente $D$. Il guadagno atteso scala con $\sqrt{\log N}$ (dove $N$ è il budget di ricerca) ma non con $D$.
• Densità del Segnale vs Massa: Una proposizione dimostra che, per una dimensione del passo fissa, un sottospazio più piccolo e ben allineato produce un segnale di ricerca maggiore rispetto a un sottospazio più grande che contiene semplicemente la direzione target, a causa della diluizione della densità del segnale ($\|P_U a\|/\sqrt{r}$).
• Recupero di Krylov: Un lemma che mostra come lo spostamento di recupero risieda in un sottospazio di Krylov generato dall'Hessiana e dal gradiente iniziale, piuttosto che in una direzione fissa. Ciò implica che il sottospazio rilevante evolve man mano che la traiettoria si dispiega.
• Identità Pushforward: Stabilisce un legame teorico tra le perturbazioni dei pesi ($\delta\theta$) e gli spostamenti delle attivazioni ($\Delta h$) tramite il Jacobiano $D_\theta h$, suggerendo che i movimenti utili dei pesi abbiano "ombre" nello spazio delle attivazioni che possono servire come vettori di steering.

3. Contributi Chiave e Risultati

A. Le Strutture Lineari sono Locali e in Movimento, non Statiche

Il risultato centrale è che l'ipotesi del "piano di task" è errata.

• I Piani Statici Falliscono: I sottospazi misurati al checkpoint dell'oblio (piano del task locale) o prima dell'oblio (piano pre-interferenza) catturano solo una piccola frazione dello spostamento di recupero (es. ~15% e <2% rispettivamente negli esperimenti LoRA).
• Allineamento della Traiettoria: La direzione di recupero è meglio catturata da un prefisso della traiettoria — una base formata dai primi passi della via di recupero. Negli esperimenti LoRA, i primi 10 passi di recupero hanno catturato ~77% dello spostamento totale $\Delta_{GD}$, e i primi 20 passi circa il 90%.
• Drift (Deriva): L'orientamento del sottospazio del task locale deriva significativamente durante il recupero (la sovrapposizione dell'angolo principale scende da 1.0 a ~0.12–0.17 in 100 passi), confermando che la geometria rilevante è un fascio mobile, non un piano fisso.

B. Efficacia della Ricerca Casuale e Indipendenza dalla Dimensione

Il documento fornisce una giustificazione teorica del perché la ricerca casuale funzioni in alte dimensioni:

• Indipendenza dalla Dimensione: La proiezione di una perturbazione gaussiana isotropa su una direzione utile ha una varianza indipendente dal numero totale di parametri.
• Finestra di Scala: La ricerca casuale è efficace solo entro una specifica scala di perturbazione dove il paesaggio della perdita è localmente lineare (es. $\sigma \approx 10^{-4}$ su Qwen2.5-0.5B). Al di fuori di questa finestra, la curvatura domina e i movimenti casuali diventano distruttivi.
• Qualità della Ricerca: La ricerca casuale eseguita all'interno del sottospazio del prefisso della traiettoria supera significativamente la ricerca all'interno di piani di task statici o nello spazio isotropo, confermando la previsione teorica che la "densità" del segnale conti più della "massa" del sottospazio.

C. Connessione tra Perturbazioni dei Pesi e Steering delle Attivazioni

Gli autori validano il legame tra editing dei pesi e steering delle attivazioni:

• Gradiente come Vettore di Steering: Un singolo passo di gradiente su Qwen2.5-0.5B produce una perturbazione dei pesi la cui pushforward nello spazio delle attivazioni si allinea con un vettore di steering di tipo Contrastive Activation Addition (CAA) (similarità del coseno $\approx 0.58$) negli strati finali del decoder (19–20).
• Riutilizzabilità: L'iniezione di questo spostamento di attivazione indotto dal gradiente in un modello pulito migliora l'accuratezza su dati non visti (fino a +10 punti su BoolQ), in modo comparabile ai vettori di steering derivati da coppie contrastive etichettate.
• Ponte della Ricerca Casuale: Anche le perturbazioni casuali selezionate dei pesi (Best-of-N) possono essere convertite in vettori di steering che migliorano le prestazioni, sebbene l'effetto sia più rumoroso e dipendente dal task.

D. Geometria a Basso Rango alla Scala

• Sintetico/LoRA: Una chiara struttura a basso rango (rango effettivo 2–8) è osservata nei gradienti dei task.
• LLM: L'affermazione del basso rango è solo parzialmente confermata su scale di miliardi di parametri. Mentre alcuni setting (es. Qwen-3B MLP) mostrano ranghi distinguibili dal rumore, altri (es. Qwen-7B) mostrano ranghi effettivi indistinguibili dal rumore di campionamento, suggerendo che la stima del rango ingenuo sia difficile a questa scala.

4. Significato e Rivendicazioni

Il documento sostiene di offrire una comprensione geometrica corretta dell'adattamento nelle reti addestrate:

1. Confutazione dei Vettori di Task Statici: Le strutture lineari rilevanti non sono direzioni di task globali e fisse, ma geometrie locali evolutive (fasci simili a quelli di Krylov) che persistono parzialmente attraverso gli spazi dei parametri e delle attivazioni.
2. Unificazione dei Metodi: Il lavoro unifica gli aggiornamenti del gradiente, la ricerca casuale dei parametri e lo steering delle attivazioni sotto un'unica prospettiva differenziale-geometrica. Postula che le perturbazioni di parametri di successo inducano direzioni riutilizzabili nello spazio delle attivazioni, e che la ricerca casuale funzioni perché campiona efficientemente all'interno di questi regimi di linearità locale.
3. Implicazioni Pratiche:
   • Addestramento Multitask: La specializzazione sequenziale è fragile perché il piano del task locale deriva; gli schedule simultanei sono più robusti.
   • Strategia di Ricerca: Per trovare direzioni utili, si dovrebbe cercare all'interno del prefisso della traiettoria dell'adattamento piuttosto che nei sottospazi statici dei task.
   • Steering: I vettori di steering delle attivazioni possono essere derivati dalle perturbazioni dei pesi (anche da un singolo passo di gradiente), colmando il divario tra l'editing dello spazio dei pesi e il controllo dello spazio delle attivazioni.

Gli autori rimangono modesti, notando che, sebbene la ricerca casuale possa superare il gradiente su specifici task target in ambienti controllati, essa è instabile e non è un sostituto del gradiente. I risultati sono presentati come un punto di partenza per un'analisi più profonda delle strutture lineari locali, con i limiti riguardanti la portata delle prove (più forti su modelli sintetici e piccoli modelli LoRA) e la natura parziale delle scoperte sul basso rango nei modelli da miliardi di parametri.