Sintesi Tecnica: Supervisione del Docente sulla Classe di Equivalenza delle Rappresentazioni

1. Definizione del Problema

La distillazione della conoscenza è tradizionalmente inquadrata come una scelta di cosa far corrispondere all'interno di un modello docente: i logit (distribuzioni di output), le caratteristiche nascoste (hidden features) o le relazioni tra i campioni. Questo inquadramento presuppone che la rappresentazione di un docente possieda "coordinate assolute" che uno studente possa direttamente emulare.

Il documento sostiene che tale premessa sia fondamentalmente errata. Una rappresentazione pre-addestrata non è una matrice fissa, ma è identificabile solo rispetto a una classe di equivalenza ortogonale e isotropa. Poiché il "lettore" a valle (i pesi) può assorbire qualsiasi rotazione o riscalamento della rappresentazione senza cambiare la funzione di output della rete, le coordinate specifiche di un vettore di caratteristiche non possiedono alcun significato intrinseco. Di conseguenza, tentare di far corrispondere le caratteristiche di un docente "base per base" è un obiettivo mal posto. Il documento postula che la capacità (ad esempio, perplexity, top-1 accuracy) non sia una proprietà della rappresentazione stessa, ma un invariante della classe di equivalenza della rappresentazione — specificamente, della funzione di output.

2. Metodologia e Framework Teorico

2.1 La Rappresentazione come Classe di Equivalenza

Gli autori definiscono una rappresentazione $H$ (attivazioni degli strati) non come una matrice fissa, ma come un'orbita sotto l'azione del gruppo $G = O(d) \times \mathbb{R}^+$ (rotazioni ortogonali e scalatura isotropa).

• Assunzione 2.1 (Riparametrizzazione Assorbibile): Qualsiasi variazione di coordinate $h \mapsto c h Q$ in una rappresentazione può essere controbilanciata da una corrispondente variazione nei pesi a valle $W_{in} \mapsto c^{-1} Q^\top W_{in}$, lasciando invariata la funzione della rete.
• Proposizione 2.1 (Malposto della Corrispondenza Assoluta): Poiché la funzione è invariante rispetto a questa azione di gruppo, una funzione di perdita che minimizza la distanza tra le coordinate assolute (ad esempio, $\|H_T - H_S\|_F$) è mal posta. Essa penalizza le riparametrizzazioni che preservano la funzione e il suo minimizzatore dipende da una scelta arbitraria del rappresentante all'interno della classe di equivalenza.

2.2 Lo Spazio Quoziente e la Capacità

Il documento distingue tra due spazi quozienti:

1. Quoziente della Rappresentazione ($\pi_{rep}$): Collassa la rappresentazione $H$ da sola nella sua classe di equivalenza $[H]$. Gli invarianti qui includono la matrice di Gram, la CKA (Centered Kernel Alignment) e gli angoli principali. Essi misurano la similarità geometrica ma non determinano la funzione di output.
2. Quoziente Congiunto ($\pi_{joint}$): Collassa insieme la coppia $(H, \theta_{downstream})$. La funzione di output $f$ è una funzione ben definita su questo quoziente congiunto.

La Proposizione 3.2 stabilisce che la capacità è un invariante di classe definito sul quoziente congiunto. Pertanto, un obiettivo di distillazione può trasferire capacità solo se mira all'invariante della funzione di output su questo quoziente.

2.3 Tassonomia degli Obiettivi di Distillazione

Sulla base del framework del quoziente, il documento categorizza le perdite di distillazione in tre famiglie:

• (A) Corrispondenza Relazionale (Relational Matching): Mira al quoziente della rappresentazione (ad esempio, CKA, Gram normalizzato). Sono invarianti rispetto alla base ma non trasferiscono la capacità da sole perché ignorano il sistema di coordinate del lettore.
• (B) Allineamento e Corrispondenza (Align-then-Match): Stima una mappa di allineamento (ad esempio, una rotazione di Procruste o una mappa lineare a bassa capacità $W$) per fissare un rappresentante all'interno della classe, e poi fa corrispondere le coordinate assolute. Ciò è necessario per compiti che richiedono il consumo di caratteristiche specifiche della coordinata (ad esempio, il grafting) ma introduce rumore di allineamento.
• (C) Distillazione dei Logit (Logit Distillation): Mira direttamente al quoziente congiunto facendo corrispondere le distribuzioni di output. Poiché l'output è già una funzione della classe congiunta, questo obiettivo è naturalmente definito sul corretto quoziente e non richiede un passaggio di allineamento.

3. Contributi Chiave

1. Riformulazione Geometrica: Il documento riformula la supervisione del docente da "corrispondenza di caratteristiche" a "trasferimento della classe di equivalenza della rappresentazione". Identifica la capacità come un invariante di classe (la funzione di output) piuttosto che come una proprietà di una specifica matrice di caratteristiche.
2. Dimostrazione dell'Impostura (Malposedness): Dimostra formalmente che la corrispondenza assoluta delle caratteristiche è mal posta perché separa punti all'interno di una singola fibra funzionale, penalizzando riparametrizzazioni valide.
3. Tassonomia delle Perdite: Fornisce un resoconto geometrico unificato per la corrispondenza delle caratteristiche, la distillazione relazionale, l'allineamento e il grafting, distinguendoli per la parte della struttura della classe che fissano.
4. Validazione Empirica: Attraverso esperimenti controllati di restauro e distillazione cross-width su Qwen2.5 e Llama-3.1, il documento isola il meccanismo di trasferimento della capacità.

4. Risultati Sperimentali

4.1 Studio di Restauro (Qwen2.5, Llama-3.1)

Gli autori hanno corrotto un modello docente ri-inizializzando una frazione dei suoi strati e hanno tentato di ripristinarlo usando diversi obiettivi.

• Risultato 1: L'addestramento con una sola perdita relazionale invariante rispetto alla base ($L_{CKA}$) ha ripristinato con successo la geometria della rappresentazione (CKA $\approx$ 0.99) ma ha fallito nel ripristinare la capacità (rapporto di perplexity $10^2$–$10^4$ peggiore, top-1 $\approx$ 0).
• Risultato 2: L'addestramento con una sola perdita dei logit ($L_{logit}$) ha ripristinato quasi perfettamente la capacità (rapporto di perplexity $\approx$ 1.01, top-1 $\approx$ 0.98) senza allineare le rappresentazioni nascoste (la CKA è rimasta bassa).
• Conclusione: Allineare le rappresentazioni e ripristinare la funzione sono compiti quasi ortogonali. La capacità è guidata esclusivamente dal termine della funzione di output.

4.2 Il Ruolo del Legame dei Pesi (Weight Tying)

• Nei modelli con embedding di input/output legati (Qwen2.5-0.5B), l'head di output è fisso, quindi la sola corrispondenza dei logit è sufficiente per ripristinare la funzione.
• Nei modelli con head non legati (Qwen2.5-7B, Llama-3.1-8B), il ripristino della capacità ha richiesto l'addestramento esplicito dell'head di output insieme alla perdita dei logit. Ciò conferma che il "lettore" deve essere allineato al sistema di coordinate della nuova rappresentazione.

4.3 Distillazione Cross-Width

In un vero scenario di distillazione cross-width (Docente: 1.5B, Studente: 0.5B):

• La corrispondenza delle sole caratteristiche (anche con una proiezione appresa $W$) ha causato il collasso dello studente (perplexity $> 10^6$).
• La corrispondenza dei soli logit ha preservato e leggermente migliorato le prestazioni dello studente.
• L'aggiunta di un termine di caratteristica alla corrispondenza dei logit non ha fornito alcun beneficio ed è stata spesso lievemente dannosa.
• Un esperimento sostitutivo con una mappa di allineamento ottimalmente risolta ha confermato che la supervisione basata solo sulle caratteristiche fallisce strutturalmente, non a causa di difficoltà di ottimizzazione.

4.4 Grafting e Sovrapposizione di Sottospazi

Il documento valida che il successo del grafting modulare è governato dalla sovrapposizione dei sottospazi di confine (misurata tramite CKA o residuo di Procruste) tra il donatore e l'ospite. Un'alta sovrapposizione è necessaria ma non sufficiente; i graft vicino allo strato di output falliscono anche con un'alta sovrapposizione a causa della sensibilità a piccoli disallineamenti.

5. Significato e Rivendicazioni

Il documento afferma che l'intuizione secondo cui la distillazione avviene "nella base" è "giusta nello spirito ma errata nella lettera".

• Rivendicazione Centrale: La supervisione del docente dovrebbe mirare alla classe di equivalenza, non alle coordinate. La capacità viene trasferita attraverso l invariante della funzione di output.
• Implicazione Pratica: Per trasferire la capacità, la corrispondenza dei logit è l'unico obiettivo naturalmente definito sul corretto quoziente. La corrispondenza delle caratteristiche (anche relazionale o allineata) è insufficiente per il trasferimento della capacità ed è utile solo per compiti che richiedono la struttura geometrica o per compiti specifici come il grafting dove l'allineamento delle coordinate è esplicitamente richiesto.
• Limiti dell'Ambito: Il documento sottolinea che la distillazione è replicazione, non creazione. Essa trasferisce la funzione di output del docente sul sottospazio coperto dal corpus di addestramento. Non afferma di generare nuove capacità oltre la funzione esistente del docente o di risolvere il trasferimento cross-family con tokenizer discordanti.

Il documento conclude che "ciò che un docente sa vive nella classe; ciò che si trasferisce è la parte di quella classe che l'obiettivo e il corpus effettivamente prendono di mira".