🤖 machine learning

Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates

Questo articolo propone un framework di editing della conoscenza a forma chiusa e scalabile per LLM a miscela di esperti che sfrutta le strutture tensoriali e l'identità di Woodbury per realizzare aggiornamenti per esperto con un'accelerazione fino a 6 volte, mantenendo una qualità di editing paragonabile a quella delle baseline a strati densi.

Autori originali: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: Aggiornare una Biblioteca Gigante

Immagina un Modello Linguistico di grandi dimensioni (LLM) come un bibliotecario massiccio e super-intelligente che sa quasi tutto. Tuttavia, una volta addestrato, la sua conoscenza è "congelata". Se il mondo cambia (ad esempio, viene eletto un nuovo presidente o viene corretta un'informazione scientifica), il bibliotecario continua a dare risposte vecchie e sbagliate.

Di solito, per risolvere questo problema, devi mandare il bibliotecario a scuola per una lunga e costosa sessione di riaddestramento. Questo è lento, costa una fortuna in potenza di calcolo e rischia di far dimenticare al bibliotecario altre cose che già sapeva.

L'Editing della Conoscenza è una scorciatoia. Invece di riaddestrare l'intero bibliotecario, entri semplicemente e sostituisci un file specifico nella sua memoria. I metodi precedenti funzionavano benissimo per i modelli "densi" (dove ogni parte del cervello è attiva), ma faticavano con i modelli moderni.

La Nuova Sfida: Il Team di "Esperti"

I modelli di intelligenza artificiale moderni (come quelli utilizzati da OpenAI o DeepSeek) non usano un unico cervello gigante. Utilizzano un'architettura a Mixture-of-Experts (MoE).

L'Analogia: Immagina invece di un singolo bibliotecario gigante, di avere un team di 100 esperti specializzati (uno storico, un programmatore, uno chef, un medico, ecc.).
Come funziona: Quando poni una domanda, un "router" (un manager) guarda la domanda e sveglia solo i 4 o 8 esperti rilevanti. Gli altri rimangono addormentati.
Il Problema: Se vuoi aggiornare un fatto (ad esempio, "La capitale della Francia è Parigi"), i vecchi strumenti di editing non sapevano come parlare con questo specifico team. Cercavano di trattare l'intero team come un'unica grande massa informe, il che è inefficiente e disordinato. Il metodo esistente per risolvere questo problema (chiamato MoE-Edit) era come cercare di aggiornare gli esperti uno per uno, in una lunga fila, il che richiedeva un tempo infinito.

La Soluzione: MoTE (Il Manager Intelligente del Team)

Gli autori propongono un nuovo metodo chiamato MoTE (Mixture-of-Experts Tucker Editor). Hanno risolto il problema utilizzando due trucchi principali:

1. La Matematica della "Scorciatoia" (Identità di Woodbury)

Il vecchio modo per aggiornare gli esperti richiedeva di risolvere un puzzle matematico massiccio e complesso che coinvolgeva l'inversione di una matrice enorme (una griglia di numeri). Era come cercare di risolvere un puzzle Sudoku con un milione di caselle.

Gli autori hanno utilizzato un trucco matematico chiamato Identità di Woodbury.

L'Analogia: Invece di risolvere il puzzle da un milione di caselle, hanno realizzato che avevano bisogno di risolvere solo un minuscolo puzzle da 50 caselle che rappresenta le modifiche che vuoi apportare.
Il Risultato: Questo trasforma un compito che richiede ore in uno che richiede minuti. Possono aggiornare la conoscenza senza mai dover "svegliare" o calcolare il peso completo di ogni singolo esperto contemporaneamente.

2. Rispettare la Struttura del Team (Decomposizione Tensoriale)

Il secondo trucco è stato rendersi conto che gli esperti non sono casuali; sono correlati. Sono stati addestrati insieme, quindi la loro conoscenza è collegata in una specifica forma 3D (come un blocco di formaggio piuttosto che un foglio di carta piatto).

L'Analogia: Immagina che gli esperti siano un coro. Se vuoi cambiare l'intonazione della canzone, non devi urlare contro una sola persona; devi regolare l'armonia dell'intero gruppo.
Il Metodo: Gli autori hanno utilizzato la Decomposizione di Tucker. Questo è un modo per comprimere il "blocco di formaggio" (i pesi degli esperti) in una forma più piccola e centrale che cattura l'essenza del gruppo.
Il Beneficio: Modificando questa forma "centrale" più piccola, aggiornano automaticamente tutti gli esperti in un modo che rispetta le loro relazioni. Questo previene che il modello si confonda o "dimentichi" altre cose.

I Risultati: Veloce e Preciso

Il paper ha testato MoTE su diversi modelli di intelligenza artificiale moderni (come Qwen e GPT-OSS) e lo ha confrontato con il miglior metodo precedente (MoE-Edit) e con il riaddestramento standard.

Velocità: MoTE è fino a 6 volte più veloce del miglior metodo precedente. Può modificare 1.000 fatti in una frazione del tempo.
Qualità: È altrettanto bravo nel correggere i fatti (Efficacia) e nel non rompere altre parti del modello (Specificità) rispetto ai metodi più lenti.
Efficienza: Raggiunge questo risultato eseguendo il calcolo matematico pesante solo una volta alla fine del processo e distribuendo poi quel risultato agli altri livelli, invece di ricalcolare per ogni singolo livello.

Riassunto

Il paper introduce MoTE, uno strumento che ci permette di aggiornare rapidamente e con precisione i moderni modelli di intelligenza artificiale basati su "esperti". Lo fa:

Utilizzando una scorciatoia matematica per evitare di eseguire calcoli pesanti non necessari.
Rispettando la struttura del team degli esperti in modo che gli aggiornamenti abbiano senso.

Questo significa che possiamo mantenere i modelli di intelligenza artificiale aggiornati con il mondo reale senza doverli riaddestrare da zero, risparmiando enormi quantità di tempo ed energia.

Riepilogo Tecnico: Modifica della Conoscenza Scalabile per LLM a Mixture-of-Experts tramite Aggiornamenti Strutturati in Tensori

Enunciato del Problema
La modifica della conoscenza (KE) offre un'alternativa leggera al fine-tuning completo per aggiornare le conoscenze fattuali nei Large Language Models (LLM). Sebbene metodi consolidati come ROME e MEMIT forniscano aggiornamenti efficienti e a forma chiusa per le reti feed-forward dense (FFN), sono incompatibili con le moderne architetture a Mixture-of-Experts (MoE). Nei modelli MoE, le associazioni fattuali sono distribuite su un pool di esperti gestiti da un router, anziché essere memorizzate in una singola matrice densa. I metodi esistenti specifici per MoE, come MoE-Edit, si basano sulla discesa del blocco-coordinato iterativa (BCD) o sull'elaborazione sequenziale degli esperti. Questo approccio crea un collo di bottiglia computazionale, richiedendo la raccolta ripetuta delle attivazioni e iterazioni sequenziali del solver che scalano male con il numero di esperti e modifiche, rendendoli impraticabili per modelli di produzione su larga scala.

Metodologia: MoTE (MoE Tucker Editor)
Gli autori propongono MoTE, un framework che adatta il paradigma di modifica in batch a forma chiusa di MEMIT ai livelli MoE sfruttandone la struttura tensoriale. Il metodo consta di tre componenti fondamentali:

Riduzione di Woodbury per la Scalabilità:
L'obiettivo di ottimizzazione globale per la modifica MoE comporta l'inversione di un sistema massivo di dimensioni $(E \cdot d_{hidden}) \times (E \cdot d_{hidden})$ , dove $E$ è il numero di esperti. MoTE utilizza l'identità della matrice di Woodbury per riformulare questo problema. Riconoscendo che la matrice di Gram che guida l'inversione è una somma di $T$ termini di rango uno (dove $T$ è la dimensione del batch delle modifiche), il metodo riduce la complessità dell'inversione da cubica rispetto al numero di esperti a cubica rispetto alla dimensione del batch ( $T \times T$ ). Ciò consente una soluzione a forma chiusa senza materializzare o invertire l'intera matrice degli esperti impilati.
Riformulazione Strutturata in Tensori (Decomposizione di Tucker):
Gli autori identificano che trattare gli aggiornamenti degli esperti come blocchi indipendenti (un approccio a matrice piatta) ignora le correlazioni strutturali tra gli esperti apprese durante il pre-addestramento. Invece, MoTE rappresenta l'aggiornamento $\Delta W$ come un tensore del terzo ordine ( $E \times d_{model} \times d_{hidden}$ ) e lo vincola a una varietà di Tucker a basso rango.
- Fattorizzazione: L'aggiornamento è decomposto in un piccolo tensore core $G$ e tre matrici fattoriali ( $U_e, U_{out}, U_{in}$ ) derivate tramite SVD di ordine superiore (HOSVD) dei pesi originali.
- Ottimizzazione: Il problema di ottimizzazione viene collassato dallo spazio ad alta dimensionalità di tutti gli esperti al tensore core $G$ molto più piccolo. Ciò riduce la dimensionalità della variabile di ottimizzazione di ordini di grandezza preservando al contempo la struttura geometrica del livello MoE.
Propagazione Multi-Layer in Stile MEMIT:
Similmente a MEMIT, MoTE distribuisce le modifiche su più livelli critici per garantire la generalizzazione. Tuttavia, a differenza dei precedenti approcci MoE che richiedono la risoluzione per ciascun livello, MoTE calcola la soluzione a forma chiusa una sola volta all'ultimo livello critico. L'aggiornamento risultante del tensore core viene quindi propagato ai livelli precedenti con un coefficiente decrescente, evitando calcoli ridondanti e passaggi all'indietro.

Contributi Chiave

Formulazione Consapevole dei Tensori: Il documento formula l'obiettivo KE per i livelli MoE rispettando la struttura tensoriale dei pesi degli esperti impilati, evitando concatenazioni naive o approssimazioni su singolo esperto.
Soluzione Efficiente a Forma Chiusa: Combinando l'identità di Woodbury con la decomposizione di Tucker, il metodo ottiene un aggiornamento completamente a forma chiusa, privo di passaggi all'indietro. Richiede solo l'inversione di matrici a basso rango fisse (dimensione determinata dalla dimensione del batch o dal rango core), indipendentemente dal numero totale di esperti.
Scalabilità: L'approccio consente la modifica in batch simile a MEMIT, rendendo fattibile la modifica di moderni LLM sparsi senza i colli di bottiglia sequenziali dei precedenti metodi specifici per MoE.

Risultati Sperimentali
Gli autori hanno valutato MoTE su tre moderni LLM MoE (Qwen3-30B-A3B, GPT-OSS-20B e Qwen3.6-35B-A3B) utilizzando i benchmark COUNTERFACT e ZsRE.

Qualità della Modifica: MoTE raggiunge una qualità di modifica (efficacia, generalizzazione e specificità) paragonabile a baseline solide come MoE-Edit. In alcuni scenari (ad esempio GPT-OSS-20B su ZsRE), supera MoE-Edit nella località (specificità).
Velocità: Il metodo accelera la procedura di modifica fino a 6 volte rispetto a MoE-Edit. Questo aumento di velocità è attribuito alla raccolta delle attivazioni una sola volta all'ultimo livello e alla risoluzione del sistema a forma chiusa una sola volta, invece di iterare attraverso esperti e livelli in sequenza.
Ablazione: Gli esperimenti confermano che la combinazione naive della riduzione di Woodbury con la propagazione multi-livello (senza decomposizione di Tucker) non riesce a eguagliare le prestazioni di MoE-Edit, validando la necessità del prior strutturato in tensori.

Significato e Affermazioni
Il documento afferma che la modifica della conoscenza che modifica i parametri a forma chiusa non è intrinsecamente legata alle architetture dense. Applicando il corretto trattamento algebrico alla struttura del livello, queste tecniche possono essere estese ad architetture sparse complesse. Gli autori posizionano MoTE come un passo verso la modifica della conoscenza scalabile nei moderni LLM, dimostrando che la modifica basata su principi di ottimizzazione può tenere il passo con l'evoluzione architetturale. Sottolineano che il loro metodo fornisce una via pratica per aggiornare efficientemente i modelli MoE di produzione, sebbene notino limitazioni riguardanti gli alti costi computazionali con dimensioni del batch estremamente grandi ( $>>1000$ ) e il sovraccarico iniziale del calcolo dell'HOSVD.