🤖 machine learning

Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates

Dit artikel stelt een schaalbaar, gesloten-formulekennisbewerkingskader voor voor Mixture-of-Experts LLM's dat tensorstructuren en de Woodbury-matrixidentiteit benut om per-expert-updates met tot 6x versnelling te realiseren, terwijl bewerkingskwaliteit vergelijkbaar blijft met dichte-laagbaselines.

Oorspronkelijke auteurs: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Een Bijwerken van een Enorme Bibliotheek

Stel je een Large Language Model (LLM) voor als een enorme, super-slimme bibliothecaris die bijna alles weet. Echter, zodra deze bibliothecaris is getraind, is hun kennis "bevroren". Als de wereld verandert (bijvoorbeeld door de verkiezing van een nieuwe president, of als een wetenschappelijk feit wordt gecorrigeerd), blijft de bibliothecaris oude, verkeerde antwoorden geven.

Meestal moet je, om dit te herstellen, de bibliothecaris terugsturen naar school voor een lange, dure hertrainingsronde. Dit is traag, kost een fortuin aan rekenkracht en loopt het risico dat de bibliothecaris andere dingen vergeet die ze al wisten.

Kennisbewerking is een afkorting. In plaats van de hele bibliothecaris opnieuw te trainen, ga je gewoon naar binnen en vervang je een specifiek bestand in hun geheugen. Eerdere methoden werkten uitstekend voor "dichte" modellen (waar elk deel van het brein actief is), maar ze hadden moeite met moderne modellen.

De Nieuwe Uitdaging: Het "Expert"-Team

Moderne AI-modellen (zoals die van OpenAI of DeepSeek) gebruiken geen enkel gigantisch brein. Ze maken gebruik van een Mixture-of-Experts (MoE) architectuur.

De Analogie: Stel je in plaats van één gigantische bibliothecaris een team van 100 gespecialiseerde experts voor (een historicus, een programmeur, een kok, een arts, enz.).
Hoe het werkt: Wanneer je een vraag stelt, kijkt een "router" (een manager) naar de vraag en maakt alleen de 4 of 8 experts wakker die relevant zijn. De anderen blijven slapen.
Het Probleem: Als je een feit wilt updaten (bijvoorbeeld "De hoofdstad van Frankrijk is Parijs"), wisten de oude bewerkingshulpmiddelen niet hoe ze met dit specifieke team moesten praten. Ze probeerden het hele team als één grote klomp te behandelen, wat inefficiënt en rommelig is. De bestaande methode om dit op te lossen (genaamd MoE-Edit) was als proberen de experts één voor één, in een lange rij, bij te werken, wat eeuwig duurde.

De Oplossing: MoTE (De Slimme Teammanager)

De auteurs stellen een nieuwe methode voor genaamd MoTE (Mixture-of-Experts Tucker Editor). Ze hebben het probleem opgelost met twee hoofdtrucs:

1. De "Afkorting" Wiskunde (Woodbury Identiteit)

De oude manier om de experts bij te werken vereiste het oplossen van een enorm, complex wiskundig raadsel dat het inverteren van een enorme matrix (een rooster van getallen) omvatte. Het was als proberen een Sudoku-puzzel met een miljoen vakjes op te lossen.

De auteurs gebruikten een wiskundige truc genaamd de Woodbury Identiteit.

De Analogie: In plaats van de puzzel met een miljoen vakjes op te lossen, realiseerden ze zich dat ze alleen een klein puzzeltje van 50 vakjes hoefden op te lossen dat de veranderingen vertegenwoordigt die je wilt aanbrengen.
Het Resultaat: Dit zet een taak die uren duurt om in een die enkele minuten duurt. Ze kunnen de kennis updaten zonder ooit de volledige gewichten van elke enkele expert tegelijkertijd te hoeven "wakker maken" of te berekenen.

2. Respecteren van de Teamstructuur (Tensordecompositie)

De tweede truc was het besef dat de experts niet willekeurig zijn; ze zijn gerelateerd. Ze werden samen getraind, dus hun kennis is verbonden in een specifiek 3D-vorm (zoals een blok kaas in plaats van een plat vel papier).

De Analogie: Stel je de experts voor als een koor. Als je de toonhoogte van het lied wilt veranderen, schreeuw je niet tegen één persoon; je past de harmonie van de hele groep aan.
De Methode: De auteurs gebruikten Tucker Decompositie. Dit is een manier om het "blok kaas" (de expert-gewichten) te comprimeren tot een kleinere, kernvorm die de essentie van de groep vastlegt.
Het Voordeel: Door deze kleinere "kern"-vorm te bewerken, werken ze automatisch alle experts bij op een manier die hun relaties respecteert. Dit voorkomt dat het model in de war raakt of andere dingen "vergeet".

De Resultaten: Snel en Accuraat

Het paper testte MoTE op verschillende moderne AI-modellen (zoals Qwen en GPT-OSS) en vergeleek het met de vorige beste methode (MoE-Edit) en standaard hertraining.

Snelheid: MoTE is tot 6 keer sneller dan de vorige beste methode. Het kan 1.000 feiten bewerken in een fractie van de tijd.
Kwaliteit: Het is net zo goed in het corrigeren van feiten (Effectiviteit) en het niet breken van andere delen van het model (Specificiteit) als de langzamere methoden.
Efficiëntie: Het bereikt dit door de zware wiskundige berekening slechts één keer aan het einde van het proces uit te voeren en dat resultaat vervolgens naar de andere lagen te verspreiden, in plaats van opnieuw te berekenen voor elke enkele laag.

Samenvatting

Het paper introduceert MoTE, een hulpmiddel dat ons in staat stelt moderne, "expert-gebaseerde" AI-modellen snel en accuraat bij te werken. Dit doet het door:

Een wiskundige afkorting te gebruiken om onnodige zware berekeningen te vermijden.
De teamstructuur van de experts te respecteren zodat de updates logisch zijn.

Dit betekent dat we AI-modellen up-to-date kunnen houden met de echte wereld zonder ze vanaf nul opnieuw te hoeven trainen, wat enorme hoeveelheden tijd en energie bespaart.

Technische Samenvatting: Schaalbare Kenniseditatie voor Mixture-of-Experts LLM's via Tensor-gestructureerde Updates

Probleemstelling
Kenniseditatie (KE) biedt een lichtgewicht alternatief voor volledige fine-tuning om feitelijke kennis in Large Language Models (LLM's) bij te werken. Hoewel gevestigde methoden zoals ROME en MEMIT efficiënte, gesloten-vormige updates voor dichte feed-forward netwerken (FFN's) bieden, zijn ze incompatibel met moderne Mixture-of-Experts (MoE) architecturen. In MoE-modellen zijn feitelijke associaties verdeeld over een pool van experts die worden geselecteerd door een router, in plaats van opgeslagen in één enkele dichte matrix. Bestaande MoE-specifieke editiemethoden, zoals MoE-Edit, vertrouwen op iteratieve block-coördinaatafdaal (BCD) of sequentiële verwerking van experts. Deze aanpak creëert een computatief knelpunt, waarbij herhaalde activatiecollectie en sequentiële solveriteraties nodig zijn die slecht schalen met het aantal experts en edits, waardoor ze onpraktisch worden voor productie-modellen op grote schaal.

Methodologie: MoTE (MoE Tucker Editor)
De auteurs stellen MoTE voor, een raamwerk dat het gesloten-vormige, gebatchte editieparadigma van MEMIT aanpast aan MoE-lagen door gebruik te maken van hun tensorstructuur. De methode bestaat uit drie kerncomponenten:

Woodbury-reductie voor Schaalbaarheid:
De globale optimalisatiedoelstelling voor MoE-editie vereist het inverteren van een massief systeem van de grootte $(E \cdot d_{hidden}) \times (E \cdot d_{hidden})$ , waarbij $E$ het aantal experts is. MoTE maakt gebruik van de Woodbury-matrixidentiteit om dit probleem te herformuleren. Door te erkennen dat de Gram-matrix die de inversie aandrijft een som is van $T$ rang-één termen (waarbij $T$ de batchgrootte van edits is), reduceert de methode de inversiecomplexiteit van kubisch in het aantal experts naar kubisch in de batchgrootte ( $T \times T$ ). Dit maakt een gesloten-vormige oplossing mogelijk zonder de volledige gestapelde expertmatrix te materialiseren of in te keren.
Tensor-gestructureerde Herformulering (Tucker-decompositie):
De auteurs identificeren dat het behandelen van expertupdates als onafhankelijke blokken (een platte matrixaanpak) de structurele correlaties tussen experts die tijdens pretraining zijn geleerd, negeert. In plaats daarvan stelt MoTE de update $\Delta W$ voor als een tensor van de derde orde ( $E \times d_{model} \times d_{hidden}$ ) en beperkt deze tot een laag-rang Tucker-maand.
- Factorisatie: De update wordt ontbonden in een kleine kern-tensor $G$ en drie factor-matrices ( $U_e, U_{out}, U_{in}$ ) die worden afgeleid via Higher-Order SVD (HOSVD) van de oorspronkelijke gewichten.
- Optimalisatie: Het optimalisatieprobleem wordt samengevouwen van de hoog-dimensionale ruimte van alle experts naar de veel kleinere kern-tensor $G$ . Dit reduceert de dimensionaliteit van de optimalisatievariabele met ordes van grootte, terwijl de geometrische structuur van de MoE-laag behouden blijft.
MEMIT-stijl Multi-Layer Verspreiding:
Net als bij MEMIT verspreidt MoTE edits over meerdere kritieke lagen om generalisatie te waarborgen. In tegenstelling tot eerdere MoE-benaderingen die voor elke laag opnieuw moeten worden opgelost, berekent MoTE de gesloten-vormige oplossing slechts één keer op de laatste kritieke laag. De resulterende kern-tensor-update wordt vervolgens met een afnemende coëfficiënt doorgegeven aan voorafgaande lagen, waardoor redundante berekeningen en achterwaartse passes worden vermeden.

Belangrijkste Bijdragen

Tensor-bewuste Formulering: Het artikel formuleert de KE-doelstelling voor MoE-lagen door rekening te houden met de tensorstructuur van gestapelde expertgewichten, en vermijdt naïeve concatenatie of benaderingen met één enkele expert.
Efficiënte Gesloten-vormige Oplossing: Door de Woodbury-identiteit te combineren met Tucker-decompositie, bereikt de methode een volledig gesloten-vormige, achterwaartse-pas-vrije update. Het vereist alleen het inverteren van vaste laag-rang matrices (grootte bepaald door de batchgrootte of kernrang), onafhankelijk van het totale aantal experts.
Schaalbaarheid: De aanpak maakt gebatchte editing mogelijk, vergelijkbaar met MEMIT, waardoor het haalbaar wordt om moderne, schaarse LLM's te bewerken zonder de sequentiële knelpunten van eerdere MoE-specifieke methoden.

Experimentele Resultaten
De auteurs hebben MoTE geëvalueerd op drie moderne MoE LLM's (Qwen3-30B-A3B, GPT-OSS-20B en Qwen3.6-35B-A3B) met behulp van de COUNTERFACT- en ZsRE-benchmarks.

Kwaliteit van Editing: MoTE bereikt een editiekwaliteit (effectiviteit, generalisatie en specificiteit) die vergelijkbaar is met sterke baselines zoals MoE-Edit. In sommige scenario's (bijvoorbeeld GPT-OSS-20B op ZsRE) presteert het beter dan MoE-Edit op het gebied van localiteit (specificiteit).
Snelheid: De methode versnelt het editieproces met tot 6x in vergelijking met MoE-Edit. Deze snelheidswinst wordt toegeschreven aan het slechts één keer verzamelen van activaties op de laatste laag en het slechts één keer oplossen van het gesloten-vormige systeem, in plaats van sequentieel door experts en lagen te itereren.
Ablatie: Experimenten bevestigen dat de naïeve combinatie van Woodbury-reductie met multi-layer verspreiding (zonder Tucker-decompositie) niet kan tippen aan de prestaties van MoE-Edit, wat de noodzaak van de tensor-gestructureerde prior valideert.

Betekenis en Claims
Het artikel beweert dat parameter-modificerende kenniseditatie in gesloten vorm niet intrinsiek verbonden is aan dichte architecturen. Door de juiste algebraïsche behandeling toe te passen op de structuur van de laag, kunnen deze technieken worden uitgebreid naar complexe schaarse architecturen. De auteurs positioneren MoTE als een stap in de richting van schaalbare kenniseditatie in moderne LLM's, en tonen aan dat principiële, optimalisatie-gebaseerde editing gelijke tred kan houden met architecturale evolutie. Ze benadrukken dat hun methode een praktische weg biedt voor het efficiënt bijwerken van productie-MoE-modellen, hoewel ze beperkingen opmerken met betrekking tot hoge computatiekosten bij extreem grote batchgroottes ( $>>1000$ ) en de initiële overhead van het berekenen van HOSVD.