Mechanistic Circuit-Based Knowledge Editing in Large Language Models

Probleemstelling: De Redeneringskloof (Reasoning Gap)

Het implementeren van Large Language Models (LLMs) in dynamische real-world omgevingen wordt beperkt door de statische aard van hun vooraf getrainde kennis. Hoewel bestaande methoden voor kennisbewerking (knowledge editing) individuele feiten betrouwbaar kunnen updaten, lijden ze vaak aan een kritiek falen: de "Reasoning Gap".

• Het fenomeen: Een model kan een bewerkt feit correct herinneren als het geïsoleerd wordt afgevraagd (bijv. "Wie is de premier?"), maar faalt om deze geüpdatete informatie te gebruiken in meerstapsredeneringsketens (bijv. "Welke politieke partij is de leider van de premier?").
• De oorzaak: Traditionele methoden behandelen kennis als geïsoleerde atomaire eenheden die worden opgeslagen in specifieke lagen (vaak MLP-lagen). Ze patchen de "opslag" (storage), maar negeren de redeneringscircuits (routing pathways) die nodig zijn om die informatie logisch door het netwerk te leiden. De interne "draden" van het model zijn dus nog steeds verbonden met verouderde redeneringspaden.

Methodologie: MCircKE

De auteurs stellen MCircKE (Mechanistic Circuit-based Knowledge Editing) voor, een raamwerk dat de redeneringskloof overbrugt door een chirurgische "map-and-adapt" (in kaart brengen en aanpassen) procedure. In plaats van te vertrouwen op data-augmentatie om het model indirect te trainen (zoals CaKE doet), identificeert MCircKE expliciet de causale circuits en past deze direct aan.

Het proces bestaat uit drie hoofdstappen:

1. Circuit Discovery (In kaart brengen):

   • Het model wordt gemodelleerd als een gerichte acyclische graaf (DAG) van computationele submodules (attention heads en MLP's).
   • Om de specifieke subgraaf te vinden die verantwoordelijk is voor een taak, gebruiken de auteurs Edge Attribution Patching met Integrated Gradients (EAP-IG).
   • EAP-IG lost het verzadigingsprobleem van standaard gradiënten op door gradiënten te integreren langs een lineair pad tussen een "corrupte" input (met een ander feit) en een "schone" input. Dit levert een robuuste schatting van de causale belangrijkheid van elke verbinding (edge).
   • Door top-K pruning worden de ruis en irrelevante paden verwijderd, waardoor een schaars, hoogwaardig redeneringscircuit overblijft.

2. Circuit-Guided Low-Rank Adaptation (Chirurgisch aanpassen):

   • Zodra het circuit $C$ is geïdentificeerd, worden alleen de parameters binnen dit circuit aangepast.
   • Voor elke gewichtsmatrix $W$ in het circuit wordt een Low-Rank Adaptation (LoRA) toegepast: $W_{new} = W + \alpha BA$.
   • Cruciaal: Voor alle modules buiten het circuit wordt $\Delta W = 0$ afgedwongen. Dit zorgt ervoor dat de bewerking mechanisch gelokaliseerd is en de specifieke informatieflow die verantwoordelijk is voor de logica, fysiek wordt herschakeld zonder andere kennis te verstoren.

Belangrijkste Bijdragen

1. Mechanistisch Inzicht: De auteurs tonen aan dat multi-hop redeneren niet alleen afhankelijk is van het opslaan van feiten in vroege lagen, maar ook van een gedistribueerd netwerk van attention heads en MLP's in midden- en late lagen die fungeren als "routing heads". Bestaande methoden missen deze routing-component.
2. Het MCircKE Framework: Dit is het eerste framework dat dynamische redeneringscircuits expliciet in kaart brengt en path-constrained updates uitvoert, in plaats van te vertrouwen op heuristieken of data-stimulatie.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat MCircKE de prestaties voor multi-hop redeneren aanzienlijk verbetert ten opzichte van state-of-the-art methoden.

Resultaten

De methoden zijn getest op de MQuAKE-3K benchmark (multi-hop vragen over kennisbewerking) met modellen GPT-2 Large, GPT-2 XL en GPT-J.

• Verbetering Multi-hop Redeneren: MCircKE behaalt de hoogste multi-hop nauwkeurigheid. Op GPT-2 Large bereikt het 50,4% multi-hop nauwkeurigheid, wat een verbetering is van meer dan 15 procentpunten ten opzichte van de beste vorige methode (CaKE, 34,9%).
• Overbrugging van de Kloof: Traditionele methoden zoals ROME en MEMIT hebben een enorme kloof tussen single-hop (feitelijke herinnering) en multi-hop prestaties (bijv. ROME op GPT-2 XL: 61,5% single-hop vs. 12,5% multi-hop). MCircKE verkleint deze kloof aanzienlijk (naar ~25% verschil) terwijl het tegelijkertijd hoge scores haalt op beide.
• Locality (Behoud van andere kennis): De bewerkingen zijn zeer lokaal. Tests op benchmarks zoals MMLU en CommonsenseQA tonen minimale prestatieverlies, wat aantoont dat ongerelateerde kennis intact blijft.
• Ablatie-studies:
  • Het updaten van alleen MLP's (zonder routing) resulteert in een instorting van multi-hop prestaties, wat bevestigt dat routing essentieel is.
  • Het updaten van willekeurige randen werkt slecht, wat aantoont dat de geïdentificeerde circuits mechanisch relevant zijn.
  • MCircKE presteert beter dan volledige model-finetuning (Full Graph), wat suggereert dat het beperken van updates tot het relevante circuit fungeert als structurele regularisatie.

Betekenis en Conclusie

Het paper biedt een fundamentele verschuiving in hoe kennisbewerking in LLMs wordt benaderd. In plaats van kennis als statische opslag te zien, behandelt MCircKE het als een dynamisch proces dat afhankelijk is van specifieke computationele circuits.

• Significantie: Het bewijst dat het succesvol updaten van een model niet alleen gaat over het "invoeren" van een nieuw feit, maar over het herstellen van de logische connecties die nodig zijn om dat feit te gebruiken in complexe inferenties.
• Toekomstige uitdagingen: De auteurs noemen beperkingen zoals de rekentijd voor het berekenen van EAP-IG (hoewel efficiënter dan activation patching), de uitdaging van sequentiële bewerkingen (interferentie tussen bewerkingen) en de noodzaak om de methode te valideren op andere architecturen dan de GPT-familie.

Kortom, MCircKE lost het "Reasoning Gap" op door de interne logica van het model mechanisch te begrijpen en chirurgisch te repareren, waardoor LLMs betrouwbaarder worden in dynamische omgevingen.