Disentangling Knowledge Representations for Large Language Model Editing

Probleemstelling

Bestaande methoden voor het bewerken van kennis in Large Language Models (LLMs) (zoals ROME, MEMIT en AlphaEdit) zijn effectief in het injecteren van nieuwe feiten en het behouden van grofkorrelige irrelevante kennis (feiten met een volledig ander onderwerp). Ze falen echter vaak bij het behoud van fijnkorrelige irrelevante kennis.

• Definitie: Fijnkorrelige irrelevante kennis verwijst naar feiten die hetzelfde onderwerp (subject) delen als de te bewerken kennis, maar een andere relatie en een ander object hebben. Bijvoorbeeld: als je de kennis update van "De president van de VS is Biden" naar "De president van de VS is Trump", zou het feit "De hoofdstad van de VS is Washington" ongewijzigd moeten blijven.
• Oorzaak: In de representatieruimte van LLMs zijn subjectrepresentaties inherent verweven met meerdere attributen. Wanneer een bewerking direct op de subjectrepresentatie wordt uitgevoerd, raken de doelkennis en de fijnkorrelige irrelevante kennis verstrikt (entangled). Dit leidt tot onbedoelde wijzigingen in de irrelevante feiten tijdens het bewerkingsproces. Bestaande methoden gebruiken vaak ruwe beperkingen (zoals tekst uit Wikitext) die onvoldoende specifiek zijn om deze fijne verwevenheid op te lossen.

Methodologie: DiKE

De auteurs stellen DiKE (Disentangling Knowledge representations for LLM Editing) voor, een nieuwe "locate-then-edit" aanpak die bestaat uit twee hoofdcomponenten:

1. Knowledge Representation Disentanglement (KRD)

Dit module is verantwoordelijk voor het ontwarren van de subjectrepresentatie in twee distincte componenten:

• Doelkennis-gerelateerde component ($z^r_e$): Bevat informatie specifiek voor de te bewerken relatie.
• Doelkennis-ongerelateerde component ($z^u_e$): Bevat informatie over andere relaties van hetzelfde onderwerp (de fijnkorrelige irrelevante kennis).

Het KRD-module bestaat uit een Disentangler en een Recomposer. Het wordt getraind met drie verliesfuncties:

• Contrastief Verlies: Maximaliseert de wederzijdse informatie tussen de componenten en het onderwerp, terwijl de twee componenten als negatieve paren worden behandeld om ze in de representatieruimte te scheiden.
• Beperkingsverlies (Constraint Loss): Zorgt ervoor dat de ongerelateerde component ($z^u_e$) correct kan voorspellen voor de oorspronkelijke, niet-bewerkte feiten.
• Reconstructieverlies: Garandeert dat de oorspronkelijke subjectrepresentatie nauwkeurig kan worden gereconstrueerd uit de ontwarde componenten.

2. Disentanglement-based Knowledge Edit (DKE)

Na het ontwarren van de representaties wordt de daadwerkelijke bewerking uitgevoerd:

• Bewerking: De nieuwe kennis wordt uitsluitend geïntroduceerd in de doelkennis-gerelateerde component ($z^r_e$).
• Behoud: De doelkennis-ongerelateerde component ($z^u_e$) wordt expliciet ongewijzigd gelaten.
• Rank-One Update: De auteurs leiden een gesloten-formule oplossing af (gebaseerd op matrixtheorie) voor een rank-one parameterupdate. Deze formule minimaliseert de fout voor de nieuwe kennis terwijl ze tegelijkertijd de ongerelateerde componenten en bestaande grofkorrelige kennis respecteert. Dit maakt de bewerking efficiënt en minimaal invasief.

Belangrijkste Bijdragen

1. Probleemdefinitie: De auteurs identificeren en kwantificeren het unieke probleem van het behoud van fijnkorrelige irrelevante kennis, wat vaak over het hoofd wordt gezien in bestaande literatuur.
2. DiKE Framework: Een nieuwe methode die kennisrepresentaties ontrafelt om precisie-bewerkingen mogelijk te maken zonder "ripple effects" op gerelateerde feiten.
3. Gesloten-formule Oplossing: Een wiskundig afgeleide rank-one update die meerdere beperkingen (doel, grofkorrelig, fijnkorrelig) efficiënt combineert.
4. FINE-KED Dataset: De ontwikkeling van een nieuwe benchmark-dataset specifiek ontworpen om de prestaties van bewerkingsmethoden op fijnkorrelige irrelevante kennis te evalueren, onderverdeeld in drie moeilijkheidsgraden (gemakkelijk, gemiddeld, moeilijk) op basis van relationele semantische gelijkenis.

Resultaten

Uitgebreide experimenten zijn uitgevoerd op modellen van verschillende groottes (GPT-2-XL, GPT-J, LLaMA-3) op de FINE-KED en COUNTERFACT benchmarks.

• Behoud van Fijnkorrelige Kennis: DiKE presteert aanzienlijk beter dan state-of-the-art methoden (ROMe, MEMIT, AlphaEdit, MEND) op de Relational Locality metric. Op de FINE-KED dataset verbeterde DiKE de behoudsscore met tot wel 8,3% ten opzichte van de baselines, vooral op de moeilijkste niveaus waar relationele gelijkenis hoog is.
• Bewerkingsprestaties: DiKE behoudt een hoge Efficacy Score (succes van de nieuwe kennisinjectie), vergelijkbaar met de beste bestaande methoden.
• Batch Editing: Bij het bewerken van batches met hetzelfde onderwerp (een zeer uitdagend scenario) degradeert de prestatie van bestaande methoden sterk, terwijl DiKE stabiel blijft dankzij de expliciete ontwarping van relaties.
• Ablatie Studies: Experimenten tonen aan dat zowel het contrastieve leerproces als de expliciete beperkingen voor ongerelateerde kennis essentieel zijn voor de prestaties.
• Generalisatie: De KRD-module generaliseert goed naar nieuwe onderwerpen en relaties die niet tijdens het trainen zijn gezien (Out-of-Distribution).

Betekenis en Impact

DiKE biedt een fundamentele verbetering in de betrouwbaarheid van kennisbewerking in LLMs. Door de verwevenheid van kennis in de modelrepresentaties expliciet op te lossen, kunnen ontwikkelaars feiten nauwkeuriger updaten zonder dat dit leidt tot corruptie van nauw verwante informatie. Dit is cruciaal voor toepassingen waar hoge nauwkeurigheid vereist is, zoals het corrigeren van feitelijke onjuistheden, het verwijderen van vooroordelen, of het bijwerken van dynamische kennis (zoals politieke verkiezingen) zonder de integriteit van het model te schaden. De introductie van FINE-KED zet ook een nieuwe standaard voor het evalueren van de fijnheid van kennisbewerking.