Uncovering Context Reliance in Unstructured Knowledge Editing

Titel: Uncovering Context Reliance in Unstructured Knowledge Editing

Auteurs: Zisheng Zhou, Mengqi Zhang, et al. (Shandong University & Beijing University of Posts and Telecommunications)

---

1. Het Probleem: Context-afhankelijkheid bij Ongestructureerde Kennisbewerking

Grote Taalmodellen (LLMs) verwerven kennis tijdens pre-training via Next-Token Prediction (NTP). Hoewel kennisbewerking (Knowledge Editing) een veelbelovende oplossing is om feitelijke fouten te corrigeren of verouderde informatie bij te werken, richten bestaande methoden zich voornamelijk op gestructureerde kennis (triplets: onderwerp-relatie-object).

In de realiteit is kennis echter vaak ongestructureerd (vrije tekst). Bestaande methoden voor ongestructureerde bewerking passen vaak strategieën toe die zijn ontworpen voor gestructureerde data, of ze proberen de tekst te decomponeren in triplets, wat leidt tot informatieverlies.

Het paper identificeert een fundamenteel probleem bij het gebruik van het NTP-paradigma voor ongestructureerde kennisbewerking: Context Reliance (Context-afhankelijkheid).

• Observatie: Na het bewerken van een tekst met meerdere kennisfacten, slaagt het model erin om feiten te onthouden die vroeg in de tekst staan, maar faalt het bij feiten die later in de tekst voorkomen.
• Oorzaak: Het model leert de nieuwe kennis niet als een zelfstandig feit, maar koppelt deze sterk aan de voorafgaande context (de tekst die voor het feit staat).
• Gevolg: Tijdens inferentie (toepassing), als de gebruiker een vraag stelt zonder die specifieke voorafgaande context, kan het model het bewerkte feit niet ophalen. Dit leidt tot een drastische daling in prestaties naarmate de positie van de kennis in de tekst verder naar achteren ligt.

2. Methodologie: Analyse en Oplossing (COIN)

A. Empirische en Theoretische Validatie

De auteurs onderbouwen de hypothese van Context Reliance op twee manieren:

1. Empirisch: Experimenten tonen aan dat het toevoegen van de originele voorafgaande context tijdens inferentie de recall van kennis aanzienlijk herstelt, vooral voor feiten die later in de tekst staan.
2. Theoretisch: Ze bewijzen dat Context Reliance een inherent gevolg is van gradient-based optimization (gradient descent). Tijdens het trainen op een specifieke tekst, worden de gradients zo geoptimaliseerd dat de nieuwe kennis wordt "verstrikt" (entangled) met de geaggregeerde contextuele representatie van die specifieke tekst, in plaats van alleen met de semantisch relevante tokens. Zonder die context verandert de representatie, waardoor de geleerde kennis niet meer toegankelijk is.

B. De Oplossing: COIN (COntext-INdependent editing)

Om dit probleem op te lossen, stellen de auteurs COIN voor, een framework dat de model gedwongen wordt om kennis te internaliseren in plaats van contextpatronen te memoriseren. COIN introduceert twee nieuwe verliesfuncties naast de standaard NLL-loss:

1. Context Alignment Loss ($L_{align}$):

   • Doel: De voorspellingsverdeling van het model gelijk maken, ongeacht of het model werkt met de volledige tekst (globale context) of alleen met een korte, lokale context (een schuiven venster van de laatste $k$ tokens).
   • Werking: Door de Kullback-Leibler (KL) divergentie te minimaliseren tussen de uitkomsten van de globale en lokale context, wordt het model gedwongen om de essentiële informatie voor de voorspelling te vinden binnen de lokale scope. Dit breekt de afhankelijkheid van verre voorafgaande context.

2. Knowledge Consistency Loss ($L_{cons}$):

   • Doel: Voorkomen van "model collapse" (het verlies van algemene vaardigheden).
   • Werking: Deze loss beperkt de wijzigingen in de interne representaties (gewichtsmatrices) voor inputs die niets te maken hebben met de bewerkte kennis. Het zorgt ervoor dat de output voor algemene kennis (bijv. uit Wikipedia) gelijk blijft na de bewerking.

De totale objectief functie is:
$$L_{COIN} = L_{NLL} + \alpha L_{align} + \beta L_{cons}$$

3. Belangrijkste Resultaten

De auteurs hebben COIN getest op Llama3-8B en Qwen2.5-7B met de benchmarks AKEW en UnKEBench.

• Vermindering van Context Reliance: COIN verlaagt het fenomeen van Context Reliance met 45,2% in vergelijking met sterke baselines zoals Fine-Tuning (FT) en LoRA.
• Verbeterde Succesratio: De editing success rate (het vermogen om de juiste kennis op te halen zonder context) stijgt met 23,6% ten opzichte van de beste baselines.
• Prestaties over de hele lijn:
  • COIN presteert consistent beter dan bestaande methoden (UnKE, AnyEdit, AlphaEdit-D) op zowel ongestructureerde als gestructureerde taken.
  • Bij multi-hop redeneringstaken (gestructureerde kennis) overtreft COIN alle andere methoden, wat aantoont dat het NTP-paradigma, wanneer goed beheerd, superieur is aan triplet-decompositie-methoden.
• Robuustheid: Het model behoudt zijn algemene vaardigheden (geen model collapse) en presteert goed bij batch-editing (tot 256 items).

4. Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Identificatie van een fundamenteel falen: Het paper onthult dat Context Reliance een kritieke beperking is van NTP-gebaseerde kennisbewerking voor ongestructureerde data, wat leidt tot onbetrouwbare prestaties in real-world scenario's.
2. Theoretisch inzicht: Het biedt een wiskundige onderbouwing dat gradient-based optimization inherent neigt tot het verstrikt raken van kennis met context, wat een nieuwe kijk geeft op hoe LLMs kennis opslaan.
3. Efficiënte oplossing: COIN is een eenvoudig maar krachtig framework dat zonder complexe query-construction of triplet-decompositie werkt, en direct de ongestructureerde tekst gebruikt.
4. Praktische impact: De resultaten suggereren dat voor betrouwbare kennisbewerking in LLMs, het cruciaal is om kennis onafhankelijk te maken van de specifieke context waarin het werd geleerd. Dit is een noodzakelijke stap voor het maken van LLMs die echt "leren" en niet alleen patronen memoriseren.

Conclusie:
Dit werk verandert de paradigma voor kennisbewerking door aan te tonen dat het simpelweg het aanpassen van gewichten op basis van tekst (NTP) niet genoeg is. Zonder maatregelen zoals Context Alignment, blijft de kennis kwetsbaar voor contextuele variaties. COIN biedt een robuuste route naar context-onafhankelijke, betrouwbare kennisupdates in grote taalmodellen.