Towards Scalable Lifelong Knowledge Editing with Selective Knowledge Suppression

Probleemstelling

Grote Taalmodellen (LLMs) zijn statisch getraind op grote corpora en hebben moeite om veranderende feiten bij te houden zonder volledige hertraining, wat computervermogen en tijd kost. Bestaande methoden voor levenslang kennisbewerking (lifelong knowledge editing) – waarbij specifieke kennis wordt aangepast zonder het hele model opnieuw te trainen – kampen met twee grote beperkingen:

1. Catastrofaal vergeten: Parameter-modificerende methoden (zoals ROME, MEMIT) interfereren vaak met eerdere kennis bij opeenvolgende bewerkingen, wat leidt tot degradatie van het model.
2. Schalingsproblemen en kosten: Bestaande retrieval-gebaseerde methoden (zoals LTE en RECIPE) lossen stabiliteitsproblemen op door extra training op specifieke datasets. Dit leidt echter tot hoge trainingskosten, beperkte schaalbaarheid naar nieuwe datasets en een gebrek aan generalisatie wanneer ze worden toegepast op data waar ze niet voor zijn getraind.

Er is dus behoefte aan een methode die kennisbewerking mogelijk maakt met minimale trainingskosten, hoge stabiliteit bij opeenvolgende bewerkingen en goede schaalbaarheid over verschillende datasets.

Methodologie: LightEdit

De auteurs stellen LightEdit voor, een lichtgewicht raamwerk dat kennisbewerking realiseert zonder de modelparameters permanent te wijzigen. Het systeem bestaat uit twee kerncomponenten:

1. Edit-Aware Selector (EAS):

   • Dit is een module die gebaseerd is op een cross-encoder (XLM-RoBERTa).
   • Wanneer een query wordt ingediend, worden relevante kennisitems opgehaald uit een externe geheugenbank met bewerkte feiten.
   • De EAS beoordeelt of deze opgehaalde feiten relevant zijn voor de specifieke query door het probleem te modelleren als een Natural Language Inference (NLI) taak (implicatie vs. niet-implicatie).
   • Alleen de meest relevante kennis wordt geselecteerd voor gebruik in de context. Dit zorgt ervoor dat irrelevante informatie wordt gefilterd, wat de lokaliteit (lokaliteit) van de bewerking behoudt en voorkomt dat het model verward raakt door ruis.

2. In-Context Decoding (ICD):

   • In plaats van het model opnieuw te trainen, past LightEdit een probabilistische aanpassing toe tijdens de inferentie.
   • De geselecteerde kennis wordt als context aan de query toegevoegd.
   • De methode onderdrukt de waarschijnlijkheid van het eerste token dat overeenkomt met de oude (verouderde) kennis. Dit gebeurt door de log-probabiliteit van het eerste token aan te passen volgens de formule:
     $$\log p'(x_1) = \ell_{new} - \alpha \cdot \ell_{prior}$$
     Waarbij $\ell_{new}$ de kans is op basis van de nieuwe context, $\ell_{prior}$ de kans op basis van de oorspronkelijke kennis, en $\alpha$ een hyperparameter is die de onderdrukking regelt.
   • Door de kans op het oude antwoord te verlagen, wordt het model gedwongen om de nieuwe, correcte kennis te genereren binnen één inferentiestap, zonder de interne parameters van het LLM te wijzigen.

Belangrijkste Bijdragen

• Identificatie van beperkingen: De auteurs benadrukken dat bestaande levenslange bewerkingsmethoden te afhankelijk zijn van dataset-specifieke training, wat leidt tot hoge kosten en slechte schaalbaarheid.
• LightEdit Framework: Een nieuw, lichtgewicht raamwerk dat kennisbewerking combineert met selectieve onderdrukking van probabiliteiten. Het vereist geen parameter-updates van het basismodel.
• Efficiëntie en Schaalbaarheid: LightEdit minimaliseert de trainingskosten aanzienlijk (alleen de selector wordt getraind, niet het LLM) en is direct toepasbaar op verschillende datasets zonder hertraining.
• Uitgebreide Validatie: De methode wordt getest op meerdere benchmarks (ZSRE, Counterfact, RIPE) en met verschillende modellen (LLaMA-3, GPT-J), waarbij het consistent presteert.

Resultaten

De experimentele resultaten tonen aan dat LightEdit superieur presteert ten opzichte van bestaande methoden (zoals FT, ROME, MEMIT, GRACE, LTE, RECIPE):

• Prestatiemetingen: LightEdit behaalt de hoogste scores op de drie kernmetrieken:
  • Betrouwbaarheid (Reliability): Het model geeft het juiste, bewerkte antwoord.
  • Generaliteit (Generality): Het model geeft het juiste antwoord op parafrasede vragen.
  • Lokalisatie (Locality): Het model verandert geen ongerelateerde kennis (geen catastrofaal vergeten).
  • Voorbeeld: Op de ZSRE-benchmark behaalde LightEdit een gemiddelde score van 0.9664, vergeleken met 0.7934 voor LTE en 0.9380 voor RECIPE.
• Stabiliteit: In tegenstelling tot andere methoden die snel degradatie vertonen naarmate het aantal bewerkingen toeneemt, behoudt LightEdit zijn hoge prestaties over honderden of duizenden opeenvolgende bewerkingen.
• Efficiëntie: LightEdit heeft een zeer korte bewerkingstijd (bijna 0 seconden, omdat er geen training nodig is) en een minimale inferentie-overhead. Het is aanzienlijk sneller dan methoden zoals MEMIT of AlphaEdit die minuten nodig hebben voor training.
• Generalisatie: LightEdit presteert goed op datasets waarvoor de selector niet specifiek is getraind (out-of-distribution), wat wijst op sterke robuustheid.

Betekenis en Impact

LightEdit biedt een praktische oplossing voor het onderhoud van LLM's in dynamische omgevingen. Door het vermijden van zware hertraining en het minimaliseren van het risico op catastrofaal vergeten, maakt deze methode het haalbaar om kennis in real-time bij te werken in productieomgevingen. Het bewijst dat kennisbewerking niet noodzakelijkerwijs ingewikkeld en duur hoeft te zijn; door slimme selectie en probabilistische controle tijdens de inferentie kunnen LLM's flexibel en schaalbaar worden bijgewerkt. Dit opent de weg voor meer betrouwbare en actuele AI-systemen die minder vatbaar zijn voor hallucinaties en verouderde feiten.