🤖 machine learning

Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning

Dit artikel stelt Multi-Objective In-context Knowledge Editing (MO-IKE) voor, een multi-objective reinforcement learning-algoritme dat de constructie van prompts formuleert als een Constrained Markov Decision Process om gelijktijdig betrouwbaarheid, generaliteit en specificiteit te optimaliseren, waardoor het een superieure prestatie bereikt bij het bijwerken van LLM-kennis vergeleken met eerdere methoden.

Oorspronkelijke auteurs: Xuzhong Wang, Maiqi Jiang, Tejal Nair, Girija Bhusal, Yanfu Zhang, Haipeng Chen

Gepubliceerd 2026-08-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xuzhong Wang, Maiqi Jiang, Tejal Nair, Girija Bhusal, Yanfu Zhang, Haipeng Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn de motoren achter een nieuwe generatie kunstmatige intelligentie, in staat om verhalen te schrijven, problemen op te lossen en vragen te beantwoorden met een vloeiendheid die vaak menselijk denken nabootst. Deze systemen hebben echter een fundamentele beperking: hun kennis is bevroren in de tijd. Zodra een model zijn initiële training heeft voltooid, wordt de kennis die het bezit statisch. Als een model getraind was vóór de Olympische Winterspelen van 2026, zal het de uiteindelijke medailles tellen niet weten, ongeacht hoe vaak je het vraagt. Het bijwerken van deze kennis vereist meestal een massaal, kostbaar hertrainingsproces dat voor de meeste gebruikers onpraktisch is. Om dit op te lossen, hebben onderzoekers een techniek ontwikkeld genaamd in-context knowledge editing (in-context kennisbewerking). In plaats van de interne code van het model te wijzigen, biedt deze methode het model een reeks voorbeelden in de gespreksprompt, waardoor het effectief een nieuw feit leert voor de duur van die specifieke interactie. De uitdaging ligt in het construeren van de perfecte set voorbeelden: deze moet sterk genoeg zijn om het model te dwingen het nieuwe feit te accepteren, flexibel genoeg om te werken zelfs als de vraag anders wordt geformuleerd, en nauwkeurig genoeg om ervoor te zorgen dat het model niet per ongeluk ongerelateerde feiten die het al kende vergeet of wijzigt.

Een team van onderzoekers heeft nu een nieuw systeem geïntroduceerd genaamd MO-IKE, dat aanzienlijk verbetert hoe deze prompts worden opgebouwd. Eerdere pogingen om dit proces te automatiseren vertrouwden op reinforcement learning (versterkingsleren), een methode waarbij een computerprogramma leert door middel van vallen en opstaan. Hoewel deze eerdere systemen er succesvol in slaagden het model een nieuw feit te leren, deden ze dit vaak tegen een hoge prijs. In hun haast om te garanderen dat het nieuwe feit werd geaccepteerd, verwijderden de systemen de voorbeelden die nodig waren om de bestaande kennis van het model te beschermen. Dit creëerde een fragiele balans waarbij het oplossen van één fout andere fouten veroorzaakte. De nieuwe aanpak behandelt de constructie van de prompt niet als een eenvoudige lijst met items, maar als een sequentieel besluitvormingsproces. Het systeem leert stap voor stap te kiezen of het een voorbeeld toevoegt dat het nieuwe feit vermeldt, een voorbeeld dat de vraag herformuleert, of een voorbeeld dat een feit versterkt dat ongewijzigd moet blijven. Het stopt pas met het toevoegen van voorbeelden wanneer het bepaalt dat de prompt compleet is.

De onderzoekers hebben dit systeem getraind met behulp van een multi-objective beloningsstructuur, wat betekent dat de computer tegelijkertijd werd beloond voor succes op drie gebieden: het correct krijgen van het nieuwe feit, het afhandelen van verschillende manieren van vragen, en het veilig houden van ongerelateerde feiten. Door deze concurrerende doelen in evenwicht te brengen, voorkomt de nieuwe methode dat het systeem te agressief wordt in zijn updates. Bij tests op een standaard set feiten verhoogde het nieuwe systeem het succespercentage van de bewerking van 87,1 procent naar 91,1 procent. Belangrijker nog, het verbeterde de bewaring van ongerelateerde kennis drastisch, waarbij het retentiepercentage steeg van 41,0 procent naar 63,4 procent. Dit betekent dat het model veel minder waarschijnlijk feiten "vergeet" die het niet hoefde te wijzigen terwijl het de nieuwe leerde. Het systeem bleek ook zeer aanpasbaar te zijn; een versie die getraind was op één specifiek taalmodel werkte net zo goed wanneer deze werd toegepast op een volledig ander model zonder extra training.

De studie toont aan dat de manier waarop voorbeelden worden georganiseerd even belangrijk is als de voorbeelden zelf. Eerdere methoden gebruikten vaak een vaste sjabloon of concentreerden zich alleen op één type voorbeeld, wat leidde tot ongebalanceerde prompts. Het nieuwe systeem mengt dynamisch verschillende soorten voorbeelden, waardoor een context ontstaat die robuust en specifiek is. In tests over vijf verschillende bevroren taalmodellen en vier verschillende datasets, inclus�{%} een enorme benchmark met meer dan 300.000 voorbeelden, presteerde de methode consequent beter dan voorheen gebruikte technieken. De onderzoekers ontdekten dat door de afweging tussen het aanleren van nieuwe informatie en het beschermen van oude informatie zorgvuldig te beheren, zij een niveau van betrouwbaarheid en specificiteit konden bereiken dat voorheen onbereikbaar was. Dit werk suggereert dat de toekomst van het bijwerken van kunstmatige intelligentie niet ligt in massale hertraining, maar in slimmere, meer gebalanceerde manieren om het model door gesprekken te leiden.

Technische Samenvatting: MO-IKE via Multi-Objective Reinforcement Learning

Probleemstelling

Large Language Models (LLM's) vertrouwen op statische parametrische kennis die veroudert na de pretraining-fase. Terwijl Knowledge Editing (KE) ernaar streeft om het gedrag van een model aan te passen voor specifieke feiten zonder volledige hertraining, is In-Context Knowledge Editing (IKE) naar voren gekomen als een training-vrij alternatief dat toepasbaar is op black-box modellen. IKE construeert een prompt door demonstraties op te halen en te concateneren om de gewenste update te induceren.

Het construeren van een effectieve IKE-prompt vereist echter het balanceren van drie vaak tegenstrijdige doelstellingen:

Betrouwbaarheid (Reliability): Het model moet succesvol de nieuwe feit produceren voor de doelvraag.
Generaliteit (Generality): De update moet van toepassing zijn op semantisch equivalente vragen (parafrasen).
Specificiteit (Specificity): Het model moet ongerelateerde naburige feiten zonder wijziging behouden.

Recente Reinforcement Learning (RL) benaderingen, zoals DR-IKE, proberen demonstraties dynamisch te selecteren om betrouwbaarheid te optimaliseren. Echter, het artikel identificeert twee kritieke tekortkomingen in deze state-of-the-art methoden:

Verwaarlozing van Sequentiële Ordening: Ze behandelen de organisatie van demonstraties vaak als een secundaire zorg of optimaliseren alleen de rangschikking van specifieke typen (bijv. RETAIN), waarbij de globale onderlinge afhankelijkheid van de demonstratievolgorde wordt genegeerd.
Onbalans in Doelstellingoptimalisatie: Door primair te optimaliseren voor edit-succes (betrouwbaarheid), negeren deze methoden onbedoeld RETAIN-demonstraties (die naburige kennis beschermen). Dit leidt tot een "reward hacking"-fenomeen waarbij de retriever demonstraties die specificiteit beschermen wegfiltert, wat resulteert in een instorting van de Retention Rate (specificiteit).

Methodologie: MO-IKE

De auteurs stellen MO-IKE (Multi-Objective In-context Knowledge Editing) voor, een algoritme dat promptconstructie frameert als een Constrained Markov Decision Process (Constrained MDP) om betrouwbaarheid, generaliteit en specificiteit gezamenlijk te optimaliseren.

1. Formulering als een Constrained MDP

Het retrieval-proces wordt gemodelleerd als een sequentieel beslissingsprobleem $(S, A, T, R, C)$ :

Toestand (State, $S$ ): De momenteel geconstrueerde prompt-context.
Actie (Action, $A$ ): In tegen tegenstelling tot DR-IKE, dat acties beperkt tot het ranken van RETAIN-kandidaten, breidt MO-IKE de actieruimte uit door te selecteren uit COPY (directe herformulering), UPDATE (geparafraseerde vraag) en RETAIN (ongerelateerd feit) demonstraties, plus een STOP-actie. Dit stelt de agent in staat om de optimale globale ordening en proportie van demonstratietypen te leren.
Beloning (Reward, $R$ ): De primaire beloning is Edit Success (ES), wat aangeeft of het model het nieuwe feit produceert.
Kostenbeperkingen (Cost Constraints, $C$ ): Om specificiteit en generaliteit af te dwingen, introduceert het framework kostenbeperkingen voor Paraphrase Consistency (PC) en Retention Rate (RR). Deze worden gedefinieerd als het logische inverse van taaksucces (d.w.z. er wordt een kostenpost gerekend als het model er niet in slaagt het originele feit te behouden of er niet in slaagt te generaliseren naar een parafrase).

2. Multi-Objective Reward Shaping

Om het geoptimaliseerde probleem op te lossen, gebruikt MO-IKE Lagrangiaanse relaxatie om de multi-objective problematiek te scalariseren. Het uiteindelijke beloningssignaal $r(s, a)$ wordt berekend als:
$r(s, a) = R(s, a) - \sum_{k \in \{PC, RR\}} \lambda_k C_k(s, a)$
Hier zijn $\lambda_k$ vaste hyperparameters (geen geleerde duale variabelen) die degradatie in generaliteit en specificiteit bestraffen. Deze structuur voorkomt dat de retriever specificiteit opoffert voor betrouwbaarheid.

3. Policy Optimalisatie

De retriever, geïmplementeerd als een BERT-gebaseerde encoder met trainbare projectiematrices, wordt getraind met behulp van Group Relative Policy Optimization (GRPO).

Sampling: Voor elke edit-instantie samplet de policy een groep van $G$ prompt-trajecten.
Evaluatie: De bevroren target LLM evalueert deze trajecten om samengestelde beloningen te berekenen.
Update: Voordelen (advantages) worden geschat relatief aan het groepsgemiddelde, en de policy wordt bijgewerkt om het afgeknipte (clipped) surrogate objectief te maximaliseren, terwijl divergentie van een referentiepolicy wordt bestraft via KL-divergentie.

Belangrijkste Bijdragen

Identificatie van Tekortkomingen: Het artikel benadrukt dat bestaande RL-gebaseerde IKE-methoden (specifiek DR-IKE) falen in het balanceren van de trade-off tussen edit-succes en kennisbehoud, en dat ze de belangstelling voor de sequentiële ordening van diverse demonstratietypen over het hoofd zien.
MO-IKE Algoritme: De auteurs introduceren een multi-objective RL-algoritme dat promptconstructie behandelt als een Constrained MDP. Door de actieruimte uit te breiden met alle demonstratiecategorieën en kostenbeperkingen toe te passen via reward shaping, zorgt MO-IKE voor een stabiele policy die betrouwbaarheid, generaliteit en specificiteit balanceert.
Architecturale Verbeteringen: De methode introduceert een dynamische retriever die in staat is om de optimale "globale" ordening van COPY, UPDATE en RETAIN demonstraties te leren, in plaats van ze te behandelen als statische templates of slechts een subset te optimaliseren.

Experimentele Resultaten

De auteurs evalueerden MO-IKE op Llama-3.2-3B, Mistral-7B en andere modellen over de COUNTERFACT, ZSRE, WIKI-COUNTERFACT en de grootschalige UniEdit benchmark (311K voorbeelden).

Prestatiewinst: Op Llama-3.2-3B verbeterde MO-IKE de Edit Success (Reliability) van 85,0% naar 92,0% en de Retention Rate (Specificity) van 34,7% naar 57,7% ten opzichte van de DR-IKE baseline. De algehele harmonische gemiddelde score steeg van 54,9 naar 73,5.
Preservering van Specificiteit: Cruciaal is dat MO-IKE de degradatie van specificiteit die bij DR-IKE werd gezien, heeft omgekeerd. Voor Mistral-7B verbeterde het de Retention Rate met +22,7% ten opzken de baseline, waarbij de Retention Metric verschoof van een negatieve -22,5 naar een positieve +32,1.
Zero-Shot Generalisatie: Een retriever getraind op Llama-3.2 generaliseerde effectief naar Mistral-7B in een zero-shot setting, waarbij de prestaties vergelijkbaar bleven met die van een native getrainde retriever.
Ablatie-studies:
- Het verwijderen van de retentiebeperking leidde tot een significante daling in specificiteit, wat de noodzaak van de multi-objective formulering bevestigt.
- Het uitbreiden van de actieruimte om alle demonstratietypen te bevatten (versus alleen RETAIN) bleek cruciaal voor het bereiken van een gebalanceerde prestatie over alle metrieken.

Betekenis en Claims

Het artikel claimt dat MO-IKE een principiële oplossing biedt voor de concurrerende doelstellingen van in-context knowledge editing. Door het probleem te framen als een Constrained MDP en gebruik te maken van multi-objective reward shaping, bereikt de methode een "stabiele policy" die de "reward hacking" van eerdere RL-benaderingen vermijdt.

De auteurs benadrukken dat hun aanpak training-vrij is voor de target LLM (de LLM blijft bevroren) en toepasbaar is op black-box modellen. Ze merken op dat hoewel MO-IKE aanzienlijk beter presteert dan bestaande retrieval-strategieën, de absolute retention rate nog steeds een bottleneck is die inherent is aan in-context learning methoden (rond de 60% schommelend), wat suggereert dat gradient-vrije benaderingen nog ruimte hebben voor verbetering. Het werk vestigt dat het balanceren van de proportie en ordening van onderscheidende demonstratietypen essentieel is voor betrouwbare, generaliseerbare en specifieke kennisbewerking.