💬 NLP

Iterate Until Retrieved: Factual Nugget Optimization for Discoverable Continual Corrections in Agentic RAG

Dit artikel introduceert Iteratieve Nugget-Optimalisatie (INO), een methode die tijdens de indexering vrije vormige feitelijke correcties omzet in geoptimaliseerde "feitelijke nuggets" door ze iteratief te verfijnen via testen met productie-RAG-agenten om hun vindbaarheid en effectieve toepassing in B2B-kennisassistentiesystemen te waarborgen.

Oorspronkelijke auteurs: Moshe Hazoom, Gal Patel, Alon Talmor, Tom Hope

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Moshe Hazoom, Gal Patel, Alon Talmor, Tom Hope

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je werkt voor een zeer slim, behulpzaam robotassistent dat vragen beantwoordt over de producten van een bedrijf. Soms haalt de robot een feit verkeerd. Een menselijke gebruiker kan dan zeggen: "Eigenlijk klopt dat niet. Het wachtwoordherstel werkt alleen voor managers, niet voor reguliere medewerkers."

In het verleden was het oplossen hiervan lastig. Je kon niet zomaar de enorme instructiehandleiding van de robot bewerken, omdat dat andere dingen zou kunnen verstoren, en de robot zou de nieuwe regel misschien niet "horen" als deze begraven zat in een enorm document.

Dit artikel introduceert een nieuwe manier om de robot te leren: Iterative Nugget Optimization (INO). Denk hierbij aan een "probeer, faal en pas aan"-systeem dat een correctie van een gebruiker omzet in een klein, uiterst duurzaam feitenkaartje, een "factual nugget" (feitelijke nugget) genaamd.

Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Naald in de Hooiberg"

Stel je voor dat de kennisbank van de robot een gigantische bibliotheek is met miljoenen boeken (documenten). Wanneer een gebruiker een vraag stelt, moet de robot direct het juiste boek vinden.

Het Probleem: Als je gewoon een nieuw feitenkaartje schrijft en in de bibliotheek laat vallen, kan de robot het missen. De gebruiker vraagt misschien: "Hoe reset ik een wachtwoord?", maar het nieuwe kaartje heeft de titel "SSO-resetbeleid voor managers". De robot maakt de connectie misschien niet omdat de woorden niet perfect overeenkomen.

2. De Oplossing: De "Feitelijke Nugget"

In plaats van de hele bibliotheek opnieuw te schrijven, creëert het systeem een feitelijke nugget.

Wat is het? Een klein, zelfstandig notitieblok (zoals een post-it) dat precies één gecorrigeerd feit bevat.
Het Doel: Deze notitie moet zo helder en goed gelabeld zijn dat de robot het direct vindt, ongeacht hoe een gebruiker later de vraag stelt.

3. De Magische Truc: "De Proefrit" (INO)

Dit is de kerninnovatie. In plaats van alleen maar de notitie te schrijven en te hopen op het beste, zet het systeem de notitie eerst door een proefrit voordat deze live gaat.

Denk aan INO als een repetitieruimte:

Maak een Concept: Het systeem neemt de correctie van de gebruiker en schrijft een concept-nugget.
De Testronde: Het plaatst dit concept in de bibliotheek van de robot en stelt de robot een reeks vragen. Het stelt niet alleen de originele vraag, maar veel verschillende versies (bijvoorbeeld: "Hoe verander ik mijn wachtwoord?", "Kan ik mijn inloggegevens resetten?", "Wie kan wachtwoorden resetten?").
De "Faal"-Controle: Als de robot de nugget niet vindt, of in plaats daarvan het verkeerde boek vindt, geeft het systeem niet op.
De Reflectie: Een AI-"coach" bekijkt waarom de robot faalde. Klonk de titel te technisch? Miste het een trefwoord?
Het Herschrijven: De coach herschrijft de nugget om deze makkelijker vindbaar te maken. Misschien voegt het een synoniem toe of verduidelijkt het de titel.
Herhalen: Het systeem test de nieuwe versie opnieuw. Het blijft deze cyclus herhalen (tot 3 keer) totdat de robot de nugget altijd vindt wanneer erom wordt gevraagd.

4. De Resultaten: Waarom Het Belangrijk Is

De onderzoekers hebben dit getest op echte zakelijke robots (één die klantvragen beantwoordt, een andere die ondersteunende engineers helpt).

De Basislijn: Zonder deze proefrit-cyclus vond de robot het nieuwe feit slechts 50-60% van de tijd.
Met INO: De robot vond het nieuwe feit 77-97% van de tijd.
De Impact: Omdat de robot het feit vond, gaf het veel vaker het juiste antwoord. Het onthield niet alleen de exacte vraag, maar leerde het idee achter de vraag te herkennen, zelfs als de woorden anders waren.

5. Realistische Status

Dit is niet zomaar een theorie. Het artikel stelt dat dit systeem al in productie draait voor hun klanten. Het verwerkt elke week honderden van deze "nuggets" en corrigeert fouten automatisch zonder dat een mens de hersenen van de robot handmatig hoeft te bewerken.

Kortom: Het artikel leert ons hoe we een enkele correctie van een gebruiker kunnen omzetten in een "superfeit" dat gegarandeerd door de robot wordt gevonden, door de robot te laten oefenen om het keer op keer te vinden totdat het goed is.

Technische Samenvatting: Iteratieve Nugget-Optimalisatie voor Ontdekbare Continue Correcties in Agente RAG

1. Probleemstelling

In complexe B2B-omgevingen (business-to-business) ontvangen Agente Retrieval-Augmented Generation (RAG)-systemen regelmatig feedback in vrije vorm van gebruikers. Hoewel veel feedbacksignalen vaag (bijv. "niet nuttig") of subjectief (bijv. toon) zijn, bestaat een kritieke subset uit concrete feitelijke correcties. Deze correcties betreffen specifieke productgedragingen, rolbeperkingen, verduidelijkingen van namen of beleidsdetails die beschikbaar moeten zijn voor toekomstige gebruikers.

De kernuitdaging ligt in het omzetten van deze correcties naar feitelijke nuggets: korte, zelfstandige kennisbankvermeldingen die:

Conservatief zijn: de gecorrigeerde feiten coderen zonder nieuwe fouten in te voeren.
Zelfstandig zijn: voldoende context bevatten voor hergebruik zonder afhankelijk te zijn van het oorspronkelijke gesprek.
Ontdekbaar zijn: overeenkomen met toekomstige zoekopdrachten die mogelijk weinig lexicaal overlap hebben met de oorspronkelijke feedback.
Precies zijn: te algemeen vermijden, wat leidt tot ophalen voor niet-gerelateerd verkeer.

Standaardbenaderingen die feedback simpelweg samenvatten of de formulering van de oorspronkelijke interactie overnemen, falen vaak omdat toekomstige gebruikers vanuit andere rollen vragen, andere problemen noemen of een ander woordgebruik hanteren. Bovendien is het direct bewerken van bestaande klantdocumenten vaak onuitvoerbaar vanwege validatieproblemen en het risico op verstoring van meerstapsprocedures.

2. Methodologie: Iteratieve Nugget-Optimalisatie (INO)

Het artikel stelt Iteratieve Nugget-Optimalisatie (INO) voor, een optimalisatiemethode op het moment van indexeren die de constructie van nuggets behandelt als een meetbaar probleem dat wordt opgelost door het productieve Agente RAG-systeem zelf als testomgeving te gebruiken.

De INO-lus

Extractie: Een op LLM gebaseerde filter identificeert concrete feitelijke correcties uit feedbackstromen van gebruikers.
Initialisatie: Er wordt een kandidaat-nugget aangemaakt (doorgaans inclusief de correctie en een parafrase van de oorspronkelijke zoekopdracht).
Probing: De kandidaat-nugget wordt ingevoegd in een bevroren kopie van de klantcorpus. Het systeem voert vervolgens een "probing-set" uit die bestaat uit de oorspronkelijke zoekopdracht ( $q_0$ ) en 3–5 achtergehouden parafrasen die specifiek voor evaluatie zijn gegenereerd.
Reflectie en Herziening: Als de nugget niet wordt opgehaald of geciteerd voor een van de probing-zoekopdrachten, analyseert een LLM-reflector de fouttrace. Deze inspecteert:
- De mislukte zoekopdracht.
- De opgehaalde concurrerende documenten.
- Het gegenereerde antwoord.
- De huidige nugget-representatie.
  De reflector herziet vervolgens de titel, de woordkeuze in de tekst en de ophaalankers van de nugget om de vindbaarheid te verbeteren, waarbij de feitelijke correctie strikt behouden blijft zonder nieuwe claims toe te voegen.
Iteratie: Dit proces wordt herhaald voor maximaal $T=3$ iteraties totdat de nugget succesvol wordt opgehaald en geciteerd.

Belangrijkste Onderscheidingspunten

In tegenstelling tot prompt-optimalisatiemethoden die systeeminstrukties aanpassen om wijzigingen te amortiseren over veel taken, amortiseert INO het werk over toekomstige zoekopdrachten met betrekking tot één specifieke feitelijke correctie door het ophaalbare artefact zelf te optimaliseren. Dit houdt de configuratie van de productieve agent vast, waardoor de optimalisatie lokaal, controleerbaar en omkeerbaar blijft.

3. Experimentele Opstelling

De auteurs evalueerden INO op echte productiedata van twee verschillende B2B-agents bij meerdere bedrijven:

Chat-agent: Beantwoordt vragen in vrije vorm over klant-specifieke kennisbanken (KB's).
Support-ticket-agent: Leest transcripten van supporttickets en stelt antwoorden voor.

Evaluatiemetrics:

Ophalen: Of de nugget de her-ranker passeert en de generator bereikt.
Citering: Of de nugget wordt geciteerd in de bronnen van het uiteindelijke antwoord.
Antwoordconformiteit: Een LLM-rechter (gekalibreerd tegen menselijke annotatoren) controleert of het gegenereerde antwoord de oorspronkelijke correctie adresseert, zich houdt aan de feiten van de nugget, regressie vermijdt en grondigheid behoudt.

Basislijnen:
De studie vergeleek INO met vier andere strategieën:

Standaard: De nugget indexeren zoals hij is.
Trigger-vraaganker: Een parafrase van de oorspronkelijke zoekopdracht toevoegen.
Synthetische ankers: Door LLM gegenereerde zoekopdrachten van toekomstige gebruikers toevoegen.
Gecombineerd: Zowel trigger- als synthetische ankers toevoegen.

4. Belangrijkste Resultaten

INO presteerde consequent beter dan alle basislijnen voor beide agents en evaluatietypes.

Ontdekbaarheid: Bij achtergehouden zoekopdrachten voor de Chat-agent verbeterde INO het ophalen met 25–29 procentpunten ten opzichte van de standaard-nugget-basislijn (77,3% versus 52,3%).
Gebruik: Ook de citatiepercentages lieten aanzienlijke winst zien, waarbij INO 68,1% bereikte tegenover 41,3% voor de basislijn.
Generalisatie: De prestatiekloof werd groter bij "echte" historische zoekopdrachten (die moeilijker zijn dan synthetische LLM-parafrasen), wat aangeeft dat INO goed generaliseert naar ongezette formuleringen in plaats van enkel de oorspronkelijke zoekopdracht te memoriseren.
Supporttickets: De winst was nog duidelijker voor de Support-ticket-agent (waar invoer uit ruisende transcripten bestaat), waarbij INO het ophalen met 43,1 punten verbeterde (78,2% versus 35,1%) en de citatie met 40,7 punten ten opzichte van de basislijn.
Antwoordkwaliteit: Bij evaluaties op antwoordniveau verhoogde INO het aandeel antwoorden dat de gevraagde correctie adresseerde van 52,2% naar 73,4%. Het verminderde ook grote regressiefouten en gehallucineerde grondigheidslabels.
Precisie: Een negatieve controletest op 1.400 willekeurige zoekopdrachten toonde een lage rate van vals-positieven (1,4% ophalen), waarbij handmatige inspectie bevestigde dat dit semantisch equivalente parafrasen waren en geen ruis.

5. Betekenis en Claims

Het artikel beweert dat INO een praktische, schaalbare oplossing biedt voor continue correctie in productieve RAG-systemen. De betekenis hiervan ligt in:

Operationele levensvatbaarheid: De optimalisatie is offline, kost ongeveer $0,31 per nugget en duurt minder dan twee minuten, met zero extra latentie voor eindgebruikers na het indexeren.
Productiedeployering: Het systeem is momenteel live en genereert wekelijks honderden opgehaalde nuggets in klantdeployments.
Lokale optimalisatie: Door het artefact te optimaliseren in plaats van de globale configuratie van de agent, zorgt de methode ervoor dat correcties atomair zijn en niet per ongeluk de prestaties op niet-gerelateerde taken verslechteren.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat de resultaten momenteel alleen in het Engels zijn en afhankelijk zijn van de specifieke hybride agente RAG-architectuur die wordt gebruikt. Zij erkennen dat verschillende ophaalarchitecturen (puur dichte of puur sparse) anders kunnen reageren op de voorgestelde optimalisatie.