💬 NLP

Enhancing LLMs through human feedback: a journey towards self-improvement

Dit artikel stelt een nieuwe human-in-the-loop-methodologie voor die een aanvullend feedback-RAG-systeem integreert om de prestaties van een primair RAG-systeem iteratief te verfijnen door middel van continue gebruikersfeedback, waarbij significante verbeteringen in nauwkeurigheid en relevantie over diverse benchmarks worden aangetoond via LLM-als-rechter-evaluatie.

Oorspronkelijke auteurs: Tatiana Pelc, Gila Kamhi, Asaf Avrahamy, Adi Fledel-Alon

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tatiana Pelc, Gila Kamhi, Asaf Avrahamy, Adi Fledel-Alon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme robotbibliothecaris hebt genaamd RAG. Deze bibliothecaris is geweldig in het vinden van boeken (documenten) en het schrijven van antwoorden op basis daarvan. Maar soms krijgt de bibliothecaris het fout, of voelen de antwoorden een beetje stijf en robotachtig aan. Traditioneel gezien, als je niet tevreden was met een antwoord, gaf je gewoon een duim omlaag. Dat is als een binaire schakelaar: aan of uit. Het vertelt de robot "slecht", maar het vertelt hem niet waarom of hoe hij het moet verbeteren.

Dit artikel introduceert een nieuwe manier om deze bibliothecaris te onderwijzen, genaamd FLARE (Feedback-driven LLM Adaptive RAG Enhancement). In plaats van alleen een duim omlaag, laat FLARE gebruikers gedetailleerde aantekeningen, correcties en zelfs stijltips achter. Denk aan het verschil tussen een student die een rood "X" krijgt op een toets versus een docent die een opmerking achterlaat als: "Je hebt de datum goed, maar je bent vergeten het land te vermelden, en je toon was te chagrijnig."

De Twee-Stappen Dans: Offline Voorbereiding en Online Magie

FLARE werkt als een twee-stappen dans die op de achtergrond plaatsvindt terwijl de bibliothecaris aan het werk is.

Stap 1: De Offline Voorbereiding (De Studierit)
Wanneer een gebruiker een gedetailleerde aantekening achterlaat, slaat FLARE deze niet alleen op in een archief. Het voert de aantekening door een proces van "contextuele verrijking". Stel je voor dat een gebruiker zegt: "Fout, het is Donald Trump." FLARE neemt dit fragment en maakt er, met behulp van de chatgeschiedenis, een heldere, volledige zin van: "De huidige president van de VS is Donald Trump in 2025."

Vervolgens sorteert een speciale AI (de "rechter") deze aantekeningen in twee bakken:

Feitenchecks: "Hé, update de database, de president is veranderd!"
Stijlgidsen: "Hé, wees de volgende keer beleefder en voeg meer geschiedenis toe."

Deze aantekeningen worden vervolgens omgezet in digitale "zoektags" en opgeslagen in een speciale bibliotheek (een vectordatabase). Dit is het "offline" gedeelte waar het systeem leert van het verleden.

Stap 2: De Online Magie (De Live Show)
Nu stelt een nieuwe gebruiker een vraag. Voordat de bibliothecaris antwoordt, doet FLARE een snelle zijcontrole. Het vraagt: "Is er eerder iets soortgelijks gevraagd? Is er een aantekening achtergelaten?" Als het antwoord ja is, pakt FLARE die aantekeningen en injecteert ze direct in het brein van de bibliothecaris terwijl deze het antwoord schrijft. Het is alsof de bibliothecaris plotseling een plaknotitie herinnert van een vorige klant die zegt: "Vergeet de extra details niet!"

Het Bewijs: Werkte het?

De auteurs hebben dit idee getest in drie verschillende "speeltuinen" om te zien of het de bibliothecaris slimmer maakte.

De Fictieve Speeltuin: Ze gebruikten verzonnen dialogen over fictieve personages. Zonder FLARE was de bibliothecaris een beetje in de war en scoorde hij slechts ongeveer 1 uit 5 wanneer de context ontbrak. Met FLARE behaalde de bibliothecaris bijna perfecte scores (5 uit 5) op bijna elke vraag.
De Trivia Speeltuin: Dit was het lastige deel. Ze stelden vragen over gebeurtenissen in 2024 en 2025—zaken die de robot nog niet zou moeten weten omdat zijn trainingsdata eerder stopte.
- Zonder FLARE: De bibliothecaris gokte fout of gaf vage antwoorden, met een gemiddelde score van 3,06 uit 5.
- Met FLARE: De bibliothecaris gebruikte de feedback van eerdere gebruikers om de nieuwe feiten te leren. De gemiddelde score sprong naar 3,91 uit 5.
- Voorbeeld: Wanneer er naar de Oscars van 2025 werd gevraagd, gaf de basis-bibliothecaris de winnaar fout. FLARE corrigeerde dit naar de juiste persoon en voegde zelfs het coole detail toe dat het een historische overwinning was voor een specifieke demografie.
De Tech Support Speeltuin: Ze testten dit op echte vragen over draadloze netwerken (interne data van Intel). Hier ontdekten ze dat FLARE erg goed was in het vinden van de juiste feedback (het slaagde in 95% van de gevallen). Echter, het systeem slaagde er alleen in om die feedback te gebruiken om het uiteindelijke antwoord te verbeteren in 61% van de gevallen.

Wat FLARE NIET is (En wat het nog wel nodig heeft)

Het is belangrijk om te weten wat dit artikel niet beweert. De auteurs zijn voorzichtig in hun bewoordingen en zeggen dat FLARE geen toverstaf is die alles direct oplost.

Het is geen perfecte oplossing: In de tech support-tests, hoewel het systeem de juiste aantekeningen 95% van de tijd vond, gebruikte het deze aantekeningen slechts in 61% van de gevallen om het antwoord te verbeteren. De auteurs suggereren dat dit komt doordat de manier waarop ze de aantekeningen "injecteren" (het in de tekst plakken) ervoor zorgt dat de robot soms de belangrijkste delen negeert.
Het is nog niet volledig autonoom: Het systeem behandelt momenteel alle feedback als gelijkwaardig. Het weet niet of een aantekening afkomstig is van een wereldexpert of een verwarde gebruiker, of dat een aantekening van gisteren of van vorig jaar is. De auteurs geven toe dat ze een slimmere manier moeten bouwen om te beslissen welke aantekeningen het meest relevant zijn.
Het is geen "opgelost" probleem: Het artikel stelt expliciet dat er "mogelijkheden zijn om het systeem verder te verfijnen". Ze zijn van plan functies toe te voegen zoals het controleren van wie de feedback heeft geschreven en het opnieuw lezen van de aantekeningen als het antwoord zwak lijkt.

De Kern van het Verhaal

De belangrijkste bevinding is dat het de robotbibliothecaris veel beter maakt in nauwkeurigheid en behulpzaamheid door hem gedetailleerde, geschreven feedback te geven—en hem vervolgens die aantekeningen te laten lezen terwijl hij nieuwe vragen beantwoordt. In de simulaties en tests die ze uitvoerden, veranderde deze "human-in-the-loop"-aanpak een goed systeem in een geweldig systeem, vooral bij het omgaan met nieuwe informatie die de robot voorheen niet kende. Maar, zoals de auteurs opmerken, de reis naar een volledig zelfverbeterende robot is nog niet voltooid; ze moeten nog uitzoeken hoe ze de robot de beste aantekeningen kunnen laten beluisteren, en niet zomaar elke aantekening.

Technische Samenvatting: Het verbeteren van LLM's door middel van menselijke feedback via het FLARE-framework

Probleemstelling

Hoewel Large Language Models (LLM's) aanzienlijk zijn gevorderd door Reinforcement Learning from Human Feedback (RLHF), vertrouwen traditionele AI-systemen vaak op binaire feedback (bijv. leuk/niet leuk), wat de diepgang van het leren beperkt. Bovendien schieten standaard Retrieval Augmented Generation (RAG)-systemen vaak tekort in het vastleggen van evoluerende gebruikersvoorkeuren, het oplossen van contextuele mismatches of het aanpassen aan dynamische informatiebehoeften. Bestaande benaderingen lijden vaak aan retrieval-bias, robuustheidsproblemen en een onvermogen om rijke, tekstuele menselijke correcties te integreren in de generatieve pijplijn. Er is behoefte aan een mechanisme dat verder gaat dan statische training om continue, iteratieve zelfverbetering in RAG-systemen mogelijk te maken door middel van gestructureerde, human-in-the-loop feedback.

Methodologie: Het FLARE-framework

Het artikel introduceert FLARE (Feedback-driven LLM Adaptive RAG Enhancement), een iteratief framework ontworpen om de RAG-prestaties te verfijnen door gestructureerde gebruikersfeedback direct in de inferentie-workflow te integreren. Het systeem werkt via twee parallelle fasen: Offline Preprocessing en Online Inference.

1. Offline Feedback Management Pijplijn

Deze fase verwerkt ruwe gebruikersfeedback om een gestructureerde kennisbank voor toekomstige retrieval te creëren:

Verzameling & Verrijking: Gebruikersfeedback in vrije tekst wordt opgeslagen in een MongoDB-database. Ruwe feedback wordt verrijkt met de gesprekshistorie om gefragmenteerde inputs om te zetten in zelfstandige, interpreteerbare verklaringen.
LLM-gestuurde Verwerking: Een LLM verwerkt de verrijkte feedback om drie taken uit te voeren:
1. Query Synthese: Verfijnt de oorspronkelijke gebruikersqueries door overbodige elementen te verwijderen terwijl de kern van de semantische betekenis behouden blijft.
2. Feitelijke Extractie: Genereert beknopte feitelijke verklaringen om onnauwkeurigheden te corrigeren of kennisbases bij te werken.
3. Richtlijn Extractie: Identificeert stilistische en structurele richtlijnen (bijv. toon, formattering) zonder de feitelijke inhoud te wijzigen.
Classificatie & Aggregatie: Feedback wordt geclassificeerd als "Factual Data Corrections" (feitelijke datacorrecties) en "Stylistic/Structural Guidelines" (stilistische/structurele richtlijnen). GPT-4o aggregeert de feedback om redundante of conflicterende vermeldingen te consolideren en filtert op actiegerichte inzichten.
Vector Indexing: Gesynthetiseerde queries worden geëmbed met text-embedding-ada-002 en geïndexeerd in een Azure Vector Database om snelle, op gelijkenis gebaseerde retrieval mogelijk te maken.

2. Online Inference Workflow

Tijdens de live operatie integreert het framework de verwerkte feedback in realtime:

Dual Retrieval Architectuur: Inkomende queries worden verwerkt door zowel het primaire RAG-systeem als een toegewezen Feedback-RAG module.
Adaptieve Integratie: Azure Hybrid Search identificeert eerder geïndexeerde queries met semantische gelijkenis aan de huidige input.
- Feitelijke Correcties: Worden direct in de primaire RAG-context geïnjecteerd.
- Stilistische Richtlijnen: Worden geïntegreerd als systeeminstructies om de outputformattering en toon te verfijnen.
Output Generatie: Het geaugmenteerde RAG-systeem genereert het uiteindelijke antwoord, dat wordt gelogd voor toekomstige offline batchverwerking, waardoor een continue verbeteringslus ontstaat.

Experimenteel Ontwerp

Het framework werd gevalideerd met behulp van het LLM-as-a-Judge protocol over drie diverse datasets:

Fictional Persona Dialogs (FPD): 6 de geanonimiseerde dialogen uit synthetische bronnen om de implementatiecorrectheid en gecontroleerde evaluatie te verifiëren.
Trivia Benchmark: 70 trainings- en 30 testparen met betrekking tot tijdgevoelige gebeurtenissen (2024–2025) die buiten de kennislimiet van de LLM vallen, om generalisatie naar nieuwe informatie te simuleren.
Wireless Technical Documentation: 80 trainingsparen afgeleid van echte technische ondersteuningsvragen van Intel, om domeinspecifieke precisie en robuustheid te testen.

De evaluatiemetrieken omvatten F1-scores voor lijstgebaseerde queries en een multidimensionale kwalitatieve beoordeling (Feitelijke Nauwkeurigheid, Contextuele Relevantie, Volledigheid) voor niet-lijst-queries.

Belangrijkste Resultaten

Algemene Kennis (FPD): FLARE vertoonde een duidelijke verbetering en behaalde een maximale score van bijna 5 op bijna alle items (Gemiddelde score: 5.0 vs. 4.0 zonder FLARE), met een statistisch significante p-waarde van $4 \times 10^{-6}$ .
Algemene Kennis (Trivia): FLARE behaalde een gemiddelde score van 3.91 vergeleken met 3.06 voor het baseline RAG-systeem op een testset van 30 vragen. Het systeem paste zich succesvol aan nieuwe informatie aan die buiten de initiële trainingsdata viel, terwijl de baseline moeite had, zelfs met toegang tot actuele retrieval-corpora.
Custom Domein (Wireless):
- Retrieval Succes: FLARE slaagde erin relevante feedback te extraheren voor 95% van de testqueries (76/80).
- Utilisatiekloof: Hoewel de feedback werd opgehaald, werd deze slechts in 61% van de gevallen opgenomen in het uiteindelijke antwoord. Dit onderstreept een kloof tussen het ophalen van relevante context en het effectief benutten ervan tijdens de generatie.

Betekenis en Claims

Het artikel stelt dat FLARE een belangrijke stap vertegenwoordigt richting autonome verfijning in informatie-retrievaltechnologieën. De belangrijkste bijdragen zijn:

Dynamische Adaptatie: In tegen tegenover de statische RLHF-pijplijnen, classificeert, aggregeert en extraheert FLARE feedback binnen de generatieloop, wat continue systeemniveau-adaptatie mogelijk maakt.
Genuanceerd Leren: Door rijke tekstuele correcties en gedragssignalen op te nemen in plaats van binaire feedback, bereikt het systeem een genuanceerder leren en verbeterde contextuele afstemming.
Schaalbare Validatie: Het gebruik van het LLM-as-a-Judge protocol biedt een robuust, reproduceerbaar framework voor het beoordelen van feedback-gestuurde verbeteringen, waarbij geautomatiseerde scoring wordt afgestemd op menselijke voorkeuren.

Beperkingen en Toekomstige Richtingen

De auteurs erkennen de huidige beperkingen bescheiden:

Retrieval-Utilisatiekloof: De generatiemodule slaagde er in 39% van de gevallen niet in om de opgehaalde feedback te incorporeren, wat suggereert dat op sjablonen gebaseerde string-concatenatie belangrijke details kan marginaliseren wanneer de aandacht van het model beperkt is.
Statische Weging: Het huidige systeem behandelt alle opgehaalde commentaren als gelijk, waarbij signalen zoals expertise van de auteur, recentheid of consistentie worden genegeerd.
Toekomstig Werk: De auteurs zijn van plan om adaptieve rankingmechanismen te ontwikkelen om feedback te wegen op relevantie en geloofwaardigheid, iteratieve decoding-loops te implementen voor ijle contexten, en het feedbackschema uit te breiden naar multimodale inputs (screenshots, spraaknotities). Het uiteindelijke doel is een lage-latentie, volledig autonome, zelfverbeterende RAG-framework.