💬 NLP

Enhancing LLMs through human feedback: a journey towards self-improvement

Dieses Paper schlägt eine neuartige Human-in-the-Loop-Methodik vor, die ein Hilfs-Feedback-RAG-System integriert, um die Leistung eines primären RAG-Systems durch kontinuierliches Nutzerfeedback iterativ zu verfeinern, wobei durch LLM-as-a-Judge-Evaluierung signifikante Verbesserungen der Genauigkeit und Relevanz über verschiedene Benchmarks hinweg nachgewiesen werden.

Ursprüngliche Autoren: Tatiana Pelc, Gila Kamhi, Asaf Avrahamy, Adi Fledel-Alon

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tatiana Pelc, Gila Kamhi, Asaf Avrahamy, Adi Fledel-Alon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Bibliothekar namens RAG. Dieser Bibliothekar ist großartig darin, Bücher (Dokumente) zu finden und Antworten basierend auf ihnen zu schreiben. Aber manchmal macht der Bibliothekar Fehler, oder die Antworten wirken etwas steif und roboterhaft. Traditionell würde man, wenn einem eine Antwort nicht gefiel, einfach einen Daumen nach unten geben. Das ist wie ein binärer Schalter: An oder Aus. Es sagt dem Roboter „schlecht“, aber es sagt ihm nicht, warum oder wie er es verbessern soll.

Dieses Paper stellt einen neuen Weg vor, diesen Bibliothekar zu lehren, genannt FLARE (Feedback-driven LLM Adaptive RAG Enhancement). Anstatt nur einen Daumen nach unten zu geben, ermöglicht FLARE es den Nutzern, detaillierte Notizen, Korrekturen und sogar Stil-Tipps zu hinterlassen. Denken Sie an den Unterschied zwischen einem Schüler, der ein rotes „X“ auf einer Prüfung erhält, und einem Lehrer, der eine Notiz hinterlässt wie: „Du hast das Datum richtig angegeben, aber du hast vergessen, das Land zu erwähnen, und dein Tonfall war zu mürrisch.“

Der zweistufige Tanz: Offline-Vorbereitung und Online-Magie

FLARE funktioniert wie ein zweistufiger Tanz, der im Hintergrund abläuft, während der Bibliothekar arbeitet.

Schritt 1: Die Offline-Vorbereitung (Die Lernsitzung)
Wenn ein Nutzer eine detaillierte Notiz hinterlässt, archiviert FLARE diese nicht einfach nur. Es unterzieht die Notiz einem Prozess der „kontextuellen Anreicherung“. Stellen Sie sich vor, ein Nutzer schreibt: „Falsch, es ist Donald Trump.“ FLARE nimmt dieses Fragment und verwandelt es unter Verwendung des Chat-Verlaufs in einen klaren, vollständigen Satz: „Der aktuelle Präsident der USA ist Donald Trump im Jahr 2025.“

Dann sortiert eine spezielle KI (der „Richter“) diese Notizen in zwei Eimer:

Faktenchecks: „Hey, aktualisiere die Datenbank, der Präsident hat gewechselt!“
Stilratgeber: „Hey, sei beim nächsten Mal höflicher und nenne mehr Hintergrundinformationen.“

Diese Notizen werden dann in digitale „Such-Tags“ umgewandelt und in einer speziellen Bibliothek (einer Vektordatenbank) gespeichert. Dies ist der „Offline“-Teil, bei dem das System aus der Vergangenheit lernt.

Schritt 2: Die Online-Magie (Die Live-Show)
Nun stellt ein neuer Nutzer eine Frage. Bevor der Bibliothekar antwortet, führt FLARE eine schnelle Nebenprüfung durch. Es fragt: „Hat schon einmal jemand etwas Ähnliches gefragt? Wurde eine Notiz hinterlassen?“ Wenn die Antwort ja lautet, greift FLARE diese Notizen ab und injiziert sie direkt in das Gehirn des Bibliothekars, während dieser die Antwort schreibt. Es ist, als ob der Bibliothekar sich plötzlich an eine Haftnotiz eines vorherigen Kunden erinnert, auf der steht: „Vergiss nicht die zusätzlichen Details!“

Der Beweis: Hat es funktioniert?

Die Autoren testeten diese Idee in drei verschiedenen „Spielplätzen“, um zu sehen, ob sie den Bibliothekar tatsächlich intelligenter machen.

Der fiktive Spielplatz: Sie verwendeten fiktive Dialoge über fiktive Charaktere. Ohne FLARE war der Bibliothekar etwas verwirrt und erreichte nur etwa 1 von 5 Punkten, wenn der Kontext fehlte. Mit FLARE erreichte der Bibliothekar fast perfekte Punktzahlen (5 von 5) bei fast jeder Frage.
Der Trivia-Spielplatz: Dies war der knifflige Teil. Sie stellten Fragen zu Ereignissen aus den Jahren 2024 und 2025 – Dinge, die der Roboter eigentlich noch nicht wissen sollte, da seine Trainingsdaten früher endeten.
- Ohne FLARE: Der Bibliothekar rät falsch oder gibt vage Antworten und erreicht einen Durchschnitt von 3,06 von 5.
- Mit FLARE: Der Bibliothekar nutzt das Feedback früherer Nutzer, um die neuen Fakten zu lernen. Die durchschnittliche Punktzahl sprang auf 3,91 von 5.
- Beispiel: Bei der Frage nach den Oscars 2025 gab der Basis-Bibliothekar den Gewinner falsch an. FLARE korrigierte dies zum richtigen Gewinner und fügte sogar das coole Detail hinzu, dass es ein historischer Sieg für eine bestimmte Demografie war.
Der Tech-Support-Spielplatz: Sie testeten dies auf realen Fragen zu drahtlosen Netzwerken (interne Daten von Intel). Hier stellten sie fest, dass FLARE sehr gut darin war, das richtige Feedback zu finden (es gelang in 95 % der Fälle). Das System schaffte es jedoch nur in 61 % der Fälle, dieses Feedback auch zu nutzen, um die endgültige Antwort zu verbessern.

Was FLARE NICHT ist (Und was es noch braucht)

Es ist wichtig zu wissen, was dieses Paper nicht behauptet. Die Autoren betonen vorsichtig, dass FLARE kein magischer Zauberstab ist, der alles sofort löst.

Es ist keine perfekte Lösung: In den Tech-Support-Tests, obwohl das System das richtige Feedback zu 95 % fand, nutzte es dieses nur in 61 % der Fälle zur Verbesserung der Antwort. Die Autoren vermuten, dass dies daran liegt, dass die Art und Weise, wie sie die Notizen „injizieren“ (sie in den Text einzufügen), dazu führt, dass der Roboter manchmal die wichtigsten Teile ignoriert.
Es ist noch nicht voll autonom: Das System behandelt derzeit alle Feedbacks als gleichwertig. Es weiß nicht, ob eine Notiz von einem Welt Experten oder einem verwirrten Nutzer stammt oder ob eine Notiz von gestern oder letztem Jahr ist. Die Autoren geben zu, dass sie einen intelligenteren Weg entwickeln müssen, um zu entscheiden, welche Notizen am wichtigsten sind.
Es ist kein „gelöstes“ Problem: Das Paper stellt explizit fest, dass es „Möglichkeiten zur weiteren Verfeinerung“ des Systems gibt. Sie planen, Funktionen wie die Überprüfung, wer das Feedback verfasst hat, sowie das erneute Lesen der Notizen hinzuzufügen, falls die Antwort schwach aussieht.

Das Fazit

Die wichtigste Erkenntnis ist, dass es den Roboter-Bibliothekar deutlich besser darin macht, präzise und hilfreich zu sein, wenn man ihm detailliertes, schriftliches Feedback gibt – und ihn diese Notizen dann liest, während er neue Fragen beantwortet. In den Simulationen und Tests, die sie durchgeführt haben, verwandelte dieser „Human-in-the-loop“-Ansatz ein gutes System in ein großartiges, insbesondere wenn es um neue Informationen ging, die der Roboter zuvor nicht kannte. Aber wie die Autoren feststellen, ist die Reise zu einem vollkommen selbstlernenden Roboter noch nicht abgeschlossen; sie müssen noch herausfinden, wie sie den Roboter dazu bringen, den besten Notizen zu folgen und nicht einfach nur irgendeiner Notiz.

Technisches Resümee: Verbesserung von LLMs durch menschliches Feedback über das FLARE-Framework

Problemstellung

Obwohl Large Language Models (LLMs) durch Reinforcement Learning from Human Feedback (RLHF) signifikante Fortschritte gemacht haben, verlassen sich traditionelle KI-Systeme oft auf binäres Feedback (z. B. Daumen hoch/runter), was die Tiefe des Lernens einschränkt. Darüber hinaus scheitern Standard-RAG-Systeme (Retrieval Augmented Generation) häufig daran, sich entwickelnde Nutzerpräferenzen zu erfassen, kontextuelle Diskrepanzen zu lösen oder sich an dynamische Informationsbedürfnisse anzupassen. Bestehende Ansätze leiden oft unter Retrieval-Bias, Robustheitsproblemen und der Unfähigkeit, reichhaltige, textuelle menschliche Korrekturen in die generative Pipeline zu integrieren. Es besteht ein Bedarf an einem Mechanismus, der über statisches Training hinausgeht, um eine kontinuierliche, iterative Selbstverbesserung in RAG-Systemen durch strukturiertes Human-in-the-Loop-Feedback zu ermöglichen.

Methodik: Das FLARE-Framework

Das Paper stellt FLARE (Feedback-driven LLM Adaptive RAG Enhancement) vor, ein iteratives Framework, das darauf ausgelegt ist, die RAG-Leistung durch die direkte Integration von strukturiertem Nutzerfeedback in den Inferenz-Workflow zu verfeinern. Das System operiert durch zwei parallele Phasen: Offline-Preprocessing und Online-Inferenz.

1. Offline Feedback Management Pipeline

Diese Phase verarbeitet rohes Nutzerfeedback, um eine strukturierte Wissensbasis für zukünftige Abfragen zu erstellen:

Erfassung & Anreicherung: Nutzerfeedback in Form von Freitext wird in einer MongoDB-Datenbank gespeichert. Das rohe Feedback wird mit dem Gesprächsverlauf angereichert, um fragmentierte Eingaben in selbstständige, interpretierbare Aussagen umzuwandeln.
LLM-gestützte Verarbeitung: Ein LLM verarbeitet das angereicherte Feedback, um drei Aufgaben auszuführen:
1. Query-Synthese: Verfeinert die ursprünglichen Nutzeranfragen, um überflüssige Elemente zu entfernen und gleichzeitig die semantische Kernbedeutung zu bewahren.
2. Faktenextraktion: Generiert prägnante faktische Aussagen, um Ungenauigkeiten zu korrigieren oder Wissensbasen zu aktualisieren.
3. Richtlinienextraktion: Identifiziert stilistische und strukturelle Richtlinien (z. B. Tonfall, Formatierung), ohne den faktischen Inhalt zu verändern.
Klassifizierung & Aggregation: Das Feedback wird in „Faktische Datenkorrekturen“ und „Stilistische/Strukturelle Richtlinien“ klassifiziert. GPT-4o aggregiert das Feedback, um redundante oder widersprüchliche Einträge zu konsolidieren und nach umsetzbaren Erkenntnissen zu filtern.
Vektor-Indizierung: Die synthetisierten Anfragen werden mittels text-embedding-ada-002 eingebettet und in einem Azure Vector Database indiziert, um eine schnelle, Ähnlichkeits-basierte Suche zu ermöglichen.

2. Online Inference Workflow

Während des Live-Betriebs integriert das Framework verarbeitetes Feedback in Echtzeit:

Duale Retrieval-Architektur: Eingehende Anfragen werden sowohl durch das primäre RAG-System als auch durch ein dediziertes Feedback-RAG-Modul verarbeitet.
Adaptive Integration: Azure Hybrid Search identifiziert zuvor indizierte Anfragen mit semantischer Ähnlichkeit zum aktuellen Input.
- Faktische Korrekturen: Werden direkt in den primären RAG-Kontext injiziert.
- Stilistische Richtlinien: Werden als System-Instruktionen integriert, um die Ausgabeformatierung und den Tonfall zu verfeinern.
Ausgabegenerierung: Das augmentierte RAG-System generiert die finale Antwort, die für die zukünftige Offline-Batch-Verarbeitung protokolliert wird, wodurch eine kontinuierliche Verbesserungsschleife entsteht.

Experimentelles Design

Das Framework wurde unter Verwendung des LLM-as-a-Judge-Protokolls anhand von drei diversen Datensätzen validiert:

Fiktive Persona-Dialoge (FPD): 68 anonymisierte Dialoge aus synthetischen Quellen zur Überprüfung der Implementierungskorrektheit und kontrollierten Evaluierung.
Trivia-Benchmark: 70 Trainings- und 30 Testpaare, die zeitkritische Ereignisse (2024–2025) beinhalten, die über den Wissensstand des LLMs hinausgehen, um die Generalisierung auf neue Informationen zu simulieren.
Drahtlose technische Dokumentation: 80 Trainingspaare, die aus realen technischen Support-Anfragen von Intel abgeleitet wurden, um domänenspezifische Präzision und Robustheit zu testen.

Die Evaluierungsmetriken umfassten F1-Scores für listenbasierte Abfragen sowie eine multidimensionale qualitative Bewertung (Faktische Genauigkeit, Kontextuelle Relevanz, Vollständigkeit) für nicht-listenbasierte Abfragen.

Kernergebnisse

Allgemeines Wissen (FPD): FLARE zeigte eine deutliche Verbesserung und erreichte bei fast allen Items einen Maximalwert von 5 (Durchschnittswert: 5,0 vs. 4,0 ohne FLARE), mit einem statistisch signifikanten p-Wert von $4 \times 10^{-6}$ .
Allgemeines Wissen (Trivia): FLARE erreichte einen Durchschnittswert von 3,91 im Vergleich zu 3,06 des Baseline-RAG-Systems auf einem Testdatensatz von 30 Fragen. Das System passte sich erfolgreich an neue Informationen außerhalb seiner ursprünglichen Trainingsdaten an, während das Baseline-System selbst mit Zugriff auf aktuelle Retrieval-Korpora Schwierigkeiten hatte.
Kundenspezifische Domäne (Wireless):
- Retrieval-Erfolg: FLARE konnte für 95 % der Testanfragen (76/80) relevantes Feedback abrufen.
- Nutzungslücke: Obwohl Feedback abgerufen wurde, wurde es nur in 61 % der Fälle in die endgültige Antwort integriert. Dies verdeutlicht eine Lücke zwischen dem Abruf relevanter Kontexte und deren effektiver Nutzung während der Generierung.

Bedeutung und Ansprüche

Das Paper postuliert, dass FLARE einen bedeutenden Schritt in Richtung autonomer Verfeinerung von Information Retrieval Technologien darstellt. Zu den primären Beiträgen gehören:

Dynamische Anpassung: Im Gegensatz zu statischen RLHF-Pipelines klassifiziert, aggregiert und ruft FLARE Feedback innerhalb der Generierungsschleife ab, was eine kontinuierliche Systemanpassung ermöglicht.
Nuanciertes Lernen: Durch die Einbeziehung reichhaltiger textueller Korrekturen und Verhaltenssignale anstelle von binärem Feedback erreicht das System ein nuancierteres Lernen und eine verbesserte kontextuelle Ausrichtung.
Skalierbare Validierung: Die Verwendung des LLM-as-a-Judge-Protokolls bietet einen robusten, reproduzierbaren Rahmen zur Bewertung feedbackgesteuerter Verbesserungen, wobei automatisierte Scoring-Verfahren mit menschlichen Präferenzen abgeglichen werden.

Limitationen und zukünftige Richtungen

Die Autoren räumen aktuelle Limitationen bescheiden ein:

Retrieval-Nutzungslücke: Das Generierungsmodul konnte das abgerufene Feedback in 39 % der Fälle nicht in die Antwort integrieren, was darauf hindeutet, dass die template-basierte String-Konkatenierung wichtige Details marginalisieren kann, wenn die Aufmerksamkeit des Modells begrenzt ist.
Statische Gewichtung: Das aktuelle System behandelt alle abgerufenen Kommentare als gleichwertig und ignoriert Hinweise wie Expertenwissen, Aktualität oder Konsistenz des Autors.
Zukünftige Arbeit: Die Autoren planen die Entwicklung adaptiver Ranking-Mechanismen, um Feedback nach Relevanz und Glaubwürdigkeit zu gewichten, die Implementierung iterativer Dekodierungsschleifen für spärliche Kontexte und die Erweiterung des Feedback-Schemas um multimodale Eingaben (Screenshots, Sprachnotizen). Das ultimative Ziel ist ein latenzarmes, voll autonomes, selbstverbesserndes RAG-Framework.