💬 NLP

Enhancing LLMs through human feedback: a journey towards self-improvement

Cet article propose une nouvelle méthodologie de type « human-in-the-loop » qui intègre un système RAG de rétroaction auxiliaire pour affiner de manière itérative les performances d'un système RAG primaire grâce à l'apport continu des utilisateurs, démontrant des améliorations significatives de la précision et de la pertinence à travers divers benchmarks via une évaluation par LLM-as-a-Judge.

Auteurs originaux : Tatiana Pelc, Gila Kamhi, Asaf Avrahamy, Adi Fledel-Alon

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tatiana Pelc, Gila Kamhi, Asaf Avrahamy, Adi Fledel-Alon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot bibliothécaire super intelligent nommé RAG. Ce bibliothécaire est incroyable pour trouver des livres (documents) et rédiger des réponses basées sur eux. Mais parfois, le bibliothécaire se trompe, ou les réponses semblent un peu rigides et robotiques. Traditionnellement, si vous n'aimiez pas une réponse, vous donniez simplement un pouce vers le bas. C'est comme un interrupteur binaire : on ou off. Cela dit au robot « mauvais », mais cela ne lui dit pas pourquoi ou comment corriger le tir.

Ce document présente une nouvelle façon d'enseigner à ce bibliothécaire, appelée FLARE (Feedback-driven LLM Adaptive RAG Enhancement). Au lieu d'un simple pouce vers le bas, FLARE permet aux utilisateurs de laisser des notes détaillées, des corrections et même des conseils de style. C'est la différence entre un élève qui reçoit une croix rouge sur un examen et un professeur qui laisse une note disant : « Vous avez la bonne date, mais vous avez oublié de mentionner le pays, et votre ton était trop grincheux. »

La danse en deux étapes : Préparation hors ligne et Magie en ligne

FLARE fonctionne comme une danse en deux étapes qui se déroule en arrière-plan pendant que le bibliothécaire travaille.

Étape 1 : La préparation hors ligne (La session d'étude)
Lorsqu'un utilisateur laisse une note détaillée, FLARE ne se contente pas de la classer. Il soumet la note à un processus d'« enrichissement contextuel ». Imaginez qu'un utilisateur dise : « Faux, c'est Donald Trump. » FLARE prend ce fragment et, en utilisant l'historique de la discussion, le transforme en une phrase claire et complète : « Le président actuel des États-Unis est Donald Trump en 2025. »

Ensuite, une IA spéciale (le « juge ») trie ces notes dans deux catégories :

Vérifications de faits : « Hé, mettez à jour la base de données, le président a changé ! »
Guides de style : « Hé, la prochaine fois, soyez plus poli et incluez plus d'histoire. »

Ces notes sont ensuite transformées en « étiquettes de recherche » numériques et stockées dans une bibliothèque spéciale (une base de données vectorielle). C'est la partie « hors ligne » où le système apprend du passé.

Étape 2 : La magie en ligne (Le spectacle vivant)
Maintenant, un nouvel utilisateur pose une question. Avant que le bibliothécaire ne réponde, FLARE effectue une vérification rapide. Il demande : « Quelqu'un a-t-il déjà posé une question similaire ? A-t-il laissé une note ? » Si la réponse est oui, FLARE récupère ces notes et les injecte directement dans le cerveau du bibliothécaire pendant qu'il rédige la réponse. C'est comme si le bibliothécaire se souvenait soudainement d'un post-it laissé par un client précédent disant : « N'oubliez pas les détails supplémentaires ! »

La preuve : Est-ce que cela a fonctionné ?

Les auteurs ont testé cette idée dans trois différents « terrains de jeux » pour voir si cela rendait le bibliothécaire plus intelligent.

Le terrain de jeu fictif : Ils ont utilisé des dialogues inventés concernant des personnages de fiction. Sans FLARE, le bibliothécaire était un peu confus, obtenant un score d'environ 1 sur 5 lorsque le contexte manquait. Avec FLARE, le bibliothécaire a obtenu des scores presque parfaits (5 sur 5) sur presque toutes les questions.
Le terrain de jeu des quiz : C'était la partie délicate. Ils ont posé des questions sur des événements de 2024 et 2025 — des choses que le robot n'était pas censé connaître car ses données d'entraînement s'arrêtent plus tôt.
- Sans FLARE : Le bibliothécaire devinait mal ou donnait des réponses vagues, avec un score moyen de 3,06 sur 5.
- Avec FLARE : Le bibliothécaire a utilisé les retours des utilisateurs précédents pour apprendre ces nouveaux faits. Le score moyen est passé à 3,91 sur 5.
- Exemple : Lorsqu'on interrogeait le système sur les Oscars 2025, le bibliothécaire de base se trompait de gagnant. FLARE a corrigé cela pour donner la bonne personne et a même ajouté le détail intéressant qu'il s'agissait d'une victoire historique pour une démographie spécifique.
Le terrain de jeu du support technique : Ils ont testé cela sur des questions réelles concernant les réseaux sans fil (données internes d'Intel). Ici, ils ont constaté que FLARE était excellent pour trouver le bon feedback (il a réussi 95 % du temps). Cependant, le système n'a réussi à utiliser ce feedback pour améliorer la réponse finale que 61 % du temps.

Ce que FLARE N'EST PAS (Et ce dont il a encore besoin)

Il est important de savoir ce que ce document ne prétend pas. Les auteurs prennent soin de dire que FLARE n'est pas une baguette magique qui résout tout instantanément.

Ce n'est pas une solution parfaite : Dans les tests de support technique, même si le système a trouvé les bonnes notes 95 % du temps, il ne les a utilisées pour corriger la réponse que 61 % du temps. Les auteurs suggèrent que c'est parce que la façon dont ils « injectent » les notes (en les insérant dans le texte) fait parfois que le robot ignore les parties les plus importantes.
Ce n'est pas encore totalement autonome : Le système traite actuellement tous les feedbacks de la même manière. Il ne sait pas si une note provient d'un expert mondial ou d'un utilisateur confus, ni si une note date d'hier ou de l'année dernière. Les auteurs admettent qu'ils doivent construire une façon plus intelligente de décider quelles notes sont les plus importantes.
Ce n'est pas un problème « résolu » : Le document stipule explicitement qu'il existe des « opportunités pour affiner davantage » le système. Ils prévoient d'ajouter des fonctionnalités comme la vérification de l'auteur du feedback et la relecture des notes si la réponse semble faible.

L'essentiel

La conclusion principale est que donner au robot bibliothécaire des retours détaillés et écrits — et faire en sorte qu'il lise ces notes pendant qu'il répond à de nouvelles questions — le rend nettement meilleur dans sa précision et son utilité. Dans les simulations et les tests qu'ils ont menés, cette approche « l'humain dans la boucle » a transformé un bon système en un excellent système, surtout lorsqu'il est confronté à de nouvelles informations que le robot ne connaissait pas auparavant. Mais, comme le soulignent les auteurs, le voyage vers un robot entièrement auto-amélioré n'est pas terminé ; ils doivent encore trouver comment faire en sorte que le robot écoute les meilleures notes, et pas seulement n'importe quelle note.

Résumé Technique : Améliorer les LLM grâce au feedback humain via le cadre FLARE

Problématique

Bien que les grands modèles de langage (LLM) aient progressé de manière significative grâce à l'apprentissage par renforcement à partir du feedback humain (RLHF), les systèmes d'IA traditionnels reposent souvent sur un feedback binaire (par exemple, j'aime/je n'aime pas), ce qui limite la profondeur de l'apprentissage. De plus, les systèmes de génération augmentée par récupération (RAG) standards échouent fréquemment à capturer l'évolution des préférences des utilisateurs, à résoudre les décalages contextuels ou à s'adapter aux besoins informationnels dynamiques. Les approches existantes souffrent souvent de biais de récupération, de défis de robustesse et d'une incapacité à incorporer des corrections humaines textuelles riches dans le pipeline génératif. Il existe un besoin pour un mécanisme qui dépasse l'entraînement statique afin de permettre une auto-amélioration continue et itérative des systèmes RAG grâce à un feedback structuré avec intervention humaine (human-in-the-loop).

Méthodologie : Le cadre FLARE

Le document présente FLARE (Feedback-driven LLM Adaptive RAG Enhancement), un cadre itératif conçu pour affiner les performances du RAG en intégrant directement le feedback structuré de l'utilisateur dans le flux d'inférence. Le système opère via deux phases parallèles : le Prétraitement Hors Ligne et l'Inférence En Ligne.

1. Pipeline de gestion du feedback hors ligne

Cette phase traite le feedback brut des utilisateurs pour créer une base de connaissances structurée pour la récupération future :

Collecte et Enrichissement : Le feedback textuel libre des utilisateurs est stocké dans une base de données MongoDB. Le feedback brut est enrichi par l'historique de la conversation afin de convertir des entrées fragmentées en énoncés auto-contenus et interprétables.
Traitement piloté par LLM : Un LLM traite le feedback enrichi pour effectuer trois tâches :
1. Synthèse de requêtes : Affine les requêtes originales des utilisateurs pour supprimer les éléments superflus tout en préservant le sens sémantique central.
2. Extraction factuelle : Génère des énoncés factuels concis pour corriger les inexactitudes ou mettre à jour les bases de connaissances.
3. Extraction de directives : Identifie les directives stylistiques et structurelles (ex: ton, formatage) sans altérer le contenu factuel.
Classification et Agrégation : Le feedback est classé en « Corrections de données factuelles » et « Directives stylistiques/structurelles ». GPT-4o agrège le feedback pour consolider les entrées redondantes ou conflictuelles, en filtrant les informations exploitables.
Indexation Vectorielle : Les requêtes synthétisées sont intégrées via text-embedding-ada-002 et indexées dans une base de données vectorielle Azure pour permettre une récupération rapide basée sur la similitude.

2. Flux de travail d'inférence en ligne

Lors de l'utilisation en direct, le cadre intègre le feedback traité en temps réel :

Architecture de récupération duale : Les requêtes entrantes sont traitées à la fois par le système RAG primaire et par un module dédié, le Feedback-RAG.
Intéation Adaptative : Azure Hybrid Search identifie les requêtes précédemment indexées présentant une similitude sémantique avec l'entrée actuelle.
- Corrections Factuelles : Injectées directement dans le contexte du RAG primaire.
- Directives Stylistiques : Intégrées comme instructions au niveau du système pour affiner le formatage et le ton de la sortie.
Génération de Sortie : Le système RAG augmenté génère la réponse finale, qui est enregistrée pour un futur traitement par lots hors ligne, créant ainsi une boucle d'amélioration continue.

Conception Expérimentale

Le cadre a été validé à l'aide du protocole LLM-as-a-Judge sur trois ensembles de données diversifiés :

Dialogues de Personnages Fictionnels (FPD) : 68 dialogues anonymisés provenant de sources synthétiques pour vérifier la justesse de l'implémentation et l'évaluation contrôlée.
Benchmark de Culture Générale (Trivia) : 70 paires d'entraînement et 30 paires de test impliquant des événements temporellement sensibles (2024–2025) au-delà de la date de coupure des connaissances du LLM, simulant la généralisation à de nouvelles informations.
Documentation Technique Sans Fil : 80 paires d'entraînement dérivées de requêtes réelles de support technique Intel, testant la précision et la robustesse spécifiques au domaine.

Les métriques d'évaluation comprenaient les scores F1 pour les requêtes sous forme de listes et une évaluation qualitative multidimensionnelle (Exactitude Factuelle, Pertinence Contextuelle, Complétude) pour les requêtes non listées.

Résultats Clés

Connaissances Générales (FPD) : FLARE a démontré une amélioration marquée, atteignant un score maximum de 5 sur presque tous les items (Score moyen : 5,0 contre 4,0 sans FLARE), avec une valeur p statistiquement significative de $4 \times 10^{-6}$ .
Connaissances Générales (Trivia) : FLARE a obtenu un score moyen de 3,91 contre 3,06 pour le système RAG de base sur un ensemble de test de 30 questions. Le système s'est adapté avec succès à de nouvelles informations au-delà de ses données d'entraînement initiales, là où le système de base a peiné malgré l'accès à des corpus de récupération actualisés.
Domaine Spécifique (Sans Fil) :
- Succès de Récupération : FLARE a récupéré avec succès le feedback pertinent pour 95 % des requêtes de test (76/80).
- Écart d'Utilisation : Bien que le feedback ait été récupéré, il n'a été incorporé dans la réponse finale que dans 61 % des cas. Cela souligne un écart entre la récupération d'un contexte pertinent et son utilisation efficace lors de la génération.

Signification et Revendications

L'article soutient que FLARE représente une étape significative vers l'affinement autonome des technologies de recherche d'information. Ses principales contributions incluent :

Adaptation Dynamique : Contrairement aux pipelines RLHF statiques, FLARE classifie, agrège et récupère le feedback au sein de la boucle de génération, permettant une adaptation continue au niveau du système.
Apprentissage Nuancé : En incorporant des corrections textuelles riches et des signaux comportementaux plutôt qu'un feedback binaire, le système atteint un apprentissage plus nuancé et un meilleur alignement contextuel.
Validation Évolutive : L'utilisation du protocole LLM-as-a-Judge fournit un cadre robuste et reproductible pour évaluer les améliorations basées sur le feedback, alignant la notation automatisée sur les préférences humaines.

Limites et Directions Futures

Les auteurs reconnaissent modestement les limites actuelles :

Écart Récupération-Utilisation : Le module de génération n'a pas réussi à incorporer le feedback récupéré dans 39 % des cas, suggérant que la concaténation de chaînes basée sur des modèles peut marginaliser des détails importants lorsque l'attention du modèle est contrainte.
Pondération Statique : Le système actuel traite tous les commentaires récupérés comme égaux, ignorant les indices tels que l'expertise de l'auteur, la récence ou la cohérence.
Travaux Futurs : Les auteurs prévoient de développer des mécanismes de classement adaptatifs pour pondérer le feedback selon la pertinence et la crédibilité, d'implémenter des boucles de décodage itératives pour les contextes creux, et d'élargir le schéma de feedback pour inclure des entrées multimodales (captures d'écran, notes vocales). L'objectif ultime est un cadre RAG à faible latence, entièrement autonome et capable de s'auto-améliorer.