💬 NLP

SAGE: A Search-AuGmented Evaluation of Large Language Models on Free-Form QA

L'article présente SAGE, un cadre d'augmentation par la recherche qui récupère et synthétise activement des preuves externes pour évaluer la véracité des grands modèles de langage sur des questions en forme libre, offrant ainsi une alternative évolutive et adaptative aux méthodes d'évaluation statiques basées sur des références ou aux méthodes peu fiables de type « LLM-as-a-judge ».

Auteurs originaux : Sher Badshah, Ali Emami, Hassan Sajjad

Publié 2026-07-01

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sher Badshah, Ali Emami, Hassan Sajjad

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'étudiant « Monsieur Je-Sais-Tout » qui ne peut pas vérifier ses devoirs

Imaginez que vous avez un étudiant très intelligent (un Grand Modèle de Langage, ou LLM) qui passe un examen. Le professeur pose une question délicate comme : « Qui chante la chanson thème de la série Half & Half ? »

L'étudiant répond : « Erica Campbell. »

Maintenant, comment le noter ?

L'ancienne méthode (Correspondance lexicale) : Vous cherchez une correspondance exacte avec un corrigé pré-écrit. Si l'étudiant a écrit « Erica Campbell » mais que le corrigé disait « Melonie Daniels », vous le notez faux, même s'il avait raison. Si l'étudiant a écrit un long et beau paragraphe qui veut dire la même chose mais utilise des mots différents, vous pourriez passer à côté. C'est comme noter un test de mathématiques en ne cherchant que le nombre « 42 » et en ignorant le mot « Quarante-Deux ».
La méthode du « Juge » (LLM-as-a-Judge) : Vous demandez à un autre étudiant intelligent de noter le premier. Mais voici le piège : ce second étudiant ne fait que deviner en se basant sur ce qu'il a mémorisé à l'école. Si le premier étudiant ment, le second pourrait le croire parce qu'ils ont tous les deux appris les mêmes faits obsolètes. Il pourrait même inventer une raison pourquoi le mensonge est vrai, juste pour paraître intelligent. C'est comme demander à un étudiant qui a échoué à l'examen de noter le corrigé.

Le problème central : Pour les questions ouvertes, nous ne pouvons pas écrire un corrigé pour chaque réponse possible. Et demander à une IA de noter une autre IA sans rien chercher est peu fiable, car l'IA peut être sûre d'elle tout en étant erronée, ou rester bloquée sur des informations obsolètes.

La Solution : SAGE (Le cadre du « Détective »)

Les auteurs proposent SAGE (Search-AuGmented Evaluation). Au lieu de compter sur la mémoire ou un corrigé statique, SAGE transforme le « Juge » en un Détective.

Imaginez un détective essayant de résoudre une affaire. Il ne se contente pas de deviner ; il sort, rassemble des indices, vérifie ses notes et pose de nouvelles questions jusqu'à ce qu'il soit sûr de lui.

Voici comment fonctionne SAGE, étape par étape :

L'indice initial (Génération de requête) : Le Détective (SAGE) examine la question et la réponse de l'étudiant. Il ne se contente pas d'accepter la réponse. Il se demande : « Comment puis-je prouver cela ? » et rédige une requête de recherche, comme « Qui chante le thème de Half & Half ? ».
Collecte de preuves (Recherche Web) : Le Détective se rend à la bibliothèque (Internet) et en extrait trois livres (résultats de recherche).
Synthèse des indices (Résumé) : Le Détective lit les livres et rédige un court résumé : « Le Livre 1 dit Melonie Daniels. Le Livre ce 2 dit Melonie Daniels. »
Le moment du « Attendez une minute » (Réflexion) : C'est la partie la plus importante. Le Détective examine la réponse de l'étudiant (« Erica Campbell ») et la nouvelle preuve (« Melonie Daniels »). Le Détective pense : « Ces éléments ne correspondent pas. L'étudiant a tort. Mais attendez, existe-t-il une autre source ? Dois-je peut-être chercher "Erica Campbell" juste pour en être sûr. »
Affinement de la recherche : Parce que les preuves étaient contradictoires ou incomplètes, le Détective rédige une nouvelle requête de recherche, plus pertinente, pour creuser davantage.
Le verdict final : Après avoir effectué cette boucle quelques fois (généralement trois), le Détective rassemble toutes ses notes et prend une décision finale : Vrai ou Faux, accompagnée d'une explication écrite de pourquoi.

Pourquoi cela fonctionne mieux

L'article affirme que SAGE est supérieur pour trois raisons principales :

Ce n'est pas seulement de la mémoire : Contrairement au « Juge » qui repose sur ce qu'il a mémorisé, SAGE sort chercher des faits actuels. Si le monde a changé après l'entraînement de l'IA (comme la construction d'un nouveau bâtiment ou la sortie d'une nouvelle chanson), SAGE trouve l'information récente.
Il attrape les mensonges : Si un étudiant invente un fait, SAGE le cherchera, ne trouvera rien et le signalera. Le « Juge » sans recherche tombe souvent dans le panneau face à ces mensonges car ils semblent plausibles.
Il gère l'ambiguïté : Certaines questions sont délicates (ex : « Quand l'hôpital a-t-il ouvert ? » peut signifier l'ouverture originale ou une réouverture après rénovation). L'étape de « Réflexion » de SAGE l'aide à réaliser qu'il regarde peut-être la mauvaise date et lui permet de poser une meilleure question pour clarifier.

Les Résultats : Le Détective gagne

Les chercheurs ont testé cela sur plusieurs jeux de données (comme des questions de culture générale et de raisonnement complexe). Ils ont comparé SAGE à :

La notation standard : (Scores de correspondance exacte/F1)
Le Juge « Mémoire uniquement » : (Une IA qui note sans chercher)
Les experts humains : (De vraies personnes notant les réponses)

Les conclusions :

SAGE vs Humains : SAGE est en accord presque parfait avec les experts humains (accord substantiel à parfait).
SAGE vs Juges « Mémoire uniquement » : Les juges basés uniquement sur la mémoire étaient souvent erronés, acceptant fréquemment la réponse de l'étudiant même quand celui-ci mentait. SAGE a corrigé cela en vérifiant les faits.
Coût : Bien que SAGE prenne un peu plus de temps (environ 27 secondes par question) et coûte une infime somme (environ 0,004 $ par question), cela reste des milliers de fois moins cher que d'embaucher un humain pour noter chaque réponse.

Les Limites (Où le Détective bloque)

L'article admet que SAGE n'est pas magique. Il peut encore échouer si :

La question est trop vague : Si la question est confuse, le Détective peut poser les mauvaises questions.
La bibliothèque est vide : Si la réponse concerne un événement très récent qui n'a pas encore été documenté en ligne, le Détective ne pourra pas trouver de preuves.
Indices contradictoires : Parfois, Internet donne deux réponses différentes. Le Détective peut être confus et choisir la mauvaise.
Le cerveau du Détective : SAGE a toujours besoin d'un « Juge » intelligent pour faire la réflexion. Si le Juge n'est pas très intelligent, SAGE ne fonctionnera pas bien.

Analogie de Synthèse

Pensez à l'évaluation de la réponse d'une IA comme à la vérification d'une rumeur lors d'une fête.

Vieille méthode : Vous vérifiez une liste d'invités (corrigé statique). Si le nom n'y est pas, vous dites « Non ».
Juge de Mémoire : Vous demandez à un autre invité : « As-tu entendu ça ? ». Il répond : « Ouais, je pense que oui », parce qu'il veut être utile, même s'il ne sait pas vraiment.
SAGE : Vous prenez le téléphone, vous appelez trois personnes différentes, vous vérifiez leurs messages, vous comparez les notes, et ensuite vous décidez si la rumeur est vraie. Vous pourriez même rappeler si les trois premières personnes se contredisent.

L'article montre que cette méthode de « l'appel téléphonique » (SAGE) est bien plus précise que de simplement deviner ou de vérifier une liste, et qu'elle se rapproche énormement de ce qu'un humain déciderait.

Résumé Technique : SAGE (Search-AuGmented Evaluation)

Problématique

L'évaluation des modèles de langage de grande taille (LLM) sur les questions-réponses (QA) en forme libre fait face à un goulot d'étranglement critique. L'évaluation traditionnelle repose sur des réponses de référence statiques et pré-annotées comparées via des métriques lexicales (ex: Exact Match, F1). Cependant, ces méthodes ne parviennent pas à capturer la diversité des réponses ouvertes, sont coûteuses à mettre à l'échelle en raison des exigences d'annotation humaine, et sont fondamentalement mal alignées avec les sorties non déterministes et dépendantes du contexte des LLM.

Inversement, le paradigme émergent du « LLM-as-a-judge » (le LLM comme juge), qui utilise des modèles pour évaluer des sorties sans références externes, s'avère peu fiable pour les tâches objectives centrées sur les faits. Sans ancrage externe, ces juges s'appuient uniquement sur leurs connaissances paramétriques figées, ce qui entraîne des modes de défaillance spécifiques :

Obsolescence des connaissances : Les juges approuvent avec assurance des réponses qui sont obsolètes par rapport à leur date de coupure d'entraînement.
Biais de longueur : Les réponses plus longues et plus verbeuses sont souvent surévaluées même lorsqu'elles sont factuellement incorrectes.
Sensibilité au prompt : Les verdicts peuvent basculer en fonction de légères variations de prompt ou de l'ordre des réponses candidates.
Rationalisations hallucinées : Les juges fabriquent des preuves de soutien pour justifier des décisions incorrectes.

L'article soutient que la correction objective ne peut être évaluée uniquement par la connaissance interne ou les préférences d'un LLM, nécessitant un cadre qui comble le fossé entre l'automatisation scalable et l'ancrage factuel.

Méthodologie : SAGE (Search-AuGmented Evaluation)

SAGE est un cadre sans référence conçu pour évaluer les sorties des LLM en dotant un LLM juge de la capacité de récupérer, de synthétiser et de réfléchir activement sur des preuves externes. Contra fois aux méthodes de recherche augmentée à passage unique, SAGE fonctionne comme un agent itératif.

Composants Fondamentaux

Le cadre utilise un LLM juge ( $J$ ) qui joue quatre rôles distincts via des modèles de prompts (templates) à coup unique (one-shot), interagissant avec un outil de recherche web ( $S$ ) et un tampon de mémoire à court terme ( $M$ ) :

Génération de requêtes ( $Q$ ) : À chaque itération $i$ , le générateur produit une requête de recherche $q_i$ conditionnée par la question d'entrée $x$ et la mémoire accumulée $M_{i-1}$ . La requête initiale est de niveau thématique ; les requêtes suivantes sont affinées sur la base des découvertes antérieures pour cibler des lacunes d'information spécifiques.
Recherche Web ( $S$ ) : Les requêtes sont soumises à un moteur de recherche (ex: API Serper), renvoyant un ensemble d'extraits (titre, texte, URL) comme preuve externe brute.
Synthèse ( $\Sigma$ ) : Les résultats récupérés sont condensés en un segment de preuve focalisé $E_i$ , filtrant la redondance et extrayant le contenu factuel saillant.
Réflexion ( $\Phi$ ) : Le synthétiseur évalue la preuve $E_i$ par rapport à la question $x$ et à la réponse candidate $\hat{y}$ . Il détermine si la preuve soutient, contredit ou est inconcluante concernant la réponse, et signale les informations manquantes pour guider la requête suivante.
Mémoire à court terme ( $M$ ) : Un tampon en mode ajout uniquement enregistre la trace des interactions $(q_i, E_i, r_i)$ à travers les itérations, conditionnant l'affinage des requêtes futures et fournissant le contexte complet pour le jugement final.
Jugement Final ( $J$ ) : Après un budget fixe de $N$ itérations (par défaut $N=3$ ), le juge synthétise la mémoire complète $M_N$ pour produire un verdict binaire ( $v \in \{0, 1\}$ ) et une explication en langage naturel ( $\rho$ ).

Le processus est itératif : le module de réflexion conduit explicitement l'affinage de la requête, permettant au système de corriger sa trajectoire si les recherches initiales produisent des preuves insuffisantes ou non pertinentes.

Contributions Clés

Un cadre sans référence : SAGE élimine le besoin de vérités de terrain (ground truth) annotées par l'humain en générant dynamiquement des requêtes web spécifiques à la sortie pour vérifier les faits.
Synthèse de preuves itérative : Contrairement aux évaluateurs augmentés par la recherche précédents qui effectuent généralement une récupération à passage unique, SAGE emploie une boucle « synthétiser-réfléchir-affiner ». Ce processus itératif permet au système de cibler de manière adaptative les lacunes d'information et de résoudre les ambiguïtés.
Ancrage dans des données vérifiables : En s'appuyant sur des preuves externes récupérées plutôt que sur la connaissance paramétrique, SAGE atténue les hallucinations, l'obsolescence des connaissances et les biais de longueur inhérents aux juges LLM non guidés.
Évolutivité et efficacité des coûts : Le cadre offre une alternative scalable à l'annotation humaine, avec des coûts ordres de grandeur inférieurs à l'évaluation manuelle tout en maintenant un haut niveau d'alignement avec les jugements humains.

Résultats Expérimentaux

Les auteurs ont évalué SAGE sur cinq benchmarks de QA en forme libre (AmbigQA, HotpotQA, TriviaQA, Natural Questions, FreshQA) en utilisant divers modèles candidats et juges (incluant GPT-3.5, GPT-4o, Gemini, et des modèles plus petits à poids ouverts comme Mistral 7B et Qwen).

Accord avec les métriques basées sur des références : SAGE surpasse significativement les juges purement paramétriques. Par exemple, sur AmbigQA, un juge GPT-3.5 utilisant SAGE a atteint une précision de 0,80 contre RefGPT (une ligne de base basée sur des références), comparativement à 0,67 sans preuve externe.
Alignement avec les évaluateurs humains : Sur des jeux de données avec des annotations humaines (AmbigQA et HotpotQA), SAGE a atteint un accord substantiel à parfait avec les votes majoritaires humains.
- Kappa de Cohen : SAGE a réduit l'écart entre les juges LLM et les humains. Par exemple, sur HotpotQA, un juge GPT-4o sans recherche a obtenu $\kappa = 0,38$ , tandis que le même juge sous SAGE a atteint $\kappa = 0,70$ .
- Macro-F1 : SAGE a systématiquement délivré les scores Macro-F1 les plus élevés à travers les modèles et les tâches, corrigeant la tendance des juges sans référence à surestimer la correction (haut rappel, bas précision).
Détection des connaissances obsolètes : Sur FreshQA, SAGE a réussi à identifier et rejeter des réponses obsolètes (identifiant par exemple la localisation actuelle correcte de l'EMNLP 2025 à Suzhou, Chine, alors que les candidats fournissaient souvent des localisations de la période de pré-entraînement).
Études d'ablation :
- Itérations : Les performances s'améliorent avec les itérations, 3 itérations offrant le meilleur compromis entre performance et coût.
- Génération de requêtes : Supprimer l'étape d'affinage de la requête (en utilisant directement la question d'entrée) dégrade considérablement les performances, particulièrement sur des jeux de données ambigus comme AmbigQA.
- Robustesse du moteur de recherche : Les gains de SAGE persistent à travers différents moteurs de recherche (Serper, Brave, Tavily), bien que la performance absolue varie légèrement selon la qualité de la récupération.
- Capacité du juge : Bien que SAGE améliore les performances de tous les types de juges, des juges plus capables (ex: GPT-4o) produisent un accord plus élevé avec les humains que les modèles plus petits (ex: Mistral 7B), bien que même les petits modèles bénéficient considérablement de l'augmentation par la recherche.

Signification et Revendications

L'article affirme que SAGE représente une avancée significative dans l'évaluation automatisée des LLM pour les tâches objectives. En passant d'une correspondance de référence statique ou d'un jugement paramétrique non ancré à un processus de vérification actif basé sur des preuves, SAGE traite les limitations fondamentales des protocoles d'évaluation actuels.

Les auteurs affirment que SAGE fournit une alternative scalable, adaptative et rentable pour évaluer la facticité des LLM. Il est particulièrement efficace pour :

Le QA en forme libre : Où les réponses sont ouvertes et ne possèdent pas de vérité de terrain unique et définitive.
Les sujets dynamiques : Où l'information évolue rapidement et où les connaissances pré-entraînées sont insuffisantes.
Les contextes à ressources limitées : Offrant une alternative viable à l'annotation humaine sans sacrifier la fiabilité requise pour la correction objective.

L'article conclut que bien que SAGE ne soit pas un substitut parfait à la revue humaine dans les scénarios à enjeux élevés, il comble efficacement le fossé entre la scalabilité de l'évaluation automatisée et la fiabilité de la vérification des faits par l'humain, établissant un nouveau standard pour l'évaluation sans référence de la facticité des LLM.