Hypothesis-Conditioned Query Rewriting for Decision-Useful Retrieval

1. Problématique et Contexte

Les modèles de langage (LLM) enrichis par la récupération (RAG - Retrieval-Augmented Generation) améliorent généralement les performances en ancrant la génération dans des connaissances externes. Cependant, l'article identifie une limitation critique dans les tâches de décision à choix multiples (comme les examens médicaux) :

• Insuffisance de la pertinence topique : Les méthodes RAG classiques reposent souvent sur une seule requête initiale basée sur la question. Cette approche privilégie la pertinence thématique générale plutôt que la pertinence décisionnelle.
• Le problème du "bruit" décisionnel : Dans un contexte où le modèle doit choisir entre plusieurs options, la récupération de documents de fond (background) topiquement liés mais non discriminants peut dégrader les performances. Ces documents occupent l'espace de contexte limité (budget) et distraient le générateur, l'empêchant de distinguer les réponses correctes des incorrectes.
• Hypothèse centrale : La qualité de la récupération ne doit pas être mesurée par la simple similarité lexicale, mais par sa capacité à fournir des preuves qui aident directement à trancher entre les options candidates (critères de diagnostic, comparaisons différentielles, vérification d'indices clés).

2. Méthodologie : HCQR

Les auteurs proposent HCQR (Hypothesis-Conditioned Query Rewriting), un cadre pré-récupération sans entraînement (training-free) conçu pour réorienter la récupération de documents vers la preuve décisionnelle.

Le pipeline HCQR se compose de trois étapes principales :

A. Formulateur d'Hypothèse (Hypothesis Formulator)

Avant la récupération, le système analyse la question et les options de réponse pour générer un état d'hypothèse de travail léger. Ce n'est pas une prédiction finale, mais un plan de vérification.
L'état structuré contient :

• Hypothèse de travail ($\hat{y}_0$) : La meilleure estimation actuelle de la réponse.
• Fonctionnalités discriminantes ($f$) : Les indices spécifiques de la question qui séparent les candidats principaux.
• Preuves de confirmation ($e$) : Les faits ou règles qui devraient être observés si l'hypothèse est correcte.
• Raisonnement bref ($r$) : Une explication concise du choix initial.

B. Réécriture de Requête (Query Rewriter)

Conditionné par la question originale et l'état d'hypothèse, le réécritureur génère trois requêtes ciblées distinctes, chacune ayant un objectif de récupération spécifique :

1. SUPPORT ($q_1$) : Recherche des preuves qui soutiennent directement l'hypothèse de travail.
2. DISTINCTION ($q_2$) : Recherche de critères permettant de distinguer l'hypothèse des alternatives fortes (comparaisons différentielles).
3. CARACTÉRISTIQUES CLÉS ($q_3$) : Vérification des indices saillants de la question elle-même (pour valider les faits contextuels, même si l'hypothèse initiale est partiellement erronée).

C. Récupération et Fusion

Les trois requêtes sont envoyées à un récupérateur partagé. Les documents récupérés sont fusionnés, dédupliqués et tronqués pour respecter un budget de contexte final fixe (par exemple, 15 documents).

• Point crucial : L'hypothèse de travail guide la récupération mais n'est pas exposée au générateur final. Seul le contexte récupéré et la question originale sont fournis au générateur pour produire la réponse finale. Cela évite l'ancrage prématuré sur une hypothèse fausse.

3. Contributions Clés

1. HCQR : Introduction d'une méthode pré-récupération qui transforme une hypothèse de réponse intermédiaire en trois requêtes de vérification complémentaires, alignant la récupération sur la prise de décision.
2. Analyse d'utilité du contexte : Développement d'une nouvelle métrique évaluant les ensembles de documents récupérés selon trois labels :
   • Entailed (La réponse est déduite directement du contexte).
   • Useful-but-not-Entailed (Le contexte fournit un soutien fort mais nécessite un petit pont logique).
   • Not Useful (Contexte de fond ou non discriminant).
   • Introduction du Taux d'Utilité Décisionnelle (Decision-Useful Rate - DUR).
3. Validation empirique : Démonstration que l'alignement des requêtes avec la décision (côté requête) surpasse les méthodes de ré-ranking ou de filtrage post-récupération dans les tâches de choix multiples.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux benchmarks médicaux à choix multiples : MedQA et MMLU-Med, utilisant plusieurs modèles générateurs (Llama 3, Qwen).

• Performance en Précision :

  • HCQR surpasse systématiquement toutes les méthodes de base (Simple RAG, HyDE, Rerank-RAG, MAIN-RAG) dans toutes les configurations modèle-jeu de données.
  • Améliorations moyennes : +5,9 points de précision sur MedQA et +3,6 points sur MMLU-Med par rapport au Simple RAG.
  • HCQR surpasse également la méthode "CoT sans récupération" (Chain-of-Thought sans documents), prouvant que la récupération bien conçue est bénéfique là où la récupération naive échoue.

• Analyse d'Utilité du Contexte (DUR) :

  • HCQR augmente considérablement la proportion de contextes jugés "utiles à la décision" (ENTAILLED + USEFUL).
  • Sur MedQA, le taux de contexte utile passe de ~30% (Simple RAG) à 82,1% (HCQR).
  • Les ablations montrent que les trois types de requêtes (Support, Distinction, Clés) sont complémentaires ; retirer l'une d'elles dégrade les performances.

• Comparaison avec les baselines :

  • Les méthodes post-récupération (comme MAIN-RAG ou Rerank-RAG) qui filtrent un grand pool initial de documents performant moins bien que HCQR. Cela suggère que si la première passe de requête ne récupère pas de preuves décisionnelles, le filtrage ultérieur ne peut pas compenser.

5. Signification et Conclusion

L'article établit que dans les scénarios de décision à choix multiples, la qualité de la construction de la requête initiale est plus critique que la taille du pool de candidats intermédiaires ou le filtrage post-récupération.

• Changement de paradigme : Passer d'une récupération "topique" (basée sur la similarité de la question) à une récupération "évidentielle" (basée sur la vérification d'hypothèses et la discrimination d'options).
• Efficacité : HCQR offre une amélioration significative sans nécessiter d'entraînement supplémentaire, en utilisant simplement la capacité de raisonnement d'un LLM pour planifier la recherche.
• Limites et Avenir : La méthode dépend de la qualité de l'hypothèse intermédiaire. Bien que conçue pour le domaine médical, le principe d'alignement des requêtes sur la décision est applicable à d'autres domaines nécessitant une discrimination fine entre des options.

En résumé, HCQR démontre que pour les LLM, retrouver les bonnes preuves au bon moment (via une reformulation conditionnée par l'hypothèse) est la clé pour transformer la récupération d'information en un outil de prise de décision robuste.