Résumé technique : DIVERGE – RAG enrichi par la diversité pour la recherche d'informations à portée ouverte

1. Énoncé du problème

Les systèmes actuels de génération augmentée par récupération (RAG) sont principalement conçus sous l'hypothèse que chaque requête possède une réponse unique et factuellement correcte. Ce paradigme conduit à un effondrement des connaissances (knowledge collapse) dans les scénarios de recherche d'informations à portée ouverte (ex. : remue-méninges, aide à la décision ou exploration de perspectives alternatives), où de multiples réponses plausibles existent.

L'article identifie trois défis spécifiques empêchant les systèmes RAG standards de générer des sorties diversifiées :

• C1 : Biais de réponse unique : Les paradigmes RAG encouragent une génération trop confiante, poussant les modèles à privilégier un sous-ensemble étroit et à haute confiance de contextes récupérés, tout en ignorant des informations alternatives mais plausibles.
• C2 : Absence de préservation de la diversité : Les mécanismes existants manquent de stratégies à long terme pour préserver la diversité à travers plusieurs générations. Par conséquent, même avec des contextes récupérés diversifiés, le modèle produit des sorties hautement similaires et homogénéisées en raison des tendances intrinsèques des grands modèles de langage (LLM).
• C3 : Applicabilité pratique limitée : De nombreuses techniques de pointe pour l'amélioration de la diversité reposent sur l'accès aux logits au niveau du jeton (token-level logits) ou sur des hyperparamètres de décodage spécifiques (ex. : température, top-p), qui sont indisponibles ou restreints dans les modèles de frontière à code source fermé (ex. : GPT-5, o3).

En outre, l'article note que le simple fait d'augmenter la diversité de la récupération (ex. : via le re-classement) ne se traduit pas par des générations diversifiées, et que les méthodes existantes basées sur le prompting atteignent souvent la diversité au prix d'une dégradation significative de la qualité.

2. Méthodologie : Le cadre DIVERGE

Les auteurs proposent DIVERGE (Diversity-Enhanced Retrieval-Augmented Generation), un cadre RAG agentique "plug-and-play" conçu pour modéliser explicitement des points de vue divers tout en maintenant la qualité des réponses. DIVERGE fonctionne selon un processus itératif sans nécessiter l'accès aux logits des jetons, ce qui le rend compatible avec n'importe quel socle de LLM, y compris les modèles à code source fermé.

Le cadre se compose de trois composants principaux :

A. Génération de points de vue guidée par la réflexion

Pour atténuer le biais de réponse unique (C1), DIVERGE traite les caractéristiques latentes du modèle comme des « points de vue ».

1. Initialisation : Le système génère une réponse RAG initiale et la résume pour extraire les points de vue existants.
2. Réflexion : Dans les itérations suivantes, le LLM réfléchit à l'ensemble des points de vue précédemment explorés.
3. Identification de nouveaux points de vue : Le modèle identifie un nouveau point de vue insuffisamment couvert qui offre une perspective distincte sur la requête originale, garantissant que le processus de génération ne s'effondre pas en une position dominante unique.

B. Récupération sensible aux points de vue

Pour remédier au manque de fondement factuel des points de vue hypothétiques (C2), DIVERGE intègre un mécanisme de récupération qui interroge le web ouvert pour obtenir des preuves spécifiques au point de vue identifié.

• Génération de requêtes : Le LLM génère une requête conditionnée par le nouveau point de vue.
• Re-classement sensible à la diversité : Le récupérateur utilise une formulation étendue de la Pertinence Maximale Marginale (MMR). Il évalue les documents en fonction de :
  1. La pertinence par rapport à la requête actuelle conditionnée par le point de vue.
  2. La diversité par rapport aux documents récupérés lors des itérations précédentes (mémoire).
  3. La diversité par rapport aux documents sélectionnés au sein de l'itération actuelle.
     Cela garantit que les preuves récupérées soutiennent le point de vue spécifique tout en évitant la redondance avec les informations déjà explorées.

C. Génération et raffinement conditionnés par le point de vue

Pour combler l'écart entre un point de vue spécifique et l'intention originale de l'utilisateur, DIVERGE emploie un processus de génération en deux étapes :

1. Génération conditionnée : Le LLM génère une réponse explicitement conditionnée à la fois par la requête originale et par le point de vue ciblé.
2. Raffinement : La réponse générée est raffinée pour garantir qu'elle reste logiquement cohérente, factuellement exacte et qu'elle répond directement à la requête initiale de l'utilisateur, évitant ainsi une déviation excessive tout en maintenant la diversité introduite par le point de vue.

3. Métriques d'évaluation

Reconnaissant que les métriques standards reposant sur des réponses de référence (ground-truth) sont inadaptées aux tâches à portée ouverte, les auteurs introduisent une nouvelle suite d'évaluation se concentrant sur le compromis diversité-qualité :

• Diversité sémantique ($D_{sem}$) : Mesure la variation de sens entre les réponses en utilisant la distance cosinus par paires entre les plongements (embeddings) des réponses.
• Diversité des points de vue ($D_{view}$) : Décompose les réponses en affirmations atomiques (points de vue) et mesure la fraction de points de vue mutuellement non chevauchants à travers l'ensemble des réponses. Cela capture la diversité intra-réponse que les métriques sémantiques pourraient manquer.
• Score de Qualité : Évalué via un paradigme de LLM-as-a-Judge (le LLM comme juge), évaluant l'exactitude factuelle, le support de l'évidence, la cohérence interne et la pertinence par rapport à la question.
• Score Harmonique Unifié Diversité-Qualité ($U_{Q}$) : Une moyenne harmonique des scores de diversité et de qualité normalisés, fournissant une métrique unique pour comparer la performance du compromis de différentes méthodes.

4. Résultats expérimentaux

Le cadre a été évalué sur Infinity-Chat, un benchmark du monde réel de requêtes à portée ouverte sans vérité de terrain. Les expériences ont utilisé les modèles GPT-5-mini et GPT-5.1.

• Performance : DIVERGE a obtenu le Score Unifié le plus élevé parmi toutes les méthodes et configurations de modèles.
• Gains de diversité : Comparé à l'échantillonnage indépendant (prompting direct), DIVERGE a amélioré la diversité sémantique d'environ 2,5× et la diversité des points de vue de 1,6×.
• Préservation de la qualité : Contrairement aux bases de comparaison par prompting (ex. : Verbalized Sampling) qui souffraient d'une dégradation substantielle de la qualité, DIVERGE a maintenu une qualité de réponse comparable, avec seulement une baisse marginale (~0,04) du score de qualité.
• Comparaison avec les bases de référence : Le RAG standard et les stratégies simples d'amélioration de la diversité (ex. : mélange de contexte, multi-requêtes) n'ont pas réussi à augmenter significativement la diversité et ont souvent abouti à des scores unifiés plus faibles.

5. Signification et revendications

L'article affirme que DIVERGE s'attaque à une limitation systématique des systèmes actuels basés sur les LLM : l'incapacité à exploiter des contextes récupérés diversifiés pour la recherche d'informations à portée ouverte.

• Atténuation de l'homogénéisation : En modélisant explicitement la diversité via la réflexion et le raffinement itératif, DIVERGE démontre qu'il est possible de surmonter les tendances d'homogénéisation des LLM de frontière sans réentraînement ni accès aux états internes du modèle (logits).
• Applicabilité pratique : Le cadre est conçu comme une solution "plug-and-play" compatible avec les modèles à code source fermé, ce qui le rend immédiatement applicable aux scénarios de déploiement réel où les contrôles de décodage sont restreints.
• Impact éthique et sociétal : Les auteurs soutiennent que la promotion de la diversité dans les réponses de l'IA aide à atténuer le risque de sorties homogénéisées qui surreprésentent les points de vue sociaux ou culturels dominants, favorisant ainsi un accès à l'information plus juste et inclusif et soutenant la créativité humaine.

L'étude conclut qu'une modélisation explicite de la diversité est une voie viable pour équilibrer les objectifs souvent conflictuels de variété des réponses et de fiabilité factuelle dans les systèmes RAG à portée ouverte.