Résumé technique : Comment la température façonne le discours idéologique dans la génération augmentée par récupération (RAG)

Problématique

Bien que la génération augmentée par récupération (RAG) soit largement adoptée pour atténuer les hallucinations et améliorer l'ancrage factuel des grands modèles de langage (LLM), l'impact du biais idéologique au sein des documents récupérés sur les sorties des LLM reste peu exploré. Les recherches existantes ont traité les inexactitudes factuelles de la récupération, mais ont largement négligé la manière dont les cadres RAG pourraient transmettre, amplifier ou supprimer les discours idéologiques présents dans les sources de connaissances externes. Cela est particulièrement critique dans des domaines à enjeux élevés comme la santé, où des changements subtils de formulation peuvent remodeler l'interprétation des traitements et des risques. De plus, le rôle de la température d'échantillonnage — un paramètre contrôlant l'aléa de la génération de tokens — dans la modulation de ce transfert idéologique au sein des systèmes RAG a reçu une attention limitée.

Méthodologie

Construction du corpus et identification idéologique

L'étude a utilisé un corpus spécifique au domaine composé de 1 117 articles scientifiques concernant les traitements contre la COVID-19 publiés entre 2020 et 2022. Le corpus a été divisé en deux sous-corpus :

1. Controversé : 116 textes promouvant des traitements non approuvés par les agences de santé officielles (ex. : hydroxychloroquine, ivermectine).
2. Approuvé : 991 textes alignés avec les normes internationales de santé et de science.

Pour identifier les discours idéologiques latents, les auteurs ont appliqué l'Analyse Multidimensionnelle Lexicale (LMDA). Cette méthode étend l'analyse multidimensionnelle de Biber en utilisant l'analyse factorielle sur les cooccurrences de mots (collocations) afin de découvrir des dimensions dérivées statistiquement.

• Prétraitement : Les collocations clés ont été extraites en utilisant des scores Log-Dice ($D \ge 7$) dans un intervalle de quatre mots.
• Analyse factorielle : Une matrice de corrélation tétrachorique a été calculée, suivie d'une analyse factorielle. Trois dimensions primaires ont été sélectionnées sur la base de chevauchements clairs entre les pôles de dimension et les sous-ensembles de textes (Controversé vs Approuvé).
• Microanalyse : L'analyse qualitative des textes aux extrémités de ces dimensions a permis de labelliser les orientations discursives (ex. : promotionnel vs fondé sur des preuves).

Configuration expérimentale

L'étude a évalué la propagation de ces discours identifiés dans les réponses des LLM sous diverses conditions :

• Modèles : Quatre LLM ont été testés : GPT-4o-mini, GPT-3.5-turbo, Gemini-2.0 et Qwen2.5.
• Conditions de génération :
  • LLM-seul : Les modèles répondent sans contexte externe.
  • RAG : Les modèles répondent en utilisant le contexte récupéré du corpus idéologique.
• Stratégies de prompting :
  • Régulier : Prompts standards avec ou sans contexte récupéré.
  • Amélioré : Prompts incluant explicitement les métadonnées LMDA (labels de dimension, descriptions, vocabulaire typique et exemples de textes) pour guider le modèle vers des cadrages idéologiques spécifiques.
  • Prompt Négatif : Une condition spécifique où les modèles reçoivent l'instruction explicite d'éviter de refléter les métadonnées idéologiques fournies.
• Températures d'échantillonnage : Les expériences ont été menées sur cinq températures : 0.1, 0.3, 0.5, 0.7 et 0.9.

Métriques d'évaluation

L'alignement idéologique a été mesuré via trois approches de similitude par rapport à des textes idéologiques de référence :

1. Similitude sémantique : Similitude cosinus des plongements (embeddings) de type BERT moyennés.
2. Similitude lexicale : Similitude cosinus des vecteurs TF-IDF.
3. Similitude hybride : Une concaténation des vecteurs sémantiques et lexicaux.

Des métriques structurelles additionnelles incluaient le Ratio Type-Token (TTR) pour la diversité lexicale, l'Entropie moyenne des tokens pour l'incertitude de génération, et la Longueur de sortie.

Résultats Clés

1. Impact du RAG et du prompting sur l'alignement

• Supériorité du RAG : À travers toutes les températures et métriques, les configurations basées sur le RAG ont atteint un alignement idéologique plus élevé que la génération LLM-seule.
• Prompting amélioré : La combinaison du RAG avec un prompting amélioré (métadonnées idéologiques explicites) a produit les scores d'alignement les plus élevés, suggérant que les indices explicites dans le prompt sont les plus efficaces lorsqu'ils sont renforcés par un contexte idéologique récupéré.
• Limites du LLM-seul : Sans ancrage par récupération, même le prompting amélioré n'a pas réussi à améliorer significativement l'alignement, indiquant que la connaissance externe est cruciale pour un transfert idéologique cohérent.

2. Le rôle de la température d'échantillonnage

L'effet de la température sur l'alignement du discours dépendait fortement de la configuration du système :

• RAG avec Prompting Amélioré : L'alignement était le plus bas au réglage le plus déterministe ($T=0.1$), augmentait jusqu'à un maximum à une température modérée ($T=0.5$), puis se stabilisait à mesure que la température augmentait. Cela suggère qu'un équilibre entre stochasticité et ancrage par récupération est optimal.
• RAG avec Prompting Régulier : Présentait une augmentation monotone et graduelle de l'alignement à mesure que la température montait, culminant à $T=0.9$. Les preuves récupérées semblent contraindre la génération suffisamment pour permettre une plus grande diversité sans dégrader l'alignement.
• LLM-seul : Présentait un motif de type "ascension et chute". L'alignement augmentait de $T=0.1$ à $T=0.3$, puis déclinait et se stabilisait à des températures plus élevées. Cela indique que sans support de récupération, l'aléa excessif introduit une variabilité que le modèle ne peut contrôler, réduisant la cohérence idéologique.

3. Résultats spécifiques aux modèles

• Qwen2.5 a systématiquement démontré les scores d'alignement les plus élevés à travers toutes les métriques et températures, suggérant une plus grande susceptibilité à l'influence idéologique.
• GPT-4o-mini a montré les scores d'alignement les plus bas et la plus faible variation à travers les températures, impliquant que les modèles plus larges possédant davantage de connaissances mondiales encodées peuvent être plus résistants au cadrage idéologique externe.

4. Métriques structurelles

• Diversité lexicale (TTR) : Les sorties LLM-seules montraient systématiquement une plus grande diversité lexicale que les sorties RAG. La température avait un impact minimal sur le TTR dans le cadre du RAG.
• Entropie : L'entropie moyenne augmentait modestement avec la température pour les deux configurations, confirmant une plus grande randomisation dans la sélection des tokens.
• Longueur de sortie : Les sorties RAG étaient significativement plus longues que les sorties LLM-seules. La longueur du RAG augmentait graduellement avec la température, tandis que la longueur du LLM-seul restait relativement stable.

5. Prompting Négatif

Lorsque les modèles recevaient l'instruction explicite d'éviter l'alignement idéologique (Prompt Négatif), les scores d'alignement chutaient significativement par rapport aux réglages réguliers. La métrique lexicale a montré la réduction la plus importante, indiquant que le choix des mots est très sensible à la polarité du prompt, tandis que les structures sémantiques étaient plus résistantes.

Signification et Contributions

L'article apporte deux contributions principales :

1. Définition formelle des dimensions idéologiques : Il établit un ensemble de dimensions idéologiques dérivées de connaissances externes (via la LMDA) qui permet l'évaluation quantitative de l'alignement des réponses de LLM à des idéologies spécifiques.
2. Caractérisation de la propagation idéologique : Il étudie comment les discours idéologiques se propagent des connaissances externes du RAG vers les sorties des LLM sous différentes températures d'échantillonnage.

Conclusions clés :
L'étude conclut que si la température d'échantillonnage impacte significativement l'alignement du discours, son effet est modéré structurellement par la conception du système. Dans les systèmes RAG, l'ancrage par récupération contraint la dérive idéologique induite par la température, rendant l'alignement plus stable à travers les températures par rapport aux systèmes LLM-seuls. Le transfert idéologique dans les systèmes ancrés provient de l'interaction entre la stochasticité du décodage, le prompting basé sur les métadonnées et les contraintes de récupération, plutôt que de la température seule.

Limites :
Les auteurs notent que les résultats sont spécifiques au contexte du discours sur la COVID-19 (2020–2022), une période caractérisée par une urgence et une polarisation aiguës. La généralisabilité à des domaines non médicaux (ex. : changement climatique) reste non vérifiée. De plus, le recours à des métriques de similitude automatisées suggère la nécessité d'évaluations humaines futures pour corroborer les résultats.