Can AI Truly Represent Your Voice in Deliberations? A Comprehensive Study of Large-Scale Opinion Aggregation with LLMs

1. Problématique

Les délibérations publiques à grande échelle (assemblées de citoyens, débats parlementaires) génèrent des milliers de contributions libres qui doivent être synthétisées en résumés neutres et représentatifs pour éclairer les décideurs politiques. Bien que les Grands Modèles de Langage (LLM) soient prometteurs pour cette tâche, deux risques majeurs subsistent :

1. Biais de représentation : Les LLM ont tendance à sur-représenter les opinions majoritaires et à négliger les perspectives minoritaires, compromettant l'équité du processus démocratique.
2. Fiabilité de l'évaluation : L'évaluation actuelle repose souvent sur des LLM agissant comme juges ("LLM-as-a-judge"). Cependant, ces juges manquent de cohérence avec les jugements humains, sont instables et biaisés, rendant difficile l'évaluation fiable des systèmes de résumé à grande échelle.

L'article pose la question centrale : Les LLM peuvent-ils réellement soutenir la délibération en produisant des résumés représentatifs, informatifs et neutres, et comment pouvons-nous les évaluer de manière fiable à grande échelle ?

2. Méthodologie

Les auteurs proposent un cadre complet comprenant la création d'un jeu de données de référence, le développement d'un évaluateur spécialisé et une évaluation systématique de multiples modèles.

A. Création de DELIBERATIONBANK

Il s'agit d'un benchmark à grande échelle ancré sur des données humaines, construit en trois étapes :

• Collecte d'opinions (Étape 1) : 10 questions de délibération couvrant la technologie, les médias sociaux et les politiques publiques. 300 participants représentatifs par question (3 000 au total) ont fourni des opinions libres.
• Génération de résumés (Étape 2) : Cinq LLM différents (GPT-5, Claude-4, Gemini-2.5, DeepSeek, Qwen3) ont généré des résumés à partir de sous-ensembles d'opinions de tailles variables (10 à 300 opinions). Cela a produit 750 résumés.
• Annotation humaine (Étape 3) : 4 500 annotateurs distincts ont évalué ces résumés. Chaque annotateur a d'abord écrit sa propre opinion, puis a évalué un résumé selon quatre dimensions :
  1. Représentativité : Dans quelle mesure le résumé capture-t-il l'opinion individuelle ?
  2. Informativité : Qualité et diversité des informations.
  3. Neutralité : Absence de langage biaisé.
  4. Approbation politique : Pertinence pour la prise de décision.
     Les tâches comprenaient un rating (notation sur 1-5) et une comparison (comparaison de deux résumés).

B. Développement de DELIBERATIONJUDGE

Pour pallier les faiblesses des LLM génériques comme juges, les auteurs ont entraîné DELIBERATIONJUDGE :

• Architecture : Un modèle DeBERTa (basé sur l'encodeur) fine-tuné via Supervised Fine-Tuning (SFT) sur les annotations humaines de DELIBERATIONBANK.
• Fonctionnement : Il prend en entrée une question, une opinion d'annotateur et un résumé, et prédit un vecteur de scores continus normalisés [0,1] pour les quatre dimensions.
• Avantage : Contrairement aux LLM génératifs, ce modèle est léger, rapide (0,03s par instance contre >8s pour les LLM) et aligné sur les préférences humaines.

C. Protocole d'Évaluation

Les auteurs ont évalué 18 LLM (propriétaires et open-weight) en utilisant DELIBERATIONJUDGE comme métrique de vérité terrain. Ils ont analysé l'impact de la taille du modèle, de la configuration d'entrée (taille de l'échantillon, ordre) et du type de question (binaire vs ouverte).

3. Contributions Clés

1. DELIBERATIONBANK : Un jeu de données massif contenant 3 000 opinions humaines et 4 500 instances d'évaluation annotées, couvrant 10 sujets sociétaux. C'est la première ressource de ce type permettant une évaluation systématique de la synthèse de délibération.
2. DELIBERATIONJUDGE : Un évaluateur automatique spécialisé qui surpasse les LLM génériques en termes d'alignement avec les jugements humains (corrélation de Spearman ~0,48 contre ~0,20 pour les meilleurs LLM) et d'efficacité (100x plus rapide).
3. Analyse des Biais de Minorité : Une étude approfondie démontrant que les LLM sous-représentent systématiquement les opinions minoritaires, et une distinction conceptuelle entre deux types de minorités :
   • Minorités subjectives : Perçues comme telles par l'individu (sentiment d'isolement).
   • Minorités objectives : Détection automatique par des méthodes de détection d'anomalies (outliers) dans l'espace sémantique.
   • L'étude révèle que ces deux groupes se chevauchent peu (<10%) mais subissent tous deux une sous-représentation.

4. Résultats Principaux

• Performance des Modèles : Les modèles les plus performants sont GPT-5 et la famille Claude-4, avec des scores moyens autour de 0,61-0,62. Cependant, les écarts entre les meilleurs et les pires modèles restent modestes (<0,1), suggérant que la plupart des modèles capturent la synthèse à un niveau de qualité similaire.
• Limites de l'Évaluation par LLM : Les juges LLM "hors de la boîte" (off-the-shelf) montrent une corrélation faible avec les jugements humains (max 0,37), confirmant qu'ils ne sont pas des substituts fiables pour l'évaluation de la qualité de la délibération.
• Biais Systématique :
  • Les résumés générés par les LLM accordent systématiquement des scores de représentativité plus élevés aux opinions majoritaires qu'aux opinions minoritaires (écart moyen de 0,03 à 0,08).
  • Ce biais est universel à travers les modèles et les sujets, et ne peut être expliqué par un déséquilibre d'échantillonnage aléatoire.
• Facteurs d'Influence :
  • Taille d'entrée : La performance s'améliore jusqu'à environ 100 opinions, puis plafonne, indiquant une capacité limitée des LLM à traiter des contextes très larges.
  • Type de question : Les questions binaires (Oui/Non) sont plus faciles à résumer que les questions ouvertes, car elles contraignent les réponses à des positions claires.
  • Architecture : Les modèles plus grands (ex: Qwen3-235B) obtiennent généralement de meilleurs résultats, mais la relation n'est pas parfaitement monotone, soulignant l'importance de l'architecture (MoE vs Dense) et de la stabilité de l'entraînement.

5. Signification et Impact

Cette étude met en lumière les limites actuelles de l'IA dans les contextes démocratiques à haute envergure. Elle démontre que sans mécanismes d'évaluation rigoureux et spécifiques, les outils d'IA risquent d'aggraver l'exclusion des voix minoritaires dans les processus décisionnels.

• Pour la recherche : DELIBERATIONBANK et DELIBERATIONJUDGE offrent une infrastructure reproductible pour développer des systèmes de résumé plus équitables et pour étudier l'alignement des LLM avec des préférences humaines complexes.
• Pour la pratique : Les résultats suggèrent que l'utilisation de LLM pour la synthèse de délibérations nécessite des garde-fous explicites (contraintes d'équité, pondération des minorités) et que l'évaluation par des modèles génériques est insuffisante.
• Perspectives futures : L'auteur propose d'élargir le benchmark à plus de sujets et d'intégrer des objectifs d'évaluation explicitement conscients de la diversité des points de vue pour améliorer la couverture des perspectives.

En conclusion, bien que les LLM soient des outils puissants, leur capacité à représenter fidèlement la "voix" du public dans les délibérations reste imparfaite, nécessitant des approches d'évaluation et de conception plus nuancées pour garantir l'équité démocratique.