Résumé Technique : À qui interroger pour quoi : Élicitation de groupe adaptative via des interactions multi-tours avec les LLM

Énoncé du problème

Les enquêtes et les évaluations collectives visent à inférer des propriétés latentes de populations (par exemple, l'inclinaison politique, les profils de compétences) en interrogeant un sous-ensemble d'individus. Cependant, les contraintes du monde réel — telles que la charge de travail des répondants, le temps de l'enquêteur et les incitations à la participation — limitent le nombre de questions et de réponses complétées, ce qui entraîne souvent des données éparses et partiellement observées.

Bien que les modèles de langage étendus (LLM) permettent des interactions adaptatives et multi-tours pour optimiser ce qu'il faut demander, les méthodes d'élicitation existantes supposent généralement un vivier de répondants fixe. Elles ne parviennent pas à sélectionner de manière adaptative qui interroger ou à exploiter la structure de la population (par exemple, la démographie, la similitude) lorsque les réponses sont incomplètes. Cela crée un goulot d'étranglement où l'efficacité n'est pas maximisée car l'information recueillie auprès de quelques répondants ne se généralise pas efficacement à l'ensemble du groupe dans des contextes de budgets contraints.

Méthodologie

Les auteurs proposent un cadre pour l'Élicitation de Groupe Adaptative, un cadre multi-tours où un agent sélectionne conjointement la question suivante et un sous-ensemble de répondants à interroger sous des budgets explicites de requête et de participation. Le cadre fonctionne en boucle fermée en combinant deux composantes centrales :

1. Phase de méta-entraînement

• LLM pour l'inférence prédictive : Un modèle de langage (par exemple, Llama-3.1-8B) est méta-entraîné sur des historiques d'interaction pour prédire les réponses individuelles. Ce modèle sert de prédicteur robuste du comportement individuel, permettant de quantifier l'incertitude concernant une entité latente $U$ (par exemple, la préférence réelle d'un répondant) basée sur l'historique observé. L'objectif d'entraînement maximise la vraisemblance de la prédiction autorégressive, évitant ainsi le besoin de priors paramétriques sur des espaces latents complexes.
• GNN hétérogène pour la simulation de groupe : Pour faire face à la rareté des données, un réseau de neurones sur graphes (GNN) hétérogène est employé. Le graphe contient trois types de nœuds :
  • Membres du groupe : Représentant les individus.
  • Caractéristiques : Représentant les attributs démographiques (par exemple, tranches d'âge, genre).
  • Choix : Représentant les paires (question, option).
    Le GNN est entraîné via la prédiction de liens pour propager l'information à travers le graphe. Il apprend des plongements (embeddings) qui capturent les structures relationnelles, lui permettant d'imputer les réponses manquantes pour les individus non interrogés en se basant sur leur similitude avec les répondants observés.

2. Inférence adaptative au moment du test

À chaque tour d'interaction $t$, le système effectue un processus de sélection en deux étapes :

• Sélection de requête adaptative : Le système sélectionne une question $X_t$ qui maximise le Gain d'Information Attendu (EIG) concernant l'entité latente du groupe. En utilisant le LLM méta-entraîné, il calcule la réduction de l'entropie prédictive (incertitude) pour l'ensemble d'évaluation mis de côté si une question spécifique était posée.
• Sélection de répondants par relation de groupe : Au lieu d'interroger de manière aléatoire, le système sélectionne un sous-ensemble de répondants $R_t$ pour maximiser la diversité et la représentativité. Il regroupe les plongements des membres via le GNN et sélectionne les centres de clusters. Cela garantit que le sous-ensemble sélectionné couvre l'espace des plongements, maximisant l'utilité du budget limité.
• Imputation et mise à jour des croyances : Après la collecte des réponses réelles de $R_t$, le GNN met à jour la structure de son graphe avec de nouveaux liens. Il effectue un passage de messages pour affiner les plongements des nœuds et imputer les réponses pour les membres non interrogés. Ces réponses imputées sont ajoutées à l'historique d'interaction, informant le tour de sélection suivant.

Contributions clés

1. Formalisation : L'article formalise l'élicitation de groupe adaptative comme un problème de décision conjoint sur les questions et les répondants sous des budgets de requête et de participation, comblant ainsi l'écart avec les méthodes existantes qui n'optimisent que la sélection des questions.
2. Proposition de cadre : Il introduit une instanciation pratique combinant un objectif de gain d'information attendu basé sur le LLM avec une propagation par GNN hétérogène. Cela permet l'imputation de réponses manquantes et la sélection de répondants représentatifs basés sur une similitude structurée.
3. Justification théorique :
   • L'approche est fondée sur la perspective prédictive de de Finetti, traitant les réductions de l'entropie prédictive comme des réductions de l'incertitude concernant l'entité latente.
   • Les auteurs prouvent que leur algorithme de sélection gloutonne (tant conjoint que à deux étapes) atteint une quasi-optimalité sous des hypothèses standard de sous-modularité et de monotonie, fournissant une garantie de facteur constant par rapport à la séquence optimale.
4. Validation empirique : La méthode est évaluée sur trois jeux de données d'opinion du monde réel (CES, OpinionQA, Twin-2k), démontrant des améliorations constantes de la prédiction des réponses au niveau de la population sous des budgets contraints.

Résultats expérimentaux

Le cadre a été testé sur trois jeux de données avec des budgets de répondants variables (10 %, 30 %, 50 %).

• Gains de performance : La méthode proposée a systématiquement surpassé les lignes de base (Meta-Random, Meta-Greedy, et Meta-Greedy-Imp). Notamment, sur le jeu de données Cooperative Election Study (CES) avec un budget de répondants de 10 %, la méthode a obtenu un gain relatif de >12 % en précision de prédiction par rapport à la ligne de base la plus forte.
• Analyse des composantes :
  • Sélection de requête : La sélection de requête gloutonne a nettement mieux performé que la sélection aléatoire.
  • Imputation : L'imputation basée sur le GNN a fourni des gains substantiellement plus importants que l'imputation basée uniquement sur le LLM, soulignant la nécessité de tirer parti de la structure de la population.
  • Sélection de répondants : La méthode a montré la plus haute récupération relative sur les répondants "difficiles" (à haute sensibilité) — ceux dont les réponses de vérité terrain génèrent les plus grandes améliorations de performance. Cela indique que la stratégie cible efficacement les individus les plus informatifs.
• Planification vs Glouton : La planification multi-étapes n'a apporté que des gains marginaux par rapport à la sélection gloutonne tout en imposant des coûts computationnels substantiels, suggérant que la sélection gloutonne est suffisante pour ce contexte.
• Robustesse : L'approche est restée efficace à travers différentes échelles de modèles (Llama-3.1-8B vs Llama-3.2-1B) et a démontré une généralisation à travers différentes régions géographiques (par exemple, les politiques apprises sur la région Sud se transférant vers l'Ouest et le Midwest).

Signification et affirmations

L'article affirme qu'une élicitation efficace dépend non seulement de quelles questions sont posées, mais aussi de manière critique de qui est observé et de la façon dont l'information partielle est propagée à travers la population. En optimisant conjointement la sélection des requêtes et la sélection des répondants via une propagation de graphe structurée, le cadre permet d'inférer les préférences latentes d'un groupe à partir d'un sous-ensemble d'individus restreint et informatif.

Les auteurs positionnent ce travail comme une extension principielle de l'élicitation adaptative aux contextes de groupe, allant au-delà de l'inférence au niveau individuel pour traiter des entités latentes collectives. Ils soulignent que leur méthode permet d'obtenir des gains substantiels lors des premiers tours d'élicitation, ce qui la rend particulièrement précieuse pour les scénarios avec des contraintes budgétaires serrées où les enquêtes traditionnelles souffrent souvent de données manquantes et d'abandons. Ce travail fait le pont entre l'interaction en langage naturel basée sur les LLM et l'inférence statistique structurée, offrant une solution scalable pour l'évaluation de population à coût réduit.