Prompts to Proxies: Emulating Human Preferences via a Compact LLM Ensemble

Résumé technique : Prompts to Proxies (P2P)

Énoncé du problème
Les modèles de langage de grande taille (LLM) sont de plus en plus utilisés comme proxys pour des sujets humains dans la recherche en sciences sociales afin de simuler des réponses à des enquêtes et de modéliser les dynamiques communautaires. Cependant, la validité externe de ces agents synthétiques est compromise par un défi fondamental d'alignement : garantir que les préférences agrégées d'un ensemble synthétique reflètent fidèlement l'hétérogénéité d'une population humaine cible. Les approches existantes font face à des compromis importants. Le réglage fin supervisé (SFT) et l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) tendent souvent vers des tendances centrales, occultant la diversité des préférences. Inversement, les méthodes de conditionnement démographique nécessitent des données personnelles sensibles et une construction de profils laborieuse, tout en échouant encore à garantir la fidélité distributionnelle. De plus, de nombreux chercheurs ne disposent pas des ressources computationnelles ou de l'accès aux données requis pour ces approches lourdes.

Méthodologie : Théorie de la reconstruction des préférences
Le document introduit la Théorie de la reconstruction des préférences, qui formalise l'alignement des préférences de la population comme un problème d'apprentissage de représentation inspiré de la théorie des préférences révélées en économie. L'idée centrale est que les préférences au niveau de la population peuvent être reconstruites non pas en trouvant un seul « agent représentatif », mais en construisant une base fonctionnelle d'agents proxys diversifiés et en récupérant les préférences de la population par agrégation pondérée.

Les auteurs opérationnalisent cette théorie via Prompts to Proxies (P2P), un système d'inférence modulaire en deux étapes qui ne nécessite ni réglage fin (fine-tuning), ni accès à des données démographiques sensibles :

1. Étape 1 : Génération active de dotations (Construction d'un pool d'agents diversifiés)

   • Prompting structuré : Le système utilise une « banque d'attributs » hiérarchique contenant des facteurs interprétables (ex: idéologie, traits de personnalité, dispositions économiques) dérivés des disciplines des sciences sociales.
   • Échantillonnage adaptatif : Au lieu d'une énumération exhaustive, P2P emploie une stratégie d'échantillonnage adaptatif basée sur l'entropie. Il suit l'« entropie de la question » (variabilité des réponses) à travers différents modes d'attributs.
   • Patching de questions : Pour traiter les questions à faible diversité, le système infère dynamiquement de nouveaux attributs spécifiques aux questions à faible entropie et génère des « modes mixtes » pour injecter de la diversité.
   • Objectif : Construire un pool diversifié d'agents (dotations) qui couvre l'espace latent des préférences du domaine thématique, maximisant ainsi la variabilité des réponses.

2. Étape 2 : Agrégation par régression (Sélection d'un ensemble compact)

   • Sélection de variables : Étant donné le pool diversifié d'agents, le système utilise une régression avec régularisation L1 (Lasso contraint) pour sélectionner un sous-ensemble compact d'agents.
   • Optimisation : L'algorithme résout un problème d'optimisation contrainte pour trouver les poids des agents sélectionnés de telle sorte que leurs distributions de réponses agrégées minimisent la perte par rapport aux données de vérité terrain observées (ensemble d'entraînement).
   • Généralisation : L'ensemble sélectionné est validé sur un ensemble de test tenu à l'écart pour s'assurer que les poids appris se généralisent aux questions inédites, évitant ainsi le surapprentissage (overfitting).

Principales contributions

• Formalisation du problème : Le document formalise l'alignement des préférences de la population comme un problème d'apprentissage de représentation, introduisant le concept que les préférences de population apprenables peuvent être représentées par une base fonctionnelle d'agents proxys avec des poids d'agrégation appropriés.
• Système d'alignement modulaire (P2P) : Un système en deux étapes combinant un échantillonnage adaptatif guidé par l'entropie pour la génération d'agents et un Lasso contraint pour la sélection d'ensemble. Il fonctionne sans réglage fin, sans données démographiques et sans ressources computationnelles significatives.
• Validation empirique : Les auteurs valident P2P à travers 14 vagues de l'American Trends Panel (ATP) et du World Values Survey (WVS), démontrant des performances robustes à travers divers sujets et localités.

Résultats

• Performance sur l'ATP : À travers 14 vagues d'enquêtes, P2P a atteint une erreur quadratique moyenne (MSE) de test moyenne de 0,014, surpassant à la fois la ligne de base de prompting « Vanilla » (0,026) et la ligne de base « PERSONA » conditionnée par la démographie (0,029). Cela représente une amélioration de 43 % par rapport à la meilleure ligne de base.
• Diversité et coût : Le pool d'agents P2P présentait une entropie moyenne plus élevée (0,53) que les lignes de base (0,43–0,45), confirmant que la diversité des réponses soutient la reconstruction des préférences. Le coût par enquête était d'environ 0,80 $, comparable à la ligne de base Vanilla et nettement moins cher que PERSONA (1,30 $+).
• Généralisation inter-locales : Testé sur le World Values Survey (États-Unis, Grande-Bretagne, Hong Kong), P2P a obtenu des performances comparables aux résultats américains sur les localités occidentales (MSE ~0,014–0,015). La performance sur Hong Kong était plus faible (MSE ~0,024), ce que les auteurs attribuent au biais des données d'entraînement des LLM vers les populations occidentales. L'analyse d'erreur montre que si le transfert inter-localités tire parti de la diversité, la génération spécifique à une localité capture des préférences culturellement distinctes qu'une base étrangère ne peut pleinement reconstruire.
• Test de résistance : Lors d'un test de résistance contre un modèle SFT calibré par distribution et entraîné sur des données agrégées de 46 pays, P2P a obtenu une divergence de Jensen-Shannon (1-JSD) et une précision de prédiction de classe majoritaire (MCPA) compétitives en utilisant moins de 3 % des données d'entraînement et sans réglage fin.

Signification et revendications
Le document affirme offrir une plateforme pratique et efficiente en ressources pour la recherche interdisciplinaire en simulation de sciences sociales. En traitant l'alignement comme un problème de reconstruction plutôt que comme une tâche d'optimisation d'un agent unique, P2P répond à la « barrière des ressources invisibles » à laquelle sont confrontées les institutions académiques et les chercheurs indépendants. Les auteurs positionnent ce travail comme une étape vers un alignement pluraliste, démontant que les agents synthétiques peuvent reproduire fidèlement l'hétérogénéité des populations sans dépendre de données individuelles sensibles ou d'un réentraînement coûteux des modèles. L'étude suggère que, bien que les LLM possèdent des biais inhérents, une base fonctionnelle correctement construite peut atténuer ces problèmes pour émuler efficacement les schémas de choix humains. Les auteurs notent modestement que des travaux futurs sont nécessaires pour traiter les préférences non stationnaires au fil du temps, étendre le cadre aux sorties de texte libre et approfondir l'investigation de la généralisation à travers différents designs d'enquêtes afin d'éviter l'apprentissage par raccourci (shortcut learning).