Calibrating the Instrument: Controllability of an LLM-Driven Synthetic Population

Résumé technique : Calibrer l'instrument – La contrôlabilité d'une population synthétique pilotée par un LLM

Problématique
Les Populations Synthétiques Génératives (PSG) — convergences de la synthèse de population statistique, de la modélisation multi-agents (ABM) et d'agents basés sur des modèles de langage étendus (LLM) — offrent des promesses pour la simulation urbaine et la recherche en communication institutionnelle. Cependant, un écart de validation fondamental subsiste : avant qu'un instrument de PSG puisse être considéré comme fiable pour modéliser des populations réelles (validité externe), ses mécanismes internes doivent être vérifiés. Plus précisément, l'instrument répond-il à des stimuli de valence connue de manière ordonnée, reproductible et structurée par groupes ? L'article soutient que sans l'établissement de cette propriété, nommée contrôlabilité, toute affirmation concernant la capacité de l'instrument à suivre le comportement humain est logiquement prématurée. Les auteurs postulent qu'une population synthétique doit d'abord être capable de « se suivre elle-même » — en récupérant la structure latente qui lui est imposée — avant de pouvoir être utilisée pour suivre des humains réels.

Méthodologie : L'expérience SIVE
Pour répondre à cela, les auteurs introduisent SIVE (Synthetic Instrument Validation Experiment), un banc de calibration à modèle minimal conçu pour isoler la fonction de réponse de l'instrument du bruit de la complexité du monde réel.

• Système expérimental (Montelago) : Une municipalité italienne fictive sans référent réel, peuplée de 120 personas synthétiques. Chaque persona possède une structure d'attitude latente encodée et connue (spécifiquement, des niveaux de confiance institutionnelle : Bas, Moyen, Haut) ainsi qu'un profil démographique, mais les scores encodés sont dissimulés au LLM lors de l'inférence. Le LLM ne reçoit que l'histoire de fond et les données démographiques du persona.
• Stimuli : La population est exposée à sept conditions expérimentales impliquant des communications institutionnelles concernant un réseau d'eau municipal. Celles-ci couvrent un spectre de valence :
  • POS/POS2 : Fortement positif (réplicas pour l'estimation du bruit).
  • NEG : Fortement négatif.
  • POSW/POSW2 : Signaux « faiblement positifs » (POSW était un stimulus mal calibré ; POSW2 était une version recalibrée).
  • PLA : Un placebo thématiquement orthogonal (Festival de quartier).
  • CTRL : Aucun message.
• Procédure : Chacun des 120 agents subit sept passages indépendants (un par condition). Dans chaque passage, les agents fournissent des évaluations pré-stimulus, réagissent au stimulus via du texte libre à trois intervalles temporels, et fournissent des évaluations post-stimulus.
• Paramètres : Les expériences ont été menées via un balayage de température ($t \in \{0.2, 0.5, 0.7\}$) en utilisant le modèle deepseek-chat de DeepSeek.
• Critères de validation : Sept critères pré-enregistrés (C1–C7) ont été définis pour évaluer :
  1. Fidélité (C1) : Corrélation entre les attitudes latentes encodées et les réponses pré-stimulus.
  2. Stabilité (C2) : Cohérence des lignes de base pré-stimulus à travers les différentes conditions.
  3. Plancher de bruit (C3) : Variabilité intrinsèque mesurée via des réplicas de stimuli (POS vs POS2) et la répétition d'un profil unique.
  4. Spécificité (C4) : Effet nul du placebo (PLA) par rapport au contrôle (CTRL).
  5. Sensibilité (C5) : Réponse ordonnée aux stimuli de valence connue.
     6 Ordre (C6) : Corrélation de rang entre les classements observés et attendus.
  6. Vérification de réception (C7) : Détection des changements d'adéquation de l'information, indépendamment de la valence du message.

Résultats clés
Les sept critères pré-enregistrés ont été validés pour les trois réglages de température ($t=0.2, 0.5, 0.7$).

• Fidélité et Stabilité : L'instrument a fidèlement récupéré la structure de confiance latente (C1 : $r > 0.89$ pour la variable de confiance primaire) et a maintenu des lignes de base stables à travers les conditions (C2 : $r_{min} > 0.85$).
• Caractérisation du bruit : Le plancher de bruit inter-agents ($\sigma_{cross} \approx 1.4$) s'est avéré être environ le double du bruit intrinsèque de l'instrument ($\sigma_{instr} \approx 0.77$), ce dernier ayant été isolé via la répétition d'un profil unique. Crucialement, le bruit intrinsique était invariant par rapport à la température.
• Succès de la calibration (POSW/POSW2) : Un résultat central est apparu suite à l'échec de la calibration d'un stimulus. Le stimulus « faiblement positif » (POSW), conçu pour être neutre-à-positif, a été identifié par l'instrument comme étant fonctionnellement négatif, faisant chuter les scores de confiance sous la ligne de base du contrôle. Une analyse post-hoc a révélé que le texte encodait « problème + incertitude + passivité institutionnelle ». Un stimulus recalibré (POSW2) a restauré l'ordre attendu, démontant la capacité de l'instrument à diagnostiquer les défauts de conception des stimuli eux-mêmes.
• Sensibilité et Ordre : L'instrument a réussi à discriminer les stimuli, le classement observé des conditions correspondant au classement attendu (C6 : $\tau \approx 1.0$) une fois le POSW2 recalibré inclus.
• Micro-dynamiques : Bien que les métriques agrégées montrent des tendances cohérentes, les trajectoires individuelles des agents ont révélé des mécanismes psychologiques qualitativement distincts. Par exemple, sous un stimulus négatif, les agents à « Faible Confiance » ont manifesté soit une résignation passive, soit une mobilisation civique active, tandis que les agents à « Haute Confiance » ont vécu un effondrement de la crédibilité perçue de la source plutôt qu'une simple baisse de confiance.

Signification et Revendications
L'article affirme que SIVE établit un préalable logique nécessaire à la recherche en PSG : la contrôlabilité. Les auteurs soutiennent que la caractérisation de la fonction de réponse d'un instrument est distincte de, et un prérequis à, la validation de sa fidélité externe par rapport au comportement humain.

• Validité interne d'abord : L'étude démontre qu'un instrument de PSG peut être rigoureusement calibré pour répondre à des entrées connues de manière structurée, indépendamment de toute comparaison avec des données humaines réelles.
• Utilité diagnostique : L'expérience souligne la capacité de l'instrument à servir d'outil de diagnostic pour les stimuli eux-mêmes, révélant que des messages « faiblement positifs » peuvent être interprétés comme négatifs par des audiences sceptiques en raison de la passivité institutionnelle.
• Précision : L'étude quantifie le plancher de bruit de l'instrument, montant qu'il est plus précis que ne le suggèrent les analyses inter-agents naïves, et que cette précision est stable à travers les variations de température.
• Portée : Les auteurs précisent explicitement que SIVE ne valide pas la capacité de l'instrument à modéliser de réelles populations (validité externe) ni les dynamiques spécifiques de l'étude de cas Caffaro/Brescia qui a motivé ce travail. Au lieu de cela, il fournit l'« instrument caractérisé » requis pour poursuivre de manière crédible ces futures questions.

L'article conclut que l'instrument Montelago est contrôlable et que la logique expérimentale de SIVE peut être adaptée à d'autres instruments, fournissant une étape fondamentale pour la maturation de la simulation sociale pilotée par les LLM.