Résumé technique : Les grands modèles de langage prédisent avec précision les perceptions publiques du soutien à l'action climatique à travers le monde

Énoncé du problème

Relever le défi du changement climatique nécessite des changements coordonnés dans les comportements individuels et les politiques systémiques. Bien que les sondages d'opinion mondiaux indiquent un large soutien à l'action climatique (par exemple, 69 % de volonté de contribuer à hauteur de 1 % de leurs revenus), les efforts d'atténuation réels restent insuffisants. Une barrière primaire identifiée par la recherche multidisciplinaire est l'ignorance pluraliste : les individus sous-estiment systématiquement le niveau de soutien et de volonté d'agir de leurs pairs. Ces méperceptions (croyances de second ordre) répriment le soutien exprimé et l'action par le biais de mécanismes de coopération conditionnelle, créant une spirale d'inaction auto-entretenue.

Corriger ces lacunes nécessite des cartes de perception des écarts en temps réel et à l'échelle mondiale. Cependant, générer de telles données est logistiquement difficile et coûteux, car cela nécessite des mesures appariées des attitudes personnelles et perçues à partir d'échantillons représentatifs de diverses nations. Cette étude examine si les grands modèles de langage (LLM) peuvent servir d'alternative ou de complément évolutif et rentable aux enquêtes traditionnelles pour cartographier ces écarts de perception à travers le monde.

Méthodologie

Données et vérité de terrain

L'étude utilise les données de l'Enquête mondiale sur le changement climatique (faisant partie du Gallup World Poll 2021/22), couvrant 125 pays avec environ 129 902 répondants.

• Variable de résultat : L'« écart de perception », défini comme la différence entre la moyenne nationale de la volonté personnelle de contribuer financièrement à l'action climatique (croyance de premier ordre) et la volonté perçue des autres (croyance de second ordre).
• Covariables : Les indicateurs sociodémographiques (âge, éducation, religiosité), macroéconomiques (PIB par habitant, inégalité, IDH) et climatiques (température moyenne) au niveau du pays ont été agrégés à partir des données de la Banque mondiale et de Gallup.

Plan expérimental

Les auteurs ont mené une expérience préenregistrée (OSF : ez4ur) comparant quatre LLM de pointe à des bases statistiques :

1. Modèles évalués : GPT-4o mini, Claude 3.5 Haiku, Gemini 2.5 Flash et Llama 4 Maverick (17B).
2. Protocole de prompting : Les modèles ont été interrogés selon huit étapes d'information séquentielles (Étape 1 à Étape 8), allant de la fourniture du seul nom du pays à la fourniture de l'ensemble complet des données sociodémographiques, économiques, climatiques et de la volonté de premier ordre.
3. Tâche : Les modèles ont reçu l'instruction d'estimer le pourcentage de répondants dans un pays donné qui croient que les autres sont prêts à contribuer à hauteur de 1 % de leurs revenus à l'action climatique, en se basant strictement sur les données contextuelles fournies.
4. Benchmarks : La performance des LLM a été comparée à :
   • La vérité de terrain : Les écarts de perception réels dérivés de l'enquête.
   • Des modèles statistiques : Des régressions par moindres carrés ordinaires (OLS) et Lasso, entraînées sur 80 % des pays et évaluées sur un ensemble de test de 20 %.

Tests diagnostiques et mécanistes

Pour distinguer l'inférence structurée de la mémorisation des données d'entraînement, les auteurs ont employé plusieurs tests diagnostiques :

• Ablation de caractéristiques : Retrait systématique de variables d'entrée spécifiques (par exemple, retirer la volonté personnelle, le PIB ou la démographie) pour mesurer l'impact sur l'erreur de prédiction.
• Perturbations contrefactuelles :
  • Inversion de la volonté : Échange des valeurs de volonté élevée/faible entre les pays.
  • Discordance de nom : Attribution du nom d'un pays à un profil de données différent.
  • Inversion du PIB : Inversion des valeurs de PIB entre les pays.
• Tests de robustesse : Test à travers différents formats de prompts (listes à puces vs phrases) et généralisation à 24 écarts de perception de politiques climatiques alternatives aux États-Unis.

Résultats clés

Précision prédictive

• Meilleurs performeurs : Claude 3.5 Haiku et Llama 4 Maverick ont démontré la plus grande précision.
  • Claude : A atteint une erreur absolue moyenne (MAE) de 4,60 points de pourcentage (p.p.) et une corrélation ($r$) de 0,77 avec la vérité de terrain, performant de manière comparable aux modèles OLS (MAE 4,79) et Lasso (MAE 4,66).
  • Llama : A montré une performance similaire avec une MAE de 7,00 p.p. et $r = 0,67$.
• Moins bons performeurs : GPT-4o mini et Gemini 2.5 Flash ont présenté des erreurs significativement plus élevées (MAE > 13 p.p. et 14 p.p., respectivement) et des corrélations plus faibles. La performance de Gemini était particulièrement médiocre ($r = 0,15$), probablement en raison de filtres de sécurité ou de limitations spécifiques au modèle.
• Modèle global : Tous les modèles ont capturé la structure spatiale globale des écarts de perception, les sous-estimations étant les plus sévères en Amérique latine, en Afrique de l'Ouest et en Asie du Sud, et plus faibles en Europe occidentale.

Prédicteurs structurels de la précision

La précision de la prédiction n'était pas uniforme ; elle était fortement corrélée aux indicateurs structurels de disponibilité de l'information :

• Pénétration d'Internet et PIB : Les modèles ont performé de manière significative dans les pays ayant une pénétration d'Internet et un PIB par habitant plus élevés ($R^2$ compris entre 0,08 et 0,27).
• Biais : Cela suggère un biais de représentation dans les données d'entraînement, où les LLM sont plus fiables dans les nations riches en ressources et connectées numériquement, et moins précis dans les contextes plus pauvres ou moins connectés.

Insights mécanistes

• Projection sociale : Les meilleurs modèles (Claude, Llama) ont correctement identifié la volonté personnelle (croyance de premier ordre) comme le prédicteur le plus fort de la volonté perçue (croyance de second ordre), reflétant le processus psychologique humain de projection sociale.
• Raisonnement vs Mémorisation :
  • Ablation : Le retrait des données de volonté personnelle a augmenté les erreurs pour Claude et Llama d'environ 1,5 à 2,2 p.p., confirmant la dépendance à cette caractéristique.
  • Contrefactuels : L'échange des noms de pays ou des valeurs de PIB a eu des effets négligeables sur les meilleurs modèles, indiquant qu'ils s'appuient sur le raisonnement structurel des caractéristiques fournies plutôt que sur la récupération de statistiques spécifiques aux pays mémorisées.
  • Exposition aux données d'entraînement : Bien que certains modèles aient été entraînés après la publication des données de l'enquête, le fait que le schéma des erreurs (variant selon l'environnement d'information, et non uniforme) et l'échec du modèle le plus récemment entraîné (Gemini) à être le meilleur, plaident contre une pure mémorisation.

Signification et affirmations

L'article affirme que les LLM, en particulier Claude et Llama, fournissent un outil rapide et rentable pour évaluer les écarts de perception mondiaux concernant l'action climatique. La signification de ces résultats est formulée comme suit :

1. Évolutivité : Les LLM peuvent cartographier les écarts de perception dans 125 pays avec une précision comparable aux modèles statistiques traditionnels, offrant une alternative viable aux enquêtes à grande échelle, coûteuses et logistiquement difficiles.
2. Intervention ciblée : En identifiant les zones où les écarts de perception sont les plus importants (par exemple, des régions spécifiques en Afrique et en Asie), les LLM peuvent aider les gouvernements et les ONG à prioriser les efforts de correction des méperceptions là où ils sont les plus urgents et probablement les plus efficaces.
3. Rôle complémentaire : Les auteurs positionnent modestement les LLM non pas comme un remplacement total des enquêtes, mais comme un mécanisme complémentaire. Ils peuvent permettre un suivi rentable dans les environnements riches en informations et fournir des signaux provisoires dans les contextes à faibles ressources, guidant ainsi le déploiement des ressources de mesure directe.
4. Validité mécaniste : L'étude démontre que les LLM peuvent s'engager dans un raisonnement de second ordre complexe (« je pense que tu penses ») et capturer le mécanisme psychologique de la projection sociale avec un biais de sous-estimation systématique, à condition d'être conditionnés sur des données structurelles et attitudinales pertinentes.

Les auteurs concluent que, bien que des limites existent concernant la granularité sous-nationale et la performance dans les régions à faible connectivité, la cartographie des perceptions basée sur les LLM représente une avancée significative pour la science sociale computationnelle appliquée à la conception des politiques climatiques.