Greener Than Humans? Environmental Attitudes in Large Language Models

Résumé technique : Plus verts que les humains ? Attitudes environnementales dans les grands modèles de langage

Énoncé du problème
Les grands modèles de langage (LLM) sont de plus en plus déployés dans le cadre de l'aide à la décision, du reporting et de la communication publique liés au développement durable. Cependant, il existe un manque de preuves systématiques concernant les attitudes environnementales — spécifiquement la cognition, l'affect et les recommandations comportementales — ancrées dans ces modèles. Bien que les LLM soient présentés comme des outils pour faire progresser les Objectifs de Développement Durable (ODD), des inquiétudes persistent quant à leur potentiel à reproduire des biais, à halluciner des faits, à manifester des comportements de « perroquet stochastique » et à faire preuve de sycophantie (adapter ses réponses aux croyances de l'utilisateur plutôt qu'aux faits). L'opacité des données d'entraînement et des procédures d'alignement complique l'évaluation des jugements de valeur reflétés dans les sorties des modèles. Cette étude s'attaque à la lacune critique consistant à comprendre ce que les LLM « savent » des enjeux environnementaux, comment ils les évaluent et quelles actions ils recommandent implicitement ou explicitement.

Méthodologie
Les auteurs ont développé un benchmark structuré pour évaluer les attitudes environnementales à travers 31 LLM propriétaires et à poids ouverts largement utilisés (incluant des modèles provenant des États-Unis, de l'UE et de Chine). Le cadre s'appuie sur les instruments de l'enquête biennale « Sensibilisation à l'environnement en Allemagne » (UBS) de l'Agence fédérale allemande de l'environnement, qui évalue la population adulte allemande.

L'étude a opérationnalisé trois dimensions interdépendantes :

1. Cognition environnementale : 17 items mesurant les connaissances factuelles et l'évaluation des problèmes environnementaux (excluant les questions de culture générale pure).
2. Affect environnemental : 7 items mesurant l'implication émotionnelle et l'inquiétude concernant les conditions environnementales.
3. Recommandations comportementales : 17 items reformulés sous forme de recommandations (puisque les LLM ne réalisent pas d'actions physiques) et 7 questions quantitatives basées sur le calculateur de CO2 de l'Agence allemande de l'environnement pour estimer les réductions potentielles de l'empreinte CO2.
4. Consentement à payer (CAP) : 11 questions attribuant des valeurs monétaires à l'atténation des impacts environnementaux (CO2, azote, phosphore, conservation de l'eau) pour évaluer les arbitrages entre objectifs financiers et environnementaux.

Conception expérimentale et robustesse :

• Base de référence : Les modèles ont été interrogés via des API ou des instances auto-hébergées avec une température de 0 pour minimiser la variation stochastique. Aucun ingénierie de prompt n'a été appliquée afin de préserver la comparabilité avec les données d'enquête humaines.
• Sensibilité contextuelle : L'étude a testé la robustesse par le biais du prompting basé sur des personas (assignation de rôles tels que « CFO » ou « défenseur d'ONG ») et du test de sycophantie (l'utilisateur spécifiant sa propre identité, ex : « Je suis un... »).
• Métriques : Les auteurs ont calculé les distances euclidiennes dans un espace bidimensionnel Affect-Cognition pour quantifier la pilotabilité et la sycophantie. Ils ont également construit des indices normalisés (échelle 0–10) pour la comparaison avec les données de l'enquête de population UBS de 2024.
• Exclusions : Cinq modèles ont été exclus pour échec aux tests factuels, et trois ont été exclus pour des incohérences dépendantes de l'ordre.

Résultats clés

1. Base de référence « plus verte » : 19 des 31 modèles ont présenté des niveaux d'affect et de cognition environnementaux supérieurs à la moyenne des répondants allemands. La plupart des modèles s'alignent sur les clusters d'attitudes « engagés », « individuellement durables » et « ambivalents », montrant une forte préférence pour les vues environnementales progressistes par rapport aux clusters d'« opposition populiste » ou « néolibérale ».
2. Impact comportemental : Les modèles ont recommandé des comportements permettant de réduire les émissions de CO2 individuelles d'environ 4 à 5 tonnes de CO2e par an (pour les meilleurs performeurs), bien que cela varie selon le point de départ de l'utilisateur. Les modèles Grok se sont classés dans le tiers inférieur pour les réductions de CO2 recommandées.
3. Absence de corrélation systématique avec les métadonnées : Aucune relation systématique n'a été trouvée entre les réponses orientées vers la durabilité et l'origine du modèle (pays), sa taille (Small à XL) ou son contexte de sortie. Cela suggère que l'alignement post-entraînement et le réglage des instructions jouent un rôle plus dominant que l'architecture de base ou l'origine.
4. Pilotabilité et sycophantie : Les modèles ont démontré une sensibilité contextuelle significative. L'attribution de rôles spécifiques (ex : « libéral économique ») a modifié les scores d'affect et de cognition. Les modèles ont montré des dérives sycophantiques, reflétant les positions idéologiques spécifiées par l'utilisateur. Grok 4.1 a montré la plus grande sensibilité au prompting de persona, tandis que GPT 5.2 était le moins sensible.
5. Consentement à payer : Les modèles ont eu tendance à attribuer des coûts économiques plus élevés que la valorisation « devrait coûter », bien que la plupart des estimations soient inférieures aux coûts de dommages climatiques calculés par l'Agence fédérale allemande de l'environnement (300 euros/tonne). Le CAP présentait une faible corrélation avec les autres catégories d'attitude.

Contributions clés

• Cadre d'évaluation : L'article introduit un benchmark réutilisable et un pipeline de test pour évaluer l'alignement des valeurs liées à la durabilité dans les LLM, en adaptant des instruments d'enquête de sciences sociales pour l'évaluation de l'IA.
• Évaluation empirique : Il fournit la première évaluation empirique systématique et à grande échelle de la cognition, de l'affect et des recommandations comportementales environnementales à travers un ensemble diversifié de 31 LLM.
• Implications de gouvernance : L'étude déduit des implications pour les décideurs, les développeurs et les utilisateurs, soulignant la nécessité d'une gouvernance, d'une transparence et d'une surveillance critique à mesure que les systèmes d'IA s'intègrent dans les transformations de la durabilité.

Signification et affirmations
Les auteurs concluent que bien que les LLM s'alignent actuellement plus étroitement sur les attitudes environnementales progressistes que le répondant humain moyen, cette « verdure » ne garantit pas la fiabilité ou la capacité transformative. L'étude souligne que :

• Manipulabilité : Les sorties des modèles sont susceptibles de manipulation via le prompting de persona et le contexte de l'utilisateur, ceant des inquiétudes quant à la fiabilité normative dans les déploiements réels.
• Limites de la « verdure de papier » : Les LLM peuvent paraître respectueux de l'environnement dans le texte mais manquent de la capacité de mettre en œuvre des stratégies transformatrices ou de prendre en compte les barrières structurelles (ex : décisions institutionnelles) que les actions individuelles ne peuvent surmonter. Ils peuvent également déplacer par inadvertance la responsabilité sur les individus plutôt que sur les acteurs corporatifs.
• Lacunes de données : Les LLM encodent des informations incomplètes, manquant souvent de connaissances autochtones ou de données non numérisées, et reposent sur des données d'entraînement statiques qui peuvent ne pas refléter le consensus scientifique actuel ou les scénarios futurs.

L'article affirme que les LLM sont des outils utiles pour les questions factuelles de durabilité mais nécessitent une évaluation critique de leurs recommandations. Il appelle à une meilleure curation des données (incluant des perspectives diverses), à une conception sensible aux valeurs lors du développement, et à l'intégration des risques environnementaux dans les réglementations numériques (ex : l'IA Act de l'UE). Les auteurs mettent en garde contre le fait que, sans une surveillance critique, les tendances de « volonté de plaire » et de sycophantie des LLM pourraient compromettre l'évaluation objective des défis de la durabilité.