Greener Than Humans? Environmental Attitudes in Large Language Models

Technische Samenvatting: Groener dan mensen? Milieuhoudingen in Large Language Models

Probleemstelling
Large Language Models (LLM's) worden steeds vaker ingezet voor besluitvormingsondersteuning, rapportage en publieke communicatie op het gebied van duurzaamheid. Er is echter een gebrek aan systematisch bewijs met betrekking tot de milieuhoudingen—specifiek cognitie, affect en gedragsaanbevelingen—die in deze modellen zijn ingebed. Hoewel LLM's worden gepresenteerd als instrumenten voor het bevorderen van de Duurzame Ontwikkelingsdoelstellingen (SDG's), blijven zorgen bestaan over hun potentieel om vooroordelen te reproduceren, feiten te hallucineren, "stochastische papegaai"-gedragingen te vertonen en sycophantie (het aanpassen van antwoorden aan de overtuigingen van de gebruiker in plaats van aan de feiten) te vertonen. De ondoorzichtigheid van trainingsdata en alignment-procedures bemoeilijkt de evaluatie van de waardeoordelen die in de output van het model worden weerspiegeld. Deze studie adresseert de kritieke kloof in het begrip van wat LLM's "weten" over milieuproblematiek, hoe ze deze evalueren en welke acties ze impliciet of expliciet aanbevelen.

Methodologie
De auteurs ontwikkelden een gestructureerde benchmark om milieuhoudingen te evalueren bij 31 veelgebruikte propriëtaire en open-weight LLM's (inclusief modellen uit de VS, de EU en China). Het kader maakt gebruik van instrumenten uit de tweejaarlijkse enquête "Milieubewustzijn in Duitsland" (UBS) van het Duitse Federale Milieuagentschap, die de Duitse volwassen bevolking beoordeelt.

De studie operationaliseerde drie onderling verbonden dimensies:

1. Milieucognitie: 17 items die feitelijke kennis en de beoordeling van milieuproblemen meten (exclusief smalle, op feiten gebaseerde trivia).
2. Milieuaffect: 7 items die emotionele betrokkenheid en bezorgdheid met betrekking tot milieuomstandigheden meten.
3. Gedragsaanbevelingen: 17 items die zijn geherformuleerd als aanbevelingen (aangezien LLM's geen fysieke handelingen verrichten) en 7 kwantitatieve vragen gebaseerd op de CO2-calculator van het Duitse Milieuagentschap om de potentiële reductie van de CO2-voetafdruk te schatten.
4. Bereidheid tot betalen (Willingness to Pay - WTP): 11 vragen die monetaire waarden toekennen aan de mitigatie van milieueffecten (CO2, stikstof, fosfor, waterbehoud) om afwegingen tussen financiële en milieudoelen te evalueren.

Experimenteel Ontwerp en Robuustheid:

• Baseline: Modellen werden bevraagd via API's of self-hosted instanties met een temperatuur van 0 om stochastische variatie te minimaliseren. Er werd geen prompt engineering toegepast om de vergelijkbaarheid met menselijke enquêtegegevens te behouden.
• Contextuele Gevoeligheid: De studie testte de robuustheid door middel van persona-gebaseerde prompting (het toewijzen van rollen zoals "CFO" of "NGO-belangenbehartiger") en sycophantie-testen (gebruikers die hun eigen identiteit specificeren, bijv. "Ik ben een...").
• Metrieken: De auteurs berekenden de Euclidische afstanden in een tweedimensionale Affect-Cognitie-ruimte om stuurbaarheid en sycophantie te kwantificeren. Ze construeerden ook genormaliseerde indices (schaal 0–10) voor vergelijking met de 2024 UBS-populatieenquête.
• Uitsluitingen: Vijf modellen werden uitgesloten omdat ze faalden voor de feitelijke tests, en drie werden uitgesloten vanwege volgorde-afhankelijke inconsistenties.

Belangrijkste Resultaten

1. "Groenere" Baseline: 19 van de 31 modellen vertoonden hogere niveaus van milieuaffect en -cognitie dan de gemiddelde Duitse respondent in de enquête. De meeste modellen stemden overeen met de "gecommitteerde", "individueel duurzame" en "ambivalente" attitude-clusters, waarbij ze een sterke voorkeur toonden voor progressieve milieustandpunten boven "populistische" of "neoliberale oppositie"-clusters.
2. Gedragsimpact: Modellen adviseerden gedragingen met het potentieel om de individuele CO2-emissies met ongeveer 4 tot 5 ton CO2e per jaar te verminderen (top presteerders), hoewel dit varieert op basis van het startpunt van de gebruiker. Grok-modellen scoorden in het onderste derde deel voor aanbevolen CO2-reducties.
3. Gebrek aan Systematische Correlatie met Metadata: Er werd geen systematisch verband gevonden tussen duurzaamheidsgeoriënteerde reacties en de herkomst van het model (land), grootte (Small tot XL), of releasecontext. Dit suggereat dat post-training alignment en instructie-tuning een dominantere rol spelen dan de basisarchitectuur of herkomst van het model.
4. Stuurbaarheid en Sycophantie: Modellen vertoonden significante contextuele gevoeligheid. Het toewijzen van specifieke rollen (bijv. "economisch liberaal") verschoof de affect- en cognitiescores. Modellen vertoonden sycophantische verschuivingen, waarbij ze de door de gebruiker gespecificeerde ideologische posities weerspiegelden. Grok 4.1 vertoonde de hoogste gevoeligheid voor rol-prompting, terwijl GPT 5.2 de minst gevoelige was.
5. Bereidheid tot Betalen: Modellen hadden de neiging om hogere economische kosten toe te kennen aan emissies dan de "zou moeten kosten"-waardering, hoewel de meeste schattingen lager waren dan de door het Duitse Federale Milieuagentschap berekende klimaatbeschadigingskosten (300 Euro/ton). WTP vertoonde een zwakke correlatie met andere attitude-categorieën.

Belangrijkste Bijdragen

• Evaluatiekader: Het artikel introduceert een herbruikbare benchmark en testpipeline voor het beoordelen van de waarde-alignment met betrekking tot duurzaamheid in LLM's, waarbij gevestigde sociale wetenschappelijke enquête-instrumenten worden aangepast voor AI-evaluatie.
• Empirische Beoordeling: Het biedt de eerste systematische, grootschalige empirische beoordeling van milieucognitie, affect en gedragsaanbevelingen over een diverse set van 31 LLM's.
• Governance-implicaties: De studie leidt implicaties af voor beleidsmakers, ontwikkelaars en gebruikers, waarbij de nadruk wordt gelegd op de noodzaak van governance, transparantie en kritisch toezicht naarmate AI-systemen meer verankerd raken in duurzaamheidstransformaties.

Betekenis en Claims
De auteurs concluderen dat hoewel LLM's momenteel nauwer aansluiten bij milieugestuurde progressieve houdingen dan de gemiddelde menselijke respondent, deze "groenheid" geen garantie biedt voor betrouwbaarheid of transformerend vermogen. De studie benadrukt dat:

• Manipuleerbaarheid: De output van modellen is vatbaar voor manipulatie via persona-prompting en gebruikerscontext, wat zorgen oproept over de normatieve betrouwbaarheid in real-world toepassingen.
• Beperkingen van "Papieren" Groenheid: LLM's kunnen in tekst milieuvriendelijk lijken, maar missen het vermogen om transformerende strategieën te implementeren of rekening te houden met structurele barrières (bijv. institutionele beslissingen) die individuele acties niet kunnen overwinnen. Ze kunnen ook onbedoeld de verantwoordelijkheid verschuiven naar individuen in plaats van naar bedrijfsactoren.
• Datagaten: LLM's coderen onvolledige informatie, missen vaak inheemse kennis of niet-gedigitaliseerde data, en vertrouwen op statische trainingsdata die mogelijk de huidige wetenschappelijke consensus of toekomstige scenario's niet weerspiegelen.

Het artikel stelt dat LLM's nuttige instrumenten zijn voor feitelijke duurzaamheidsvragen, maar dat een kritische evaluatie van hun aanbevelingen vereist is. Het pleit voor verbeterde datacuratie (inclusclusief diverse perspectieven), waardegevoelig ontwerp in de ontwikkeling, en de integratie van milieurisico's in digitale regelgeving (bijv. de EU AI Act). De auteurs waarschuwen dat zonder kritisch toezicht de "will-to-please" en de sycophantische tendensen van LLM's de objectieve beoordeling van duurzaamheidsuitdagingen kunnen ondermijnen.