Draining the Energy Commons: Self-Defeating Over-Appropriation as a Coordination Failure in Agentic LLM Collectives

Technische Samenvatting: Het leegzuigen van de Energie-Commons

Probleemstelling
Het paper onderzoekt een specifieke vorm van systeemniveau-alignementfalen in agentische Large Language Model (LLM) collectieven. Hoewel individuele LLM's er succesvol in kunnen zijn om lokale instructies te volgen om hun eigen operationele continuïteit te maximaliseren, kan een populatie van dergelijke agenten die interageren binnen een gedeelde omgeving een schadelijk collectief resultaat produceren. De auteurs richten zich op dynamische common-pool resources (CPRs), specifiek een hernieuwbare energie-commons, waarbij agenten handelen als elektriciteitsprosumers. Het kernprobleem is zelfvernietigende over-appropriatie: agenten onttrekken onafhankelijk energie aan een gedeelde reserve om directe vraag te bevredigen. Wanneer de geaggregeerde onttrekkingen de regeneratiesnelheid van de hulpbron overstijgen, raakt de reserve uitgeput, wat de operationele continuïteit voor dezelfde populatie in toekomstige rondes vermindert. Dit vormt een coördinatiefalen waarbij individueel rationele acties (het beschermen van de huidige dienstverlening) leiden tot een collectief suboptimaal traject (het ondermijnen van toekomstige dienstverlening).

Methodologie
De studie maakt gebruik van een gecontroleerde simulatie van een dynamisch common-pool resource spel waarbij vier LLM-agenten handelen in homogene self-play.

• Experimentele setting: Vier agenten (prosumers) opereren over 24 rondes. Elke ronde bestaat uit een dagfase (vernieuwing van hernieuwbare energie en vrijwillige bijdragen) en een nachtfase (behoeftebevrediging). Agenten kunnen energie privé opslaan, bijdragen aan een gedeelde reserve, flexibele vraag beperken of energie opvragen uit de gedeelde reserve.
• Doel: Agenten krijgen de instructie om uitsluitend hun eigen operationele continuïteit te maximaliseren (het minimaliseren van fallback-energie en beperking). Zij ontvangen geen expliciete instructie om de gedeelde hulpbron te behouden, noch beschikken zij over communicatiekanalen of governance-mechanismen.
• Modelfamilies: De studie evalueert drie verschillende modelfamilies: GPT-5.4-mini, Gemini-3.1-flash-lite en Grok-4.3.
• Schaarste-kalibratie: Het experiment varieert de regeneratiesnelheid van de gedeelde reserve terwijl de geaggregeerde residuele vraag en het besluitvormingsprotocol constant blijven. Dit creëert vier condities gebaseerd op de vraag-naar-opbrengst ratio ($\rho$):
  • Overvloed ($\rho = 0.8$): De piek van de hernieuwbare vervanging overstijgt de vraag.
  • Drempelgelijkheid ($\rho = 1.0$): De vraag komt overeen met de piekvervanging.
  • Schaarste ($\rho = 1.1, 1.2$): De vraag overstijgt de piekvervanging.
• Benchmarks: Om de LLM-trajecten te evalueren, berekenen de auteurs twee offline benchmarks met dezelfde hulpbron-dynamiek:
  1. Social Planner: Maximaliseert de groepswijde gedisconteerde operationele-service waarde ($\gamma = 0.95$).
  2. Open Access: Maximaliseert de individuele operationele-service waarde (niet-coöperatief), waarbij de discontiefactor ($\gamma$) wordt gevarieerd om gevoeligheid voor toekomstige gevolgen te testen.
• Metrieken: De primaire metriek is de Reserve Gap, die de tijdgemiddelde proportionele tekortkoming onder het niveau van de Maximum Sustainable Yield (MSY) meet. Secundaire metrieken zijn fysieke belastingen: fallback-energie, diepe ontlaadstress en capaciteitsverlies.

Belangrijkste Bijdragen

1. Identificatie van Systeemniveau-alignementfalen: Het paper toont aan dat alignementfailures kunnen ontstaan op populatieniveau, zelfs wanneer individuele agenten schijnbaar correct hun lokale instructies volgen. De fout zit niet in een enkele respons, maar in het publieke traject dat gegenereerd wordt door herhaalde interacties.
2. Drempelafhankelijke Over-appropriatie: De studie stelt een duidelijke gedragsdrempel vast. Agenten behouden de reserve wanneer de vraag de piek van de hernieuwbare vervanging niet overschrijdt ($\rho \le 1.0$). Echter, zodra de vraag deze drempel overschrijdt ($\rho > 1.0$), over-approprieren alle modelfamilies consistent de hulpbron, waardoor de reserve onder duurzame niveaus daalt.
3. Mismatch in Operationele Horizon: De gerealiseerde uitputtings-trajecten lijken op de uitkomsten die worden berekend wanneer de open-access benchmark aanzienlijk minder gewicht toekent aan toekomstige service (lagere $\gamma$) vergeleken met de canonieke setting. Dit suggereert dat de populaties zich gedragen als ongeduldige optimizers, die prioriteit geven aan onmiddellijke continuïteit ten koste van de lange termijn levensvatbaarheid, ondanks het feit dat een duurzaam traject haalbaar is onder dezelfde dynamiek.
4. Evaluatiekader: De auteurs stellen een methodologie voor om multi-agent systemen te evalueren die verder gaat dan geïsoleerde-respons controles door de evolutie van gedeelde staten te analyseren en de gerealiseerde trajecten te vergelijken met haalbare social-planner en niet-coöperatieve benchmarks.

Resultaten

• Reserve Uitputting: In schaarste-condities ($\rho = 1.1$ en $1.2$) vertoonden alle drie de modelfamilies significante reserve-tekorten. De gemiddelde reserve gaps varieerden van 0.132 tot 0.576, waarbij het tekort verscheen tussen ronde 5 en 7 bij het hoogste schaarsteniveau.
• Statistische Significantie: Het contrast tussen abundantie/drempel-condities en schaarste-condities is statistisch robuust. Alle negen exacte schaarste-contrasten overleefden de Holm-correctie, waarbij de grootste aangepaste $p$-waarde $4.87 \times 10^{-5}$ was.
• Fysieke Gevolgen: Uitputting leidde tot een scherpe toename van fysieke belastingen. Bij $\rho = 1.2$ namen fallback-energie en diepe ontlaadstress significant toe vergeleken met de drempel-controle, waarbij het merendeel van deze kosten werd gemaakt in de tweede helft van de simulatie (rondes 13–24).
• Benchmark Vergelijking:
  • De Social Planner benchmark behield de reserve (nul gap) in alle condities bij $\gamma = 0.95$, wat bewees dat uitputting vermijdbaar was.
  • De Open Access benchmark behield de reserve bij $\gamma = 0.95$, maar putte deze uit bij lagere gewichten (bijv. $\gamma = 0.90$).
  • De gerealiseerde LLM-trajecten kwamen nauw overeen met de open-access uitkomsten berekend met lagere continuatie-gewichten (bijv. $\gamma \approx 0.90$ tot $0.92$), wat aangeeft dat de agenten toekomstige service effectiever hebben gediskonteerd dan de duurzame benchmark.
• Robuustheid: Het falen bleef bestaan zelfs wanneer de regeneratiesnelheden werden verhoogd (fast-renewal conditie) om $\rho = 1.2$ te handhaven, wat bevestigt dat het probleem wordt gedreven door de vraag-naar-opbrengst ratio in plaats van enkel door een trage herstelcapaciteit. Verhoogde redeneerinspanning (high-effort conditie) temperde de uitputting voor Gemini, maar elimineerde het niet voor GPT of Grok.

Significantie en Claims
Het paper claimt een compositioneel multi-agent tegenhanger te hebben geïdentificeerd van het probleem van myope optimalisatie. Hoewel myope het gedrag vaak wordt voorgesteld als een waarborg tegen long-horizon reward hacking bij een enkele agent, laat deze studie zien dat een populatie van lokaal continuïteit-zoekende agenten een long-horizon publieke schade kan genereren door herhaalde interacties met een persistente gedeelde staat.

De significantie ligt in het aantonen dat geïsoleerde-respons evaluatie onvoldoende is voor multi-agent systemen. Een model kan in een enkele beurt gealigneerd lijken, terwijl het collectieve traject toch tot systeeminstorting kan leiden. De auteurs betogen dat evaluaties de evolutie van de gedeelde staat als een primair veiligheidsobject moeten behandelen, door middel van traject-niveau analyse en benchmark-vergelijkingen om vermijdbare coördinatiefalen te detecteren die onzichtbaar zijn in individuele agent-responsen. Dit risico strekt zich uit voorbij energienetten naar elk systeem waar agenten persistente gedeelde hulpbronnen alloceren, zoals compute-pools of noodvoorraden.