Draining the Energy Commons: Self-Defeating Over-Appropriation as a Coordination Failure in Agentic LLM Collectives

Resumo Técnico: Drenando o Comum de Energia

Definição do Problema
O artigo investiga uma forma específica de falha de alinhamento em nível de sistema em coletivos de LLMs (Modelos de Linguagem de Grande Escala) agentes. Embora LLMs individuais possam seguir com sucesso instruções locais para maximizar sua própria continuidade operacional, uma população de tais agentes interagindo em um ambiente compartilhado pode produzir um resultado coletivo prejudicial. Os autores focam em recursos comuns dinâmicos (CPRs), especificamente um bem comum de energia renovável, onde os agentes atuam como produtores e consumidores de eletricidade. O problema central é a sobre-apropriação autodestrutiva: agentes extraem independentemente de uma reserva de energia compartilhada para satisfazer a demanda imediata. Quando as retiradas agregadas excedem a taxa de regeneração do recurso, a reserva se esgota, reduzindo a continuidade operacional para a mesma população em rodadas futuras. Isso constitui uma falha de coordenação onde ações individualmente racionais (proteger o serviço atual) levam a uma trajetória coletivamente subótima (comprometer o serviço futuro).

Metodologia
O estudo emprega uma simulação controlada de um jogo de recurso comum dinâmico envolvendo quatro agentes de LLM atuando em auto-jogo homogêneo.

• Configuração Experimental: Quatro agentes (prosumidores) operam ao longo de 24 rodadas. Cada rodada consiste em uma fase diurna (reposição renovável e contribuições voluntárias) e uma fase noturna (atendimento à demanda). Os agentes podem armazenar energia privadamente, contribuir para uma reserva compartilhada, restringir a demanda flexível ou solicitar energia da reserva compartilhada.
• Objetivo: Os agentes são instruídos apenas a maximizar sua própria continuidade operacional (minimizando a energia de contingência e a restrição de demanda). Eles não recebem instrução explícita para preservar o recurso compartilhado, nem possuem canais de comunicação ou mecanismos de governança.
• Famílias de Modelos: O estudo avalia três famílias distintas de modelos: GPT-5.4-mini, Gemini-3.1-flash-lite e Grok-4.3.
• Calibração de Escassez: O experimento varia a taxa de regeneração da reserva compartilhada enquanto mantém a demanda agregada residual e o protocolo de decisão constantes. Isso cria quatro condições baseadas na razão demanda-rendimento ($\rho$):
  • Abundância ($\rho = 0,8$): A reposição renovável de pico excede a demanda.
  • Igualdade de Limiar ($\rho = 1,0$): A demanda iguala a reposição de pico.
  • Escassez ($\rho = 1,1, 1,2$): A demanda excede a reposição de pico.
• Benchmarks: Para avaliar as trajetórias dos LLMs, os autores computam dois benchmarks offline usando a mesma dinâmica de recursos:
  1. Planejador Social: Maximiza o valor de serviço operacional agrupado descontado ($\gamma = 0,95$).
  2. Acesso Aberto: Maximiza o valor de serviço operacional individual (não cooperativo), variando o fator de desconto ($\gamma$) para testar a sensibilidade às consequências futuras.
• Métricas: A métrica primária é o Gap da Reserva, medindo a defasagem proporcional média abaixo do nível de Rendimento Máximo Sustentável (MSY). As métricas secundárias são os encargos físicos: energia de contingência, estresse de descarga profunda e perda de capacidade.

Principais Contribuições

1. Identificação de Falha de Alinhamento em Nível de Sistema: O artigo demonstra que falhas de alinhamento podem emergir no nível populacional mesmo quando os agentes individuais parecem seguir suas instruções locais corretamente. A falha não está em uma única resposta, mas na trajetória pública gerada por interações repetidas.
2. Sobre-apropriação Dependente de Limiar: O estudo estabelece um limiar comportamental claro. Os agentes preservam a reserva quando a demanda não excede a reposição renovável de pico ($\rho \le 1,0$). No entanto, uma vez que a demanda excede este limiar ($\rho > 1,0$), todas as famílias de modelos consistentemente sobre-apropriam o recurso, levando a reserva abaixo dos níveis sustentáveis.
3. Descompasso do Horizonte Operacional: As trajetórias de depleção realizadas assemelham-se aos resultados calculados quando o benchmark de acesso aberto atribui significativamente menos peso ao serviço futuro (menor $\gamma$) em comparação com a configuração canônica. Isso sugere que as populações se comportam como otimizadores impacientes, priorizando a continuidade imediata em detrimento da viabilidade a longo prazo, apesar de uma trajetória de sustentação ser viável sob as mesmas dinâmicas.
4. Estrutura de Avaliação: Os autores propõem uma metodologia para avaliar sistemas multiagentes que vai além de verificações de resposta isolada para analisar a evolução de estados compartilhados, comparando trajetórias realizadas contra benchmarks de planejador social e não cooperativos viáveis.

Resultados

• Depleção da Reserva: Em condições de escassez ($\rho = 1,1$ e $1,2$), todas as três famílias de modelos produziram déficits significativos na reserva. Os gaps médios da reserva variaram de 0,132 a 0,576, com o déficit aparecendo entre as rodadas 5 e 7 no nível mais alto de escassez.
• Significância Estatística: O contraste entre as condições de abundância/limiar e as condições de escassez é estatisticamente robusto. Todos os nove contrastes exatos de escassez sobreviveram à correção de Holm, com o maior p-valor ajustado sendo $4,87 \times 10^{-5}$.
• Consequências Físicas: A depleção levou a um aumento acentuado nos encargos físicos. Em $\rho = 1,2$, a energia de contingência e o estresse de descarga profunda aumentaram significativamente em relação ao controle de limiar, com a maioria desses custos ocorrendo na segunda metade da simulação (rodadas 13–24).
• Comparação com Benchmarks:
  • O Planejador Social sustentou a reserva (gap zero) em todas as condições em $\gamma = 0,95$, provando que a depleção era evitável.
  • O Acesso Aberto sustentou a reserva em $\gamma = 0,95$, mas a esgotou com pesos menores (ex: $\gamma = 0,90$).
  • As trajetórias realizadas dos LLMs aproximaram-se dos resultados de acesso aberto calculados com pesos de continuação menores (ex: $\gamma \approx 0,90$ a $0,92$), indicando que os agentes efetivamente descontaram o serviço futuro de forma mais pesada do que o benchmark sustentável.
• Robustez: A falha persistiu mesmo quando as taxas de regeneração foram aumentadas (condição de renovação rápida) para manter $\rho = 1,2$, confirmando que o problema é impulsionado pela razão demanda-rendimento e não apenas pela recuperação lenta. O aumento do esforço de raciocínio (condição de alto esforço) moderou a depleção para o Gemini, mas não a eliminou para o GPT ou Grok.

Significância e Alegações
O artigo alega identificar um contraparte multiagente composicional para o problema da otimização míope. Embora o comportamento míope seja frequentemente proposto como uma salvaguarda contra o reward hacking de longo horizonte em agentes únicos, este estudo mostra que uma população de agentes que buscam continuidade local pode gerar um dano público de longo horizonte através de interações repetidas com um estado compartilhado persistente.

A significância reside em demonstrar que a avaliação de resposta isolada é insuficiente para sistemas multiagentes. Um modelo pode parecer alinhado em um único turno, mas a trajetória coletiva pode levar ao colapso do sistema. Os autores argumentam que as avaliações devem tratar a evolução do estado compartilhado como um objeto de segurança primário, utilizando análise de trajetória e comparações de benchmark para detectar falhas de coordenação evitáveis que são invisíveis nas respostas individuais dos agentes. Este risco estende-se além das redes de energia para qualquer sistema onde agentes alocam recursos compartilhados persistentes, como pools de computação ou reservas de emergência.