LLM-Mediated Demand Response Coordination in Smart Microgrids

Resumen Técnico: Coordinación de la Respuesta a la Demanda Mediada por LLM en Microrredes Inteligentes

Planteamiento del Problema
El artículo aborda el desafío de coordinar la respuesta a la demanda voluntaria en microrredes inteligentes, donde los "prosumidores" (agentes que tanto producen como consumen energía) deben decidir si reducir su demanda durante las cargas pico. Este escenario se modela como un Dilema del Prisionero repetido en una red social: el bienestar colectivo se maximiza mediante la cooperación universal, pero los incentivos individuales favorecen la deserción (el comportamiento de polizón o free-riding). Aunque los Modelos de Lenguaje de Gran Escala (LLM) ofrecen potencial para generar directivas de coordinación interpretables y adaptativas, existe un fallo metodológico crítico: los LLM alineados mediante el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) exhiben un fuerte sesgo prosocial. Cuando se utilizan como decisores directos, producen una cooperación casi universal independientemente de las condiciones de la red o las estructuras de incentivos, lo que colapsa la dinámica experimental y oscurece los efectos de las diferentes estrategias de coordinación.

Metodología
Para resolver el sesgo del RLHF mientras se aprovechan las capacidades de los LLM, los autores proponen una arquitectura de decisión híbrida dentro de una simulación multiagente de una microrred inteligente ($N=30$ agentes en una red de escala libre).

1. Arquitectura de Decisión Híbrida: El modelo desacopla el razonamiento estratégico de la evaluación narrativa.

   • Etapa 1 (Base Teórica de Juegos): Se calcula la probabilidad de cooperación base de un agente ($p_{base}$) utilizando principios de la teoría de juegos evolutiva. Esta agrega el historial de beneficios (payoffs), la memoria de explotación (rondas pasadas donde el agente cooperó mientras sus vecinos desertaron), la imitación de vecinos (conformismo) y un término de decaimiento de la tentación temporal. Esto asegura una tasa de cooperación base cercana al 50%, creando una tensión estratégica genuina.
   • Etapa 2 (Evaluación Narrativa por LLM): En lugar de pedir al LLM que tome una decisión binaria, el sistema solicita al LLM que actúe como un "Compilador de Influencia" que evalúa las directivas entrantes. El LLM genera un desplazamiento escalar ($\delta_{LLM} \in [-0.30, +0.30]$) que representa cuánto cambia la disposición del agente a reducir la demanda basándose en la narrativa de la directiva, la personalidad del agente y su historial.
   • Etapa 3 (Atenuación de la Resistencia): La probabilidad de cooperación final es una suma recortada de la probabilidad base y el desplazamiento del LLM, atenuada por un factor de resistencia ($r$) específico del agente. Esto evita que el LLM anule por completo la base estratégica.

2. Arquetipos de Agentes: La simulación incluye seis arquetipos de prosumidores heterogéneos (Pragmático, Idealista, Escéptico, Conformista, Estratega, Oportunista), cada uno con sesgos base y niveles de resistencia distintos.

3. Compilador de Influencia: Un compilador central observa un estado de la red con ruido y emite directivas estructuradas (objetivo, intensidad, tiempo, tema) a cada 20% de los agentes cada cinco pasos temporales. El compilador utiliza un flujo de trabajo Solver–Critic para generar políticas estructuradas, contrastando con una línea base no estructurada que utiliza generación narrativa de forma libre.

4. Estrategias de Segmentación (Targeting): El estudio evalúa la diseminación a través de nodos centrales (hubs), puentes (bridges), nodos periféricos y selección aleatoria.

Contribuciones Clave

• Innovación Metodológica: El artículo introduce una arquitectura híbrida que separa el razonamiento basado en la teoría de juegos de la evaluación narrativa por LLM. Esto evita el "colapso de la cooperación" causado por el sesgo del RLHF, permitiendo la medición de efectos de tratamiento genuinos en experimentos de coordinación.
• Influencia Estructurada vs. No Estructurada: Demuestra que la compilación de políticas estructuradas supera significativamente a la generación de narrativas sin restricciones para impulsar la reducción de la demanda.
• Efectos de la Topología de Red: El estudio confirma que la segmentación de nodos con alta centralidad (hubs y puentes) proporciona una amplificación mecánica de las señales de coordinación, independientemente del contenido del mensaje.
• Análisis de Robustez: El marco se prueba en diversos niveles de resistencia de los agentes y entre sustratos de agentes "anclados" (híbridos) e "idealizados" (logísticos).

Resultos Experimentales

• Tasas de Cooperación: Las directivas estructuradas compiladas lograron una tasa de cooperación final del 33.3%, comparado con el 27.0% de la mensajería no estructurada y el 28.0% de una línea base sin intervención. Esto arroja una ventaja de compilación ($\Delta_{comp}$) de +0.063. Notablemente, la mensajería no estructurada funcionó ligeramente peor que la línea base sin intervención, lo que sugiere un "efecto de retroceso" (backfire effect).
• Robustez del Sustrato: La ventaja de la compilación estructurada persistió tanto en los modelos de agentes anclados (híbridos) como en los idealizados. Aunque los agentes idealizados alcanzaron una cooperación absoluta mayor (0.850 frente a 0.333), el orden relativo (Compilado > No Estructurado > Sin Influencia) se mantuvo constante.
• Barrido de Resistencia: La ventaja de la compilación se mantuvo estrictamente positiva en todos los niveles de resistencia probados ($R \in [0.1, 0.7]$), variando de +0.057 a +0.070. La ventaja no desapareció incluso con alta resistencia, lo que indica una degradación gradual en lugar de un colapso de umbral.
• Segmentación (Targeting): La diseminación dirigida a los hubs superó a la segmentación aleatoria y periférica. La estrategia periférica solo mostró agrupamientos locales temporales que no lograron propagarse a través de la red.
• Heterogeneidad de Agentes: La arquitectura híbrida preservó con éxito la diferenciación de personalidades. Los Idealistas mostraron las tasas de persuasión más altas (~85–100%), mientras que los agentes de alta resistencia (Escépticos, Oportunistas) mostraron tasas inferiores al 5%. Esto contrasta con los modelos de LLM puro donde todos los agentes convergerían hacia una alta cooperación.

Significancia y Reivindicaciones
El artículo sostiene que la compilación estructurada por LLM, el razonamiento de agentes anclados y la segmentación consciente de la red son principios de diseño complementarios para la coordinación escalable de la respuesta a la demanda. La principal significancia radica en resolver el desafío metodológico de utilizar LLM alineados con RLHF en la investigación de la cooperación; al aislar el rol del LLM a la evaluación narrativa en lugar de la toma de decisiones, el modelo genera comportamientos de prosumidor realistas que reflejan el interés estratégico propio.

Los autores concluyen que para los sistemas de energía de ciudades inteligentes de próxima generación:

1. Los sistemas de comunicación deben emplear esquemas de directivas estructuradas en lugar de mensajes genéricos.
2. Las estrategias de diseminación deben priorizar los centros (hubs) y puentes (bridges) de la red.
3. Las restricciones de gobernanza constitucional pueden aplicarse para filtrar directivas manipuladoras con un costo mínimo para la cooperación.

El artículo mantiene la modestia respecto a su alcance, reconociendo limitaciones como el pequeño tamaño de la población ($N=30$), la realización de una única red y el uso de agentes LLM como proxies de humanos. Identifica la validación con sujetos humanos en comunidades energéticas reales y el escalado a topologías más grandes y heterogéneas como el trabajo futuro necesario.