Crafting Desirable Climate Trajectories with RL Explored Socio-Environmental Simulations

Resumen Técnico: Elaboración de Trayectorias Climáticas Deseables con RL

Enunciado del Problema
La derivación de políticas de cambio climático es un problema complejo de toma de decisiones que involucra entidades en conflicto, evidencia incierta y vastos espacios de soluciones. Si bien los Modelos de Evaluación Integrada (IAM) son el marco estándar para simular dinámicas socioambientales y guiar políticas (por ejemplo, para informes del IPCC), los IAM tradicionales dependen de solucionadores de ecuaciones recursivas o problemas de control óptimo. Estos métodos tradicionales luchan por la toma de decisiones bajo incertidumbre y a menudo fallan en representar adecuadamente la heterogeneidad, la competencia y las dinámicas de comunicación entre naciones o partes interesadas. Además, los Modelos Basados en Agentes (ABM) existentes a menudo requieren políticas conductuales predefinidas en lugar de aprenderlas, lo que limita su robustez en escenarios climáticos altamente cambiantes. Si bien el Aprendizaje por Refuerzo (RL) ha mostrado promesa en configuraciones de IAM de agente único, la aplicación del Aprendizaje por Refuerzo Multiagente (MARL) para modelar las interacciones entre naciones que impulsan el cambio climático antropogénico sigue siendo poco explorada. Además, la naturaleza de "caja negra" de los algoritmos de RL plantea preocupaciones sobre su confiabilidad para informar políticas del mundo real sin mecanismos de interpretabilidad.

Metodología
Los autores extienden un IAM de baja complejidad conocido como el modelo AYS (Kittel et al., 2021), que simula la interacción entre el carbono atmosférico ($A$), la producción económica ($Y$) y el stock de conocimiento renovable ($S$) mediante ecuaciones diferenciales ordinarias (EDO). El estudio reformula este entorno como un Juego Estocástico Parcialmente Observable (POSG) para acomodar múltiples agentes interactuantes.

• Extensión del Entorno: El modelo AYS de agente único se adapta a una configuración multiagente donde una variable global (exceso de carbono atmosférico, $A$) es compartida, mientras que la producción económica ($Y$) y el conocimiento renovable ($S$) son específicos del agente. Los agentes influyen en el nivel global de carbono a través de sus emisiones individuales.
• Algoritmo: El estudio emplea la Optimización de Política Proximal Independiente (IPPO), un algoritmo de Entrenamiento Descentralizado y Ejecución Descentralizada (DTDE). En esta configuración, los agentes son totalmente independientes, no comparten parámetros y solo observan sus variables de estado locales más el nivel global de carbono.
• Funciones de Recompensa: Se utilizan tres funciones de recompensa distintas para probar diferentes motivaciones conductuales:
  1. $R_{PB}$ (Cooperativa): Maximiza la distancia euclidiana de los Límites Planetarios (PB) tanto para el carbono como para la producción económica, incentivando un futuro "verde".
  2. $R_{maxY}$ (Prioridad Económica): Maximiza la distancia del límite de producción económica, priorizando la ganancia económica.
  3. $R_{maxA}$ (Adversaria): Maximiza el exceso de carbono atmosférico ($A$), representando una entidad que prioriza la degradación ambiental.
• Interpretabilidad: Para abordar la falta de explicabilidad en el RL, los autores utilizan el análisis de "Estados Críticos". Esta técnica identifica estados donde la diferencia de logit de la política (la brecha entre la acción de mayor probabilidad y el promedio) es alta, indicando dónde el agente está más seguro de su acción. Esto permite visualizar la incertidumbre de la política e identificar puntos de falla en las trayectorias de los agentes.

Contribuciones Clave

1. Marco IAM Multiagente: El artículo presenta una extensión preliminar de los IAM de agente único a una configuración MARL multiagente, permitiendo la simulación de cooperación y competencia entre naciones.
2. Análisis de Competencia vs. Cooperación: El estudio investiga sistemáticamente cómo la homogeneidad, la heterogeneidad de los agentes y las funciones de recompensa en conflicto impactan la capacidad de alcanzar un estado "positivo para el clima" (el punto fijo verde).
3. Interpretabilidad de Políticas: La aplicación de la visualización de estados críticos al MARL en simulaciones climáticas proporciona un método para comprender el fallo algorítmico y la incertidumbre de la política, identificando específicamente estados donde los agentes luchan para tomar acciones decisivas.

Resultados Experimentales

• Homogeneidad Cooperativa (RQ1): Cuando los agentes comparten la misma recompensa $R_{PB}$ y comienzan desde estados idénticos, alcanzan consistentemente el punto fijo verde (tasas de victoria >90%) independientemente del número de agentes (probado hasta 8). La cooperación emerge naturalmente de la señal de recompensa compartida.
• Heterogeneidad Cooperativa (RQ2): Cuando los agentes comienzan desde estados diferentes o poseen diferentes parámetros de daño climático ($\xi_i$), aún logran altas tasas de victoria (>90%) dado un tiempo de entrenamiento suficiente. Sin embargo, si un agente está aislado del daño climático (bajo $\xi_i$), falla en aprender el impacto negativo de sus emisiones sobre el carbono global, lo que lleva a trayectorias que se asemejan a las de agentes que priorizan la ganancia económica, incluso cuando siguen la recompensa cooperativa.
• Competencia (RQ3): Introducir competencia obstaculiza significativamente el éxito.
  • Los agentes con motivaciones mixtas ($R_{PB}$ vs. $R_{maxY}$) muestran tasas de éxito reducidas en comparación con grupos totalmente cooperativos.
  • La presencia de un agente que optimiza para la maximización de carbono ($R_{maxA}$) impide efectivamente que el sistema alcance el punto fijo verde, anulando los esfuerzos cooperativos de otros agentes.
• Estados Críticos: La visualización revela que los agentes cooperativos exhiben altas diferencias de logit (certeza) al inicio y al final de las trayectorias. En escenarios competitivos, los agentes muestran diferencias de logit más bajas, indicando mayor incertidumbre de la política. El agente $R_{maxA}$ elige consistentemente la acción "Transición Energética" para maximizar su recompensa específica, mientras que el agente $R_{PB}$ falla en contrarrestar efectivamente este comportamiento.

Significado y Afirmaciones
Los autores posicionan este trabajo como un descubrimiento temprano en el campo de la aplicación del MARL a políticas climáticas. El significado principal radica en demostrar que, si bien los agentes cooperativos pueden trazar de manera confiable rutas hacia futuros deseables, la introducción de competencia —que refleja conflictos geopolíticos del mundo real— degraba severamente la capacidad de alcanzar objetivos climáticos.

El artículo afirma modestamente que estos resultados destacan la necesidad de futuras investigaciones sobre algoritmos con mayor "conciencia del oponente" (como Entrenamiento Centralizado y Ejecución Descentralizada o conformación de oponentes) para gestionar la no estacionariedad y la competencia en simulaciones climáticas multiagente. Los autores enfatizan que las limitaciones actuales incluyen la asunción de control sobre los algoritmos de aprendizaje de los agentes y el desafío de escalar el MARL a IAM complejos y de alta dimensión. Concluyen que, si bien la tecnología muestra promesa para la derivación de políticas basadas en evidencia, queda un trabajo significativo por hacer para garantizar la validez de los modelos subyacentes y la interpretabilidad de los comportamientos de los agentes antes de su adopción en el mundo real.