Resumen Técnico: RL4F – Aprendizaje por Refuerzo Fuera de Línea para el Control de Plasma en Fusión Nuclear

Declaración del Problema

El desarrollo de controladores para tokamaks de fusión nuclear mediante aprendizaje por refuerzo (RL) en línea es prohibitivamente costoso y riesgoso debido al alto costo de operación, las limitaciones de tiempo y la naturaleza crítica para la seguridad de los dispositivos reales. Aunque existen simuladores basados en la física (por ejemplo, RAPTOR, TORAX), estos son computacionalmente costosos, requieren una calibración extensa y a menudo luchan por capturar la compleja dinámica no lineal del plasma. Por el contrario, aprender directamente de datos experimentales históricos sin interacción en línea (RL fuera de línea o offline RL) ofrece una alternativa más segura, pero carece de un estándar de referencia (benchmark). Los desafíos actuales incluyen la alta dimensionalidad de los perfiles de plasma, la dinámica no lineal y estocástica, la observabilidad parcial y la dificultad de especificar recompensas para tareas de control de largo horizonte.

Metodología

El artículo introduce RL4F, un benchmark unificado para el RL fuera de línea en el control de perfiles de tokamak. La metodología se estructura en torno a cuatro componentes principales:

1. Modelado de la Dinámica (El Entorno)

En lugar de utilizar simuladores basados en la física, los autores construyen un "gemelo digital" basado en datos utilizando un conjunto de Redes Neuronales Probabilísticas Recurrentes (RPNN).

• Datos de Entrenamiento: El modelo se entrena con 18,000 descargas experimentales históricas del tokamak DIII-D, que abarcan casi una década.
• Arquitectura: Un conjunto de 25 miembros de RPNN predice la distribución de los cambios de estado ($\Delta s_t$) dado el estado actual ($s_t$), el ajuste previo del actuador ($a_{t-1}$) y el incremento del actuador ($\Delta a_t$).
• Cuantificación de la Incertidumbre: El modelo genera los parámetros de una distribución Gaussiana ($\mu_t, \sigma_t$). El conjunto captura la incertidumbre epistémica (mediante el desacuerdo entre miembros), mientras que la cabeza de log-varianza captura la incertidumbre aleatoria.
• Entrenamiento en Dos Etapas: La primera etapa optimiza la media predictiva (MSE), y la segunda etapa congela la arquitectura (backbone) para calibrar la incertidumbre mediante la log-verosimilitud negativa.

2. Construcción del Conjunto de Datos

Se genera un conjunto de datos sintético fuera de línea inicializando ejecuciones (rollouts) desde estados reales de "meseta" (flat-top) y ejecutando de forma autorregresiva el modelo de dinámica de referencia.

• Escala: El conjunto de datos final comprende 5,882 descargas y 945,828 transiciones.
• División (Split): Se utilizan divisiones fijas: 5,282 descargas para entrenamiento, 300 para validación y 300 para prueba.
• Procedimiento: Los siguientes estados medidos son reemplazados por las predicciones del conjunto para simular el comportamiento de bucle cerrado preservando los programas de actuadores reales.

3. Tareas de Benchmark

El benchmark evalúa algoritmos en cuatro tareas de seguimiento de perfil completo, donde el objetivo es regular cantidades espaciales de alta dimensión a través de la coordenada radial normalizada ($\psi_N \in [0, 1]$):

1. Rotación: Crítica para la supresión de modos de ruptura (tearing modes) y la asimetría de alimentación.
2. Densidad: Regula el inventario de combustible en el núcleo y las tasas de fusión.
3. Temperatura Electrónica: Afecta el transporte de calor y el confinamiento.
4. Presión: Determina los límites de estabilidad MHD y la energía almacenada.

Configuración de Control:

• Espacio de Acción: Potencia de Inyección de Haz Neutro (NBI), torque de NBI, voltaje de purga de gas y potencia de Calentamiento por Ciclotrón de Electrones (ECH).
• Espacio de Observación: Perfil de corriente, perfil objetivo, objetivo futuro (desplazado 10 pasos) y términos de error proporcional (términos P).
• Recompensa: Error cuadrático medio negativo (MSE) entre el perfil objetivo y el alcanzado.

4. Protocolo de Evaluación

Los algoritmos se entrenan en el conjunto de datos sintético estático y se evalúan en un entorno de bucle cerrado sobre el modelo de dinámica de referencia.

• Líneas Base (Baselines): El estudio evalúa una amplia gama de métodos, incluyendo Aprendizaje por Imitación (GCIL), RL fuera de línea sin modelo (TD3BC, CQL, IQL, EDAC, MCQ) y RL fuera de línea con modelo (PPO, COMBO, MOPO, MOBILE, RAMBO, BAMCTS).
• Métrica: Error cuadrático medio de la raíz (RMSE) a través de 33 ubicaciones radiales, promediado sobre 300 descargas de prueba y 10 semillas aleatorias.

Contribuciones Clave

1. Benchmark RL4F: El primer benchmark de RL fuera de línea estandarizado diseñado específicamente para el control de perfiles de fusión, proporcionando un banco de pruebas común para la comparación de algoritmos.
2. Entorno de Dinámica Basado en Datos Realistas: Un modelo de dinámica de alta fidelidad entrenado con datos reales de DIII-D, evitando la sobrecarga de calibración de los simuladores basados en la física y capturando las no linealidades específicas del dispositivo.
3. Evaluación Exhaustiva de Líneas Base: Una evaluación unificada de diversos enfoques de RL fuera de línea y de aprendizaje por imitación a través de cuatro tareas distintas de seguimiento de perfiles de largo horizonte.
4. Lanzamiento de Código Abierto: El código, los conjuntos de datos y el marco de evaluación se liberan como código abierto para fomentar la reproducibilidad y la adopción de la comunidad.

Resultados

La evaluación revela que los métodos de RL fuera de línea basados en modelos generalmente superan a las líneas base sin modelo, aunque ningún algoritmo domina todas las tareas:

• Rotación: RAMBO logró el RMSE promedio más bajo (8.03), seguido de cerca por COMBO y MOPO. Los métodos sin modelo funcionaron significativamente peor, probablemente debido a la dificultad de desviarse de la distribución de comportamiento en un conjunto de datos estático para la corrección de torque de largo horizonte.
• Densidad: COMBO fue el mejor (RMSE 0.691), con MOPO y PPO cerca. La menor brecha entre los métodos con y sin modelo sugiere que el conjunto de datos proporcionó una cobertura suficiente para el control de densidad.
• Temperatura: MOPO logró el mejor desempeño (RMSE 0.193). Su capacidad para penalizar las predicciones inciertas del modelo resultó ventajosa para la dinámica de temperatura, que involucra respuestas retardadas y efectos de transporte acumulados.
• Presión: MOPO lideró nuevamente (RMSE 5198.6), seguido por RAMBO. El fuerte acoplamiento de la presión con la densidad y la temperatura hace que esta sea la tarea más desafiante, favoreciendo a los métodos conscientes de la incertidumbre.

Tendencias Generales:

• El seguimiento cerca del núcleo del plasma ($\psi_N \approx 0$) es consistentemente más difícil que en el borde debido a las mayores magnitudes de los perfiles y las variaciones temporales.
• El aprendizaje por imitación puro (GCIL) fue insuficiente para estos problemas de largo horizonte, arrojando errores significativamente mayores que los métodos de RL fuera de línea.
• No existe un algoritmo universalmente óptimo; el rendimiento varía según la dinámica física específica y el acoplamiento del perfil objetivo.

Significancia y Reivindicaciones

El artículo afirma que RL4F representa un paso crítico hacia la aceleración del progreso tanto en la fusión nuclear como en el desarrollo de algoritmos de RL fuera de línea. Al ofrecer un entorno estandarizado y basado en datos, permite a los investigadores desarrollar y comparar controladores sin los riesgos e costos inmediatos de la experimentación con dispositivos reales.

Los autores señalan modestamente que, aunque este benchmark se construye con datos reales de DIII-D, su generalizabilidad a otros tokamaks sigue siendo una pregunta abierta que requiere una colaboración más amplia. Enfatizan que RL4F sirve como un entorno de evaluación fuera de línea controlado; el rendimiento aquí es evidencia del potencial algorítmico, pero no sustituye la validación crítica para la seguridad en dispositivos físicos. El benchmark aborda los desafíos específicos de la dinámica no lineal, el control de largo horizonte y la observabilidad parcial inherentes a la fusión, posicionándolo como un banco de pruebas riguroso para la comunidad más amplia de RL fuera de línea.