Resumen Técnico: Aprendizaje por Refuerzo Basado en Eventos para el Control de Largo Horizonte en la Fabricación de Semiconductores

1. Declaración del Problema

Las instalaciones de fabricación de semiconductores (fabs) representan sistemas adaptativos complejos caracterizados por tiempos de procesamiento estocásticos, flujos de procesos reentrantes, equipos heterogéneos y estrictas restricciones tecnológicas. La toma de decisiones en este dominio, particularmente a nivel de despacho, implica elecciones secuenciales donde las consecuencias de una acción son a menudo diferidas y están entrelazadas con miles de interacciones posteriores.

Los enfoques tradicionales de aprendizaje por refuerzo (RL) enfrentan desafíos significativos en este entorno:

• Asignación de Crédito de Largo Horizonte: Los modelos de transición de un solo paso estándar desalinean la asignación de crédito temporal porque los Indicadores Clave de Desempeño (KPI) del sistema, como el rendimiento (throughput) y la utilización, son resultados acumulativos de muchas decisiones interdependientes, no consecuencias inmediatas de acciones individuales.
• Retroalimentación Retrasada: Las recompensas son dispersas y se observan solo en segmentos de tiempo largos, lo que hace que el aprendizaje sea inestable.
• Escalabilidad y Generalización: Muchos estudios existentes simplifican el problema al control localizado o dependen de bancos de pruebas de pequeña escala, fallando al abordar políticas de todo el sistema bajo la complejidad industrial real. Además, existe una falta de comparación sistemática entre algoritmos con respecto a la generalización y la transferibilidad en regímenes tanto offline como online.

2. Metodología

Los autores proponen un marco de aprendizaje por refuerzo profundo modular y basado en eventos, diseñado para la optimización de políticas centralizadas en entornos de horizonte infinito y continuos.

Arquitectura Central

• Agente Centralizado: Un único agente controla todo el sistema al nivel de despacho, seleccionando lotes de obleas candidatos para el equipo disponible. Este enfoque utiliza el uso compartido de parámetros para mejorar la escalabilidad en comparación con las descomposiciones de múltiples agentes que requieren coordinación explícita.
• Dinámica Basada en Eventos: El sistema se modela como una secuencia de eventos discretos (por ejemplo, cuando un equipo queda inactivo) en lugar de pasos de tiempo fijos. Las acciones activan eventos temporalmente extendidos y superpuestos.
• Codificación de Estado y Acción:
  • Estado: Codifica estadísticas de carga de trabajo, estado del equipo y distribución de WIP (trabajo en proceso) a través de sectores de flujo de proceso y categorías de productos (representación de tamaño fijo >5000 dimensiones).
  • Acción: Codifica características de lotes candidatos (tipo de producto, tiempo de procesamiento, restricciones). La política utiliza un mecanismo softmax basado en puntuación para manejar tamaños de conjuntos de acción variables (hasta miles de candidatos).
• Política Restringida: Un sesgo inductivo duro impone restricciones específicas del dominio (por ejemplo, evitar la corrosión) mediante el enmascaramiento de acciones infactibles, mientras que la función de recompensa fomenta un comportamiento que cumple con las restricciones.

Construcción de la Recompensa

Para abordar la dispersión de la retroalimentación, la recompensa se descompone en dos componentes:

1. Recompensa a Nivel de Evento ($r_e$): Una recompensa densa y moldeada que proporciona retroalimentación local inmediata basada en el tiempo de procesamiento, el tiempo de inactividad y las violaciones de restricciones.
2. Recompensa a Nivel de Sistema ($r_g$): Una recompensa retrasada calculada sobre un segmento de tiempo finito ($t_s$) basada en KPIs como el movimiento acumulado de obleas (tasa de producción) y la utilización promedio del equipo.
   La recompensa total es $r = r_e + r_g$.

Aprendizaje de Diferencia Temporal (TD) por Grupos de Eventos

El artículo introduce una novedosa formulación TD que respeta la estructura temporal de los eventos superpuestos:

• Agregación de Grupos: En lugar de actualizar cada evento de forma independiente, el marco de trabajo toma una muestra de un segmento de tiempo $I_h$ y trata todos los eventos dentro de él como un único grupo $G$.
• Objetivo por Grupo: El objetivo de aprendizaje minimiza la discrepancia entre los errores TD agregados a nivel de evento y la recompensa del sistema para ese segmento. Esto permite que las señales de recompensa global se propaguen de extremo a extremo a través de eventos interdependientes.
• Estrategias de Agregación: Los autores comparan la agregación por media (suavizado) y la agregación ponderada (considerando la duración del evento) para estabilizar la optimización.

Integración Algorítmica

El marco de trabajo es agnóstico al algoritmo, integrándose con varios modelos base sin modelo (model-free):

• Entrenamiento Offline: Utiliza datos históricos (política aleatoria) con métodos conservadores (CQL, IQL) para mitigar el cambio de distribución y la sobreestimación.
• Entrenamiento Online: Emplea métodos fuera de la política (DQL, SAC) y dentro de la política (PPO) para el ajuste fino. SAC utiliza la regularización de entropía para la exploración, mientras que PPO utiliza un vantaggio (advantage) de sustitución relativo al grupo para alinearse con la estructura TD agrupada.

3. Contribuciones Clave

1. Marco de RL Modular Basado en Eventos: Una arquitectura escalable para la interacción de políticas y la optimización en sistemas adaptativos complejos, utilizando la fabricación de semiconductores como un caso representativo del mundo real.
2. Formulación Centralizada: Un problema de optimización de política unificado sobre la dinámica basada en eventos, que permite la toma de decisiones en todo el sistema sin la complejidad de la coordinación multi-agente.
3. Optimización de Múltiples Fases: Formulaciones adaptadas que soportan tanto el pre-entrenamiento offline (eficiente en datos, conservador) como el ajuste fino online (adaptativo, exploración restringida).
4. Evaluación Centrada en la Generalización: Una evaluación exhaustiva a través de 31 diversos escenarios industriales, aclarando las fortalezas relativas de diferentes formulaciones de RL y algoritmos en entornos de largo horizonte.

4. Resultados Experimentales

Los experimentos se realizaron utilizando un simulador de alta fidelidad basado en datos industriales reales de STMicroelectronics, cubriendo 31 escenarios con variaciones en el Trabajo en Proceso (WIP) y configuraciones operativas.

• Líneas Base (Baselines): El desempeño se comparó contra Primero en Entrar Primero en Salir (FIFO), Tiempo de Procesamiento más Corto (SPT) y una política Aleatoria (Random).
• Desempeño Offline: Los agentes entrenados con datos de política aleatoria lograron ganancias significativas sobre la línea base Aleatoria (hasta ~39% de rendimiento, ~28% de saturación) y superaron a FIFO. Entre los algoritmos offline, las variantes de Double Q-Learning (DQL) y Conservative Q-Learning (CQL) mostraron un desempeño robusto.
• Desempeño Online: El ajuste fino online mejoró aún más el desempeño, logrando hasta un ~42% de ganancia en rendimiento y ~30% en saturación respecto al escenario sin control (Aleatorio). Soft Actor-Critic (SAC) con alta entropía objetivo y DQL demostraron una fuerte eficiencia de muestra.
• Estudios de Ablación:
  • Formulación TD: El objetivo TD agregado por eventos propuesto superó significativamente a las secuencias descontadas truncadas estándar y a los objetivos de eventos apilados por evento, confirmando la importancia de la asignación de crédito a nivel de grupo.
  • Diseño de Recompensa: Entrenar únicamente con recompensas de segmento a nivel de sistema resultó efectivo, aunque la combinación con el moldeado de nivel de evento aceleró la convergencia en algunos casos.
  • Comparación de Algoritmos: Los métodos offline requirieron conservadurismo (CQL/IQL) para evitar la sobreestimación, mientras que los métodos online se beneficiaron de la regularización de entropía (SAC) y gradientes de política estables (PPO).

5. Significado y Reivindicaciones

El artículo afirma que el marco propuesto aborda con éxito los desafíos centrales de la aplicación de RL a sistemas a gran escala basados en eventos con retroalimentación retrasada. Al desacoplar la interacción con el entorno de la optimización de la política e introducir una capa de diferencia temporal adaptada, el marco permite que los agentes aprendan políticas de todo el sistema que optimizan múltiples KPIs simultáneamente.

Los autores enfatizan que:

• Escalabilidad: El enfoque basado en características y centralizado escala a entornos de alta dimensión sin la sobrecarga de coordinación de los sistemas multi-agente.
• Transferibilidad: El marco demuestra ganancias de desempeño consistentes a través de diversos escenarios operativos, lo que sugiere robustez ante cambios en el WIP y en las mezclas de productos.
• Practicidad: La capacidad de pre-entrenar offline con datos históricos y realizar un ajuste fino online con interacción limitada hace que este enfoque sea viable para el despliegue industrial donde la exploración es costosa y riesgosa.

El estudio concluye que la formulación cuidadosa del problema —específicamente la alineación de la estructura temporal con la propagación de la recompensa— es tan crítica como la elección del algoritmo de RL subyacente para lograr un control efectivo en sistemas adaptativos complejos.