Resumen Técnico: GenAutoML

Declaración del Problema

El diseño de arquitecturas neuronales para la previsión de series temporales multivariantes y la detección de anomalías en entornos industriales (por ejemplo, monitorización de redes eléctricas, IoT) se ve obstaculizado por dos desafíos principales: el Problema de la Estacionariedad y las limitaciones de los sistemas actuales de Aprendizaje Automático Automatizado (AutoML).

1. La Paradoja de la Estacionariedad: Los conjuntos de datos del mundo real (como los benchmarks ETTh1, ETTm1 y Weather) exhiben características no estacionarias e interdependencias temporales complejas. Los modelos de aprendizaje profundo tradicionales (LSTMs, Transformers) suelen tener dificultades con estas distribuciones, mientras que el diseño de arquitecturas manual depende de sesgos inductivos estáticos que pueden resultar inadecuados.
2. Limitaciones de los AutoML/NAS Existentes: Los marcos de búsqueda de arquitectura neuronal (NAS) actuales dependen de espacios de búsqueda predefinidos y estáticos. Carecen de "Creatividad Semántica", lo que significa que no pueden inventar componentes estructurales novedosos (por ejemplo, capas de mezcla temporal personalizadas) más allá de los patrones de interconexión fijos. Además, la brecha entre el "diseño y el despliegue" es significativa; integrar un nuevo modelo suele requerir un reinicio completo del sistema.
3. Restricciones de la IA en el Borde (Edge AI): Aunque los Modelos Fundacionales de Series Temporales (TSFMs) como Chronos ofrecen una alta precisión, sus masivos conteos de parámetros (100M+) y su alta latencia de inferencia los hacen inadecuados para despliegues de Edge AI en tiempo real y con recursos limitados.

Metodología: Marco de Trabajo GenAutoML

GenAutoML es un marco agéntico que cambia el paradigma de la "búsqueda de modelos" hacia la "Ingeniería Neuronal Agéntica". Utiliza Modelos de Lenguaje de Gran Escala (LLMs) como "Arquitectos Neuronales" autónomos para traducir requisitos en lenguaje natural a código PyTorch ejecutable. El marco opera a través de una arquitectura de bucle cerrado compuesta por cuatro componentes principales:

1. Síntesis Neuronal Agéntica (La Interfaz Semántica)

El motor central utiliza un LLM (específicamente Llama 3-70B) para interpretar restricciones en lenguaje natural y generar definiciones de módulos neuronales.

• Contrato Geométrico Estructural: El agente está restringido a generar módulos que acepten un tensor de entrada 3D ($B \times L \times D$) y devuelvan un tensor de predicción ($B \times H \times D$), asegurando la compatibilidad con los procesos posteriores.
• Registro Dinámico: El código generado se escribe directamente en un registro dinámico, permitiendo al sistema "inventar" estructuras complejas (por ejemplo, bloques Inception multiescala) basadas en descripciones de usuario.

2. Bucle de Reflexión en Sandbox

Para mitigar las alucinaciones de código y los desajustes de dimensiones comunes en la generación zero-shot de LLMs:

• La arquitectura generada se aisla en un sandbox de ejecución seguro.
• El agente instancia el modelo y realiza un pase hacia adelante (forward pass) simulado utilizando tensores ficticios.
• Si la forma de la salida no coincide con el horizonte esperado o si ocurren errores (por ejemplo, registros de trazabilidad/traceback), el sistema retroalimenta estos errores al LLM como un prompt adicional.
• Este bucle de retroalimentación de múltiples turnos permite al agente depurar iterativamente los cambios de forma de los tensores (tensor reshapes) y las permutaciones de canales hasta producir un modelo estructuralmente sólido.

3. Integración Arquitectónica Just-In-Time (JIT)

GenAutoML emplea un pipeline de Orquestación basado en Reflexión para integrar nuevos modelos en un entorno de optimización en vivo sin reinicios del sistema:

• Intercambio en Caliente (Hot-Swapping): Utilizando importlib.reload de Python, el sistema actualiza el caché de módulos en tiempo real.
• Invocación Consciente de Firma: El sistema utiliza la introspección en tiempo de ejecución (inspect.signature) para emparejar los tensores en ejecución con los argumentos del módulo generado.
• Proyección Agnóstica a la Forma: Si el LLM genera un modelo con conteos de canales ocultos arbitrarios, una capa de proyección ($\hat{Y} = W_{proj} \cdot M_{gen}(\hat{X}) + b_{proj}$) une matemáticamente las características latentes con las dimensiones objetivo requeridas, evitando fallos catastróficos.

4. Fortalecimiento Estadístico mediante Dyn-RevIN

Para abordar la no estacionariedad y la explosión de gradientes en datos industriales volátiles:

• El marco envuelve la lógica generada por el LLM dentro de una capa de Normalización de Instancia Reversible Dinámica (Dyn-RevIN).
• Esta capa desacopla la lógica arquitectónica no confiable de las restricciones de estacionariedad estadística. Normaliza los datos de entrada a una distribución estacionaria antes de que el modelo los procese y desnormaliza la salida al dominio de la señal original.
• Esto actúa como un "guardarraíl de seguridad", asegurando la convergencia incluso si la arquitectura generada está mal escalada.

Contribuciones Clave

1. Síntesis Neuronal Agéntica con Reflexión en Sandbox: Una interfaz novedosa que traduce necesidades semánticas en código PyTorch ejecutable, validado a través de un bucle de depuración autónomo que asegura la validez matemática antes del despliegue.
2. Inyección Arquitectónica en Tiempo de Ejecución: Un pipeline que permite el "Hot-Swap" de módulos neuronales generados en bucles de optimización basados en Optuna, eliminando la necesidad de reiniciar el sistema y permitiendo la validación en tiempo real.
3. Fortalecimiento Matemático (Dyn-RevIN): La integración de un marco de Normalización de Instancia Reversible Dinámica que impone la estacionariedad en el manifold de entrada-salida, estabilizando el entrenamiento para señales no estacionarias.
4. Pipeline Conversacional de Extremo a Extremo: Un flujo de trabajo que permite a los usuarios cargar conjuntos de datos, realizar análisis exploratorio de datos mediante un agente de Pandas DataFrame y solicitar diseños de arquitectura personalizados, todo validado en un sandbox federado.

Resultados Experimentales

El marco fue evaluado en tres benchmarks multivariantes: ETTh1, ETTm1 y Weather.

• Rendimiento de Previsión: Los modelos sintetizados por agentes (por ejemplo, ResNet, Inception) lograron un rendimiento competitivo frente a Transformers de última generación (SOTA) como TimesNet y CrossFormer. En el conjunto de datos ETTm1, un ResNet sintetizado (MAE = 0.532) igualó estrechamente a los modelos lineales líderes.
• Detección de Anomalías: Los modelos sintetizados demostraron una sensibilidad superior. El ResNetBlock diseñado por el agente logró una brecha de discriminación (MSE Anómalo / MSE Limpio) de aproximadamente 265x en ETTh1, superando significativamente a TimesNet (33x) y DLinear (8x).
• Latencia de Inferencia y Eficiencia:
  • Aunque los modelos fundacionales masivos (por ejemplo, Chronos-T5-Mini) alcanzan una alta precisión, sufren de alta latencia (~988 ms/muestra).
  • El WaveInterferenceNet generado por el agente logró una latencia de inferencia de <0.01 ms por muestra, lo que representa una aceleración de ~100,000x respecto a los modelos fundacionales.
  • El costo de búsqueda fue mínimo: WaveInterferenceNet requirió solo ~2 minutos de ajuste de GPU (5 ensayos de Optuna) comparado con tiempos significativamente más largos para las bases tradicionales.
• Estabilidad y Reproducibilidad:
  • Convergencia de Varianza Cero: A diferencia de las bases estándar (por ejemplo, DLinear) que mostraron una sensibilidad extrema a las semillas aleatorias (fluctuación de MAE $\sigma = 0.760$), el WaveInterferenceNet sintetizado por el agente mantuvo una varianza cero ($\sigma = 0.000$) a través de ensayos independientes cuando se impuso el determinismo de la semilla.
  • Estudios de Ablación: El estudio confirmó que Dyn-RevIN es crítico para conjuntos de datos volátiles (mejorando el MAE en ~94% en ETTh1), pero a veces puede enmascarar señales periódicas en conjuntos de datos estables (Weather), validando la necesidad de una búsqueda automatizada impulsada por agentes para determinar las configuraciones óptimas.

Significado y Reivindicaciones

El artículo posiciona a GenAutoML no meramente como una herramienta para maximizar la precisión predictiva bruta, sino como un marco para la síntesis determinista desplegable en el borde (edge-deployable).

• Cambio de Paradigma: Mueve el campo de la "búsica de modelos masivos" hacia la "Ingeniería Neuronal Agéntica", priorizando arquitecturas ultra ligeras (menos de 1M de parámetros) que intercambian fracciones marginales de precisión por latencias de inferencia de microsegundos y características de despliegue altamente estables.
• Idoneidad para Misiones Críticas de Seguridad: Al priorizar una convergencia determinista de varianza cero sobre la precisión bruta, el marco produce arquitecturas únicas para despliegues de Edge AI con recursos limitados y críticos para la seguridad (por ejemplo, sensores industriales embebidos).
• Creatividad Semántica: El marco demuestra la capacidad de sintetizar topologías genuinamente novedosas (por ejemplo, WaveInterferenceNet usando proyecciones trigonométricas) basadas en directivas abstractas de lenguaje natural, yendo más allá de la repetición de motivos estándar como ResNets o LSTMs.

Los autores concluyen que, si bien el marco depende de los tiempos de respuesta de la API de los LLM (una limitación actual), logra cerrar la brecha entre el potencial creativo de la IA generativa y los rigurosos requisitos de estabilidad del análisis de series temporales industriales.