Deep Adaptive Model-Based Design of Experiments

Resumen Técnico: Deep Adaptive Model-Based Design of Experiments

1. Planteamiento del Problema

El Diseño de Experimentos Basado en Modelos (MBDOE) es fundamental para la estimación eficiente de parámetros en sistemas dinámicos no lineales. El objetivo es seleccionar condiciones experimentales que maximicen la información sobre parámetros desconocidos.

• Limitación actual: Los enfoques adaptativos convencionales de Diseño Bayesiano Óptimo de Experimentos (BOED) requieren realizar inferencia posterior y optimización de diseño entre cada paso experimental. Esto implica un costo computacional prohibitivo (el objetivo de ganancia de información esperada, EIG, es doblemente intratable), lo que impide su aplicación en tiempo real.
• El desafío: Encontrar una estrategia que permita la adaptación en tiempo real para sistemas con ecuaciones gobernantes conocidas pero parámetros inciertos, sin incurrir en los costos de optimización en línea.

2. Metodología Propuesta

Los autores proponen combinar el Diseño Adaptativo Profundo (DAD) con modelos mecanísticos diferenciables. La idea central es "amortizar" el diseño secuencial en una política de red neuronal entrenada fuera de línea (offline), que luego se despliega en tiempo real.

Componentes Clave:

• Modelo del Sistema: Se consideran sistemas dinámicos descritos por EDOs (Ecuaciones Diferenciales Ordinarias) con parámetros divididos en:
  • $\theta_T$: Parámetros objetivo de interés.
  • $\theta_N$: Parámetros de molestia (nuisance parameters), como ruido de medición o condiciones iniciales inciertas.
• Objetivo de Entrenamiento (sPCE Dirigido):
  • Se extiende el límite de Estimación Contrastiva de Prioridad Secuencial (sPCE) original para manejar parámetros de molestia.
  • Se maximiza la Ganancia de Información Esperada Dirigida (Targeted EIG), marginalizando sobre los parámetros de molestia ($\theta_N$) durante el entrenamiento.
  • La función de pérdida utiliza muestras contrastivas para aproximar la información mutua entre los parámetros objetivo y las observaciones.
• Arquitectura de la Política:
  • Se reemplaza la arquitectura de "Deep Sets" (invariante a permutaciones) del DAD original por una arquitectura basada en Transformers.
  • Esto es crucial para sistemas dinámicos, ya que respeta el orden temporal: el estado en el paso $k$ depende de todas las entradas y observaciones anteriores.
  • La política $\pi_\phi$ mapea el historial experimental $h_{k-1}$ a la siguiente entrada de control $u_k$.
• Entrenamiento:
  • Se realiza mediante ascenso de gradiente estocástico (Adam).
  • Se utiliza el truco de reparametrización para diferenciar a través del solucionador de EDOs y el modelo de observación, permitiendo estimaciones de gradiente de baja varianza.
  • El entrenamiento se realiza offline en supercomputadoras (GPU), pero el despliegue es una simple pasada hacia adelante (forward pass).

3. Contribuciones Principales

1. Formulación de MBDOE Adaptativo: Se formula el diseño adaptativo para sistemas dinámicos con estructura de modelo conocida, entrenando la política de extremo a extremo mediante diferenciación a través del solucionador de EDOs.
2. Extensión de sPCE para Parámetros de Molestia: Se introduce un límite inferior de sPCE dirigido que permite la inferencia específica de parámetros objetivo marginalizando sobre parámetros de molestia (ej. ruido, condiciones iniciales variables).
3. Arquitectura Transformer: Se propone una política basada en Transformers con atención causal, superando la limitación de invarianza a permutaciones de métodos anteriores y capturando dependencias temporales críticas.
4. Validación en Tiempo Real: Se demuestra la viabilidad del enfoque en cuatro sistemas de complejidad creciente, logrando despliegue en tiempo real (microsegundos) en comparación con segundos o minutos requeridos por métodos de optimización en línea.

4. Resultados Experimentales

El método se evaluó en cuatro escenarios:

• a) Bioreactor Monod:
  • Objetivo: Estimar $\mu_{max}$ y $K_s$.
  • Resultado: La política adaptativa superó significativamente a diseños estáticos (Bayesian D-optimal y sPCE estático) en puntuación sPCE y redujo el RMSE posterior en un ~30%. La política adaptó la tasa de alimentación basándose en observaciones en tiempo real.
• b) Bioreactor Haldane (Inhibición por Sustrato):
  • Objetivo: Detectar la presencia de inhibición ($\alpha$).
  • Resultado: La política aprendió a aplicar dosis iniciales pequeñas para observar la respuesta de crecimiento y distinguir entre inhibición fuerte y ausencia de ella, ajustando la alimentación posterior según el comportamiento observado.
• c) Modelo Farmacocinético (PK) de Dos Compartimentos:
  • Objetivo: Estimar tasas de absorción ($k_a, k_{tr}$) con parámetros de molestia (aclaramiento del paciente).
  • Resultado: La política adaptó el cronograma de dosificación según el perfil de eliminación del paciente (rápido vs. lento), demostrando una adaptación efectiva a la variabilidad inter-paciente sin necesidad de re-entrenamiento en línea.
• d) Motor de Corriente Continua (DC):
  • Objetivo: Estimar constante del motor e inercia en tiempo real.
  • Resultado: La política amortizada fue 181 veces más rápida que un baseline de BOED adaptativo (que requiere re-optimización en línea).
    • Tiempo por paso (Política DAD): ~18-22 µs.
    • Tiempo por paso (BOED adaptativo): ~7.4 ms (excediendo el intervalo de muestreo de 10 ms).
    • Esto hace posible el despliegue en hardware físico con retroalimentación cerrada.

5. Significado e Impacto

• Viabilidad en Tiempo Real: El trabajo resuelve el cuello de botella computacional del MBDOE adaptativo, permitiendo su aplicación en sistemas físicos donde la latencia es crítica (ej. control de reactores biológicos, sistemas de administración de fármacos, robótica).
• Eficiencia Computacional: Al mover la carga computacional al entrenamiento offline, el despliegue se reduce a una inferencia neuronal rápida, manteniendo la precisión de la optimización bayesiana.
• Robustez: La capacidad de manejar parámetros de molestia mediante marginalización permite que el diseño sea robusto frente a incertidumbres no deseadas (ruido, variabilidad de lote) sin sacrificar la precisión en los parámetros de interés.
• Limitaciones Futuras: El método asume que la estructura del modelo es correcta (no aborda mala especificación del modelo) y requiere un prior fijo para el entrenamiento (cambios significativos en el prior requieren re-entrenamiento).

En conclusión, el artículo presenta un avance significativo al unificar el aprendizaje profundo, la teoría de la información y la dinámica de sistemas, proporcionando una herramienta práctica para la experimentación científica y el control de sistemas complejos en tiempo real.