A Human-in-the-Loop Bayesian Optimization Framework for Constraint-Aware Bioprocess Development

Resumen Técnico: Un Marco de Optimización Bayesiana con Humano en el Bucle para el Desarrollo de Bioprocesos con Consideración de Restricciones

Planteamiento del Problema
El desarrollo de bioprocesos, particularmente en la fabricación biofarmacéutica, enfrenta desafíos significativos debido a espacios operativos de alta dimensionalidad, experimentos costosos y lentos, variabilidad biológica intrínseca y estrictas restricciones regulatorias (Calidad por Diseño, QbD). Los métodos tradicionales de Diseño de Experimentos (DoE) suelen ser estáticos, definidos a priori, y tienen dificultades para adaptarse a medida que se acumula información, lo que los hace ineficientes para sistemas complejos, ruidosos o mal comprendidos. Si bien la Optimización Bayesiana (BO) ofrece una alternativa secuencial y eficiente en términos de datos al equilibrar la exploración y la explotación, los marcos de BO totalmente automatizados suelen carecer de la interpretabilidad y la flexibilidad requeridas en entornos regulados de alto riesgo. Los expertos frecuentemente necesitan incorporar conocimientos tácitos relativos a la manufacturabilidad, la seguridad y la viabilidad que son difíciles de codificar en funciones de adquisición rígidas. Además, la BO estándar suele fallar al no abordar explícitamente dos necesidades de ingeniería críticas: la satisfacción de restricciones estrictas (por ejemplo, Atributos de Calidad Críticos o CQAs) y la garantía de robustez frente a perturbaciones en las entradas (por ejemplo, la variabilidad de los Parámetros Críticos de Proceso o CPPs).

Metodología
El artículo propone una extensión del Muestreo Guiado por el Frente de Pareto (PFGS), un marco de Optimización Bayesiana con Humano en el Bucle (HitL). En lugar de devolver una única recomendación automatizada, el PFGS presenta un conjunto de candidatos de experimentos no dominados en un frente de Pareto, lo que permite a los expertos en el dominio interactuar y seleccionar el siguiente lote basándose en visualizaciones de compensaciones (trade-offs).

La metodología central involucra los siguientes componentes:

1. Modelado de Sustitutos: Se entrenan modelos de Procesos Gaussianos (GP) utilizando los datos experimentales acumulados para proporcionar estimaciones de la media posterior ($\mu$) y de la incertidumbre ($\sigma$) de los resultados del proceso.
2. Reformulación Multiobjetivo: El marco reformula las cantidades de la BO estándar y las restricciones en un problema de optimización multiobjetivo. Los objetivos se proyectan sobre un frente de Pareto y se visualizan mediante proyecciones 2D de pares en un panel de control interactivo.
3. Extensión de Optimización con Restricciones: Para manejar las restricciones de los CQA (por ejemplo, límites de pureza), el marco incorpora la probabilidad posterior de satisfacer la restricción como un objetivo de Pareto explícito. Esta probabilidad se calcula analíticamente a partir de la distribución posterior del GP (por ejemplo, $P(\theta_l \leq f_c(x) \leq \theta_u)$).
4. Extensión de Optimización Robusta: Para abordar la degradación del rendimiento bajo variabilidad de entrada, el marco integra una estrategia de muestreo de Monte Carlo (MC). Esta estima el rendimiento esperado de confianza inferior sobre una distribución definida por el usuario de perturbaciones de entrada (desviaciones de los CPP). Esta puntuación de robustez se añade como un cuarto objetivo de Pareto.
5. Flujo de Trabajo HitL:
   • Se entrena un GP inicial (por ejemplo, mediante Muestreo de Hipercubo Latino).
   • Se evalúa un gran conjunto de recetas candidatas mediante los modelos sustitutos.
   • Un optimizador multiobjetivo (NSGA-II) genera el frente de Pareto basado en los objetivos: rendimiento predicho, incertidumbre predictiva, probabilidad de satisfacción de restricciones y robustez.
   • El experto define umbrales (por ejemplo, título mínimo, probabilidad mínima de restricción) para filtrar el frente de Pareto.
   • El experto selecciona manualmente un lote de experimentos de los candidatos filtrados o delega la selección a una rutina automatizada basada en la distancia a un "punto utópico".
   • Se recolectan nuevos datos, se reentrena el GP y el ciclo se repite.

Contribuciones Clave
El artículo realiza cuatro contribuciones primarias al campo de la BO y la ingeniería de bioprocesos:

1. PFGS con Restricciones: Extiende el algoritmo PFGS para incorporar la satisfacción probabilística de los CQA como un objetivo de Pareto adicional, permitiendo la visualización explícita de la compensación entre rendimiento y viabilidad.
2. PFGS Robusto: Integra criterios de robustez mediante el muestreo de MC, permitiendo que los candidatos sean evaluados basándose en su resiliencia ante la variabilidad de los CPP, en lugar de solo en el rendimiento nominal.
3. Visualización Interactiva: Desarrolla un panel de control interactivo y un flujo de trabajo que hace que las compensaciones multidimensionales complejas (rendimiento, incertidumbre, restricciones, robustez) sean interpretables para los expertos en el dominio, facilitando la toma de decisiones informada sin requerir el diseño de nuevas funciones de adquisición.
4. Reorganización del Marco: Demuestra que los objetivos de la BO existentes pueden reorganizarse en un marco multiobjetivo HitL para mejorar la interpretabilidad y la capacidad de acción, en lugar de depender de funciones de adquisición novedosas y complejas.

Resultados
El marco fue validado utilizando un simulador de cultivo de células de hámster chino (CHO) en fase estacionaria de alimentación (fed-batch) de ocho dimensiones con tres salidas: título, agregación y pureza.

• Iteración Inicial: El sistema identificó con éxito un frente de Pareto donde los expertos podían filtrar candidatos basándose en una pureza mínima de probabilidad (por ejemplo, >60%) y un título mínimo (>1000 mg/L).
• Progreso Iterativo: A lo largo de seis iteraciones, el frente de Pareto evolucionó para mostrar títulos predichos más altos y una mejora en las probabilidades de satisfacción de las restricciones. La proyección de robustez demostró que una mayor fracción de los candidatos mantenía el rendimiento bajo las perturbaciones de los CPP a medida que el modelo mejoraba.
• Adaptabilidad del Experto: El caso de estudio ilustró cómo los requisitos de los expertos podrían evolucionar; las etapas iniciales priorizaron la ganancia de información (alta incertidumbre), mientras que las etapas posteriores priorizaron el refinamiento conservador (alta probabilidad de restricción, baja incertidumbre).
• Criterios de Parada: El marco proporcionó un criterio de parada fundamentado: cuando no quedaban candidatos que satisficieran los requisitos evolutivos del experto, lo que indicaba que la región de interés había sido caracterizada suficientemente.

Significancia y Reivindicaciones
Los autores afirman que este marco aborda la "brecha de confianza" en la optimización automatizada al hacer que las recomendaciones del modelo sean interpretables y accionables para los expertos en el dominio. Al exponer simultáneamente las compensaciones entre el rendimiento predicho, la incertidumbre del modelo, la satisfacción de restricciones probabilísticas y la robustez de la entrada, el marco respalda una asignación informada de recursos experimentales y proporciona un criterio de parada fundamentado.

El artículo enfatiza que la metodología no se limita a los bioprocesos o a los Procesos Gaussianos; es ampliamente transferible a cualquier disciplina de ingeniería que involucre experimentación costosa, optimización con restricciones y toma de decisiones consciente de la incertidumbre. Los autores señalan modestamente que el marco no introduce una nueva función de adquisición, sino que reorganiza las estrategias existentes para integrar mejor la experiencia humana. Reconocen limitaciones, incluyendo el potencial de sesgo humano al establecer requisitos y la dependencia de la convergencia del optimizador multiobjetivo subyacente (NSGA-II). Se sugiere como trabajo futuro incluir la optimización de multi-fidelidad y comparaciones con estrategias totalmente automatizadas.