In-Context Multi-Objective Optimization

Resumen Técnico: Optimización Multiobjetivo en Contexto (TAMO)

Enunciado del Problema
La optimización multiobjetivo (MOO) es un desafío ubicuo en dominios científicos y de ingeniería, como el descubrimiento de fármacos y los sistemas autónomos, donde los practicantes deben equilibrar objetivos en competencia (por ejemplo, eficacia frente a toxicidad, precisión frente a costo). El enfoque estándar, la Optimización Bayesiana Multiobjetivo (MOBO), se basa en ajustar sustitutos probabilísticos (típicamente Procesos Gaussianos) y optimizar funciones de adquisición en cada paso. Sin embargo, los autores identifican tres limitaciones críticas en la implementación en el mundo real:

1. Sobrecarga Computacional: Cada nuevo problema requiere entrenar sustitutos desde cero y optimizar repetidamente la función de adquisición, creando cuellos de botella en bucles paralelos o sensibles al tiempo.
2. Falta de Transferibilidad: El rendimiento es altamente sensible a las elecciones de modelado (kernels, verosimilitudes) y rara vez se transfiere a nuevos problemas sin reajuste.
3. Miopía: La mayoría de las funciones de adquisición son miopes, optimizando ganancias de un solo paso en lugar del descubrimiento de la frontera de Pareto a largo plazo, lo que a menudo requiere planificación de múltiples pasos.

Metodología: TAMO
El artículo introduce TAMO (Multiobjetivo Agnóstico a la Tarea), una política universal totalmente amortizada para la optimización de caja negra multiobjetivo. A diferencia de la MOBO tradicional, TAMO elimina el ajuste de sustitutos por tarea y la ingeniería de adquisiciones al mapear todo el historial de observaciones directamente a la siguiente consulta mediante una sola pasada hacia adelante de una red neuronal.

• Arquitectura: TAMO utiliza una columna vertebral de transformador diseñada para ser agnóstica a la dimensión tanto en entradas como en salidas. Emplea un nuevo "codificador de agregación de dimensiones" que mapea observaciones escalares a vectores independientemente de las dimensiones de entrada ($d_x$) o salida ($d_y$). Esto permite que el modelo se preentrene en tareas heterogéneas con dimensionalidades variables y se transfiera a nuevos problemas sin reentrenamiento.
• Estrategia de Entrenamiento: El modelo se entrena offline utilizando un enfoque de dos fases:
  1. Calentamiento de Predicción: El modelo se entrena primero en una tarea auxiliar de regresión en contexto para aprender el paisaje de la función y estabilizar las representaciones.
  2. Aprendizaje por Refuerzo (RL): La política se optimiza mediante RL para maximizar la mejora acumulada del hipervolumen a lo largo de trayectorias completas. El estado incluye el historial de observaciones, el paso de tiempo actual y el presupuesto total. La recompensa es el hipervolumen normalizado, fomentando la planificación a largo plazo en lugar de ganancias miopes.
• Inferencia: En el momento de la prueba, el modelo preentrenado propone el siguiente diseño puntuando un conjunto de candidatos en una sola pasada hacia adelante, condicionado a todo el historial de consultas.

Contribuciones Clave

1. Política Totalmente Amortizada: TAMO es la primera arquitectura de extremo a extremo y agnóstica a la dimensión para la optimización de caja negra multiobjetivo que opera enteramente en contexto, eliminando la necesidad de ajuste iterativo de sustitutos.
2. Agnosticismo a la Dimensión: La arquitectura de transformador propuesta maneja dimensiones de entrada y salida variables, permitiendo el preentrenamiento en corpus sintéticos diversos y la transferencia a tareas del mundo real con dimensionalidades no vistas.
3. Optimización a Largo Plazo: Al optimizar el hipervolumen acumulado a lo largo de trayectorias completas mediante RL, TAMO aborda la miopía inherente a las funciones de adquisición estándar.

Resultados Experimentales
Los autores evaluaron TAMO en tareas GP sintéticas, benchmarks analíticos estándar (por ejemplo, Ackley-Rastrigin, Branin-Currin) y problemas del mundo real (diseño de sorbentes de aceite, aceleración láser-plasma).

• Rendimiento: TAMO logra una calidad de Pareto competitiva o superior (medida por arrepentimiento simple e hipervolumen) en comparación con fuertes líneas base basadas en GP (qNEHVI, qNParEGO, qHVKG) y líneas base amortizadas como BOFormer.
• Eficiencia: La ganancia más significativa es en la velocidad de inferencia. TAMO reduce el tiempo de propuesta en 50× a 1000× en comparación con los métodos basados en GP. Esto se debe a que TAMO evita la sobrecarga del reajuste de sustitutos y la optimización de adquisiciones, realizando solo una sola pasada hacia adelante por propuesta.
• Generalización: El modelo demuestra una generalización robusta a tareas fuera de distribución (OOD), incluidas aquellas con dimensiones de entrada/salida no vistas (por ejemplo, entrenamiento en $d_x \in \{1,2\}$ y prueba en $d_x=4$) y configuraciones de observación desacopladas donde los objetivos se miden independientemente.

Significado y Afirmaciones
El artículo afirma que TAMO establece un camino hacia optimizadores de estilo fundacional, plug-and-play para el descubrimiento científico. Al demostrar que los transformadores pueden realizar optimización multiobjetivo enteramente en contexto, el trabajo sugiere que el campo puede alejarse de la ingeniería de sustitutos específicos para tareas hacia políticas universales entrenadas en datos diversos. Los autores posicionan a TAMO como un motor universal capaz de manejar conjuntos de datos heredados heterogéneos y acelerar laboratorios de bucle cerrado, campañas de alto rendimiento y flujos de trabajo sensibles al tiempo donde los costos de evaluación son bajos o la paralelización es alta. El trabajo se mantiene modesto respecto a las limitaciones, señalando que el rendimiento depende de la composición del corpus de preentrenamiento sintético y que la inferencia actual asume un pool discreto de candidatos, lo que puede restringir la aplicación en espacios de diseño generativo continuos o combinatorios sin una adaptación arquitectónica adicional.