🤖 machine learning

Enhancing Bayesian Optimization and Active Learning Through Kernel Diversity

Este artículo presenta KENDO, un marco unificado que mejora la optimización bayesiana y el aprendizaje activo al reemplazar el costoso muestreo de hiperparámetros con un conjunto de núcleos y estrategias de adquisición basadas en el desacuerdo, logrando un rendimiento superior y aceleraciones significativas respecto a los métodos de vanguardia.

Autores originales: Heng Zhang, Haotian Xiang, Qin Lu, Konstantinos D. Polyzos, Tara Javidi

Publicado 2026-08-26

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Heng Zhang, Haotian Xiang, Qin Lu, Konstantinos D. Polyzos, Tara Javidi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, muchos problemas son como intentar encontrar el pico más alto en una vasta cordillera brumosa sin un mapa. Solo puedes ver el suelo directamente bajo tus pies, y cada paso que das para explorar cuesta tiempo y energía. Este es el desafío de optimizar funciones costosas y misteriosas, una tarea que impulsa todo, desde el diseño de nuevos fármacos hasta el ajuste de los parámetros de complejos modelos informáticos. Para navegar por esta niebla, los científicos utilizan una estrategia llamada optimización bayesiana. Construyen un mapa probabilístico, una especie de conjetura educada sobre el terreno, que les ayuda a decidir dónde buscar a continuación. Este mapa se apoya en una herramienta matemática llamada núcleo (kernel), que actúa como una lente, determinando cómo el sistema entiende la relación entre dos puntos en el espacio. Si la lente es demasiado borrosa o tiene la forma incorrecta, el mapa se vuelve engañoso y la búsqueda de la mejor solución fracasa.

Durante años, los investigadores han luchado con una elección difícil. Podían elegir una única lente y esperar que se ajustara al terreno, arriesgándose a una conjetura errónea, o podían intentar dar cuenta de cada posible variación de esa lente ejecutando miles de simulaciones informáticas pesadas y lentas. El primer método es rápido pero a menudo erróneo; el segundo es preciso pero tan lento que se vuelve impracticable. Un equipo de investigadores de la Universidad de Georgia y la Universidad de California en San Diego ha propuesto ahora un nuevo camino a seguir. Llaman a su enfoque KENDO, un sistema que deja de intentar adivinar la lente perfecta y, en su lugar, construye un equipo de diferentes lentes, cada una con su propia perspectiva. Al permitir que estas diferentes visiones discrepen y aprender de esa discrepancia, el sistema puede navegar por la niebla de manera eficiente sin el pesado coste computacional de los métodos antiguos.

El núcleo de este nuevo enfoque es un cambio en la forma en que la computadora gestiona la incertidumbre. Tradicionalmente, cuando un sistema no estaba seguro de la forma del terreno, ejecutaba una simulación masiva para muestrear miles de posibilidades, un proceso que toma mucho tiempo. El nuevo método reemplaza esto con una colección de modelos distintos, cada uno utilizando un tipo diferente de núcleo, o lente. En lugar de pedirle a la computadora que imagine miles de variaciones leves de una sola lente, simplemente le pide que compare algunas lentes diferentes por completo. El sistema pondera entonces estas lentes basándose en qué tan bien se han desempeñado hasta el momento. Si una lente predice el terreno de manera más consistente que las otras, el sistema le otorga más influencia. Esto crea un equipo dinámico donde los mejores modelos marcan el camino, y el sistema aprende en qué lente confiar a medida que recopila más datos.

Lo que hace que este enfoque sea particularmente ingenioso es cómo utiliza el desacuerdo entre estos modelos para guiar la búsqueda. En los métodos antiguos, el sistema buscaba lugares donde fuera más incierto. El nuevo sistema busca lugares donde las diferentes lentes del equipo discrepan fuertemente entre sí. Si una lente piensa que el suelo es alto y otra piensa que es bajo, ese punto es un candidato principal para la investigación. Al enfocarse en estos puntos de conflicto, el sistema aprende no solo dónde podría estar la mejor solución, sino también qué lente es la más fiable para el problema específico en cuestión. Este proceso de aprendizaje dual permite que el sistema corrija sus propios errores sobre la marcha, refinando su mapa en tiempo real sin necesidad de reiniciar o ejecutar simulaciones costosas.

Los investigadores probaron esta idea en una amplia variedad de desafíos, que van desde simples acertijos matemáticos hasta complejos problemas de ingeniería del mundo real. En el ámbito de la optimización de un solo objetivo, donde la meta es encontrar la mejor solución única, su nuevo sistema igualó o superó el rendimiento de los métodos más avanzados disponibles hoy en día. Más importante aún, lo hizo funcionando hasta cinco veces más rápido. En el campo del aprendizaje activo, donde el objetivo es aprender una función con la menor cantidad de puntos de datos posible, el nuevo método fue aún más dramático, logrando resultados hasta veintisiete veces más rápidos que el estándar anterior. Estas aceleraciones son significativas porque significan que problemas que antes tomaban horas o días para resolverse ahora pueden abordarse en minutos, abriendo la puerta a aplicaciones más complejas y frecuentes.

El equipo también extendió este método para manejar situaciones donde no hay una única "mejor" respuesta, sino un conjunto de objetivos contrapuestos, como intentar que un automóvil sea tanto más seguro como más eficiente en el consumo de combustible. En estos escenarios multi-objetivo, el sistema utiliza una técnica llamada escalarización aleatoria, que combina temporalmente los diferentes objetivos en una sola puntuación para guiar la búsqueda. Esto permite al sistema explorar todo el rango de compensaciones sin estancarse en la complejidad de resolver múltiples objetivos a la vez. Los resultados mostraron que este enfoque podía mapear eficazmente los mejores compromisos, superando a los métodos existentes en pruebas de referencia del mundo real, como el diseño de seguridad vehicular y la producción de antibióticos.

A pesar de estos éxitos, los investigadores reconocen que su método no es una solución mágica para cada situación. El sistema depende de aproximar la visión combinada de las diferentes lentes, lo que podría subestimar ligeramente la incertidumbre si las lentes son muy diferentes entre sí. Además, el equipo todavía necesita seleccionar manualmente el conjunto inicial de lentes para usar, aunque sugieren que el trabajo futuro podría automatizar esta selección. No obstante, los hallazgos representan un paso sustancial hacia adelante para hacer que los sistemas de búsqueda inteligente sean más rápidos y fiables. Al convertir el problema de la incertidumbre del modelo en una fortaleza a través de la diversidad y el desacuerdo, los investigadores han demostrado que un equipo de modelos simples y especializados puede, a menudo, superar a uno solo, excesivamente complejo. Este enfoque ofrece un camino práctico para los científicos e ingenieros que necesitan encontrar las mejores soluciones en un mundo de tiempo y recursos limitados.

Resumen Técnico: Mejora de la Optimización Bayesiana y el Aprendizaje Activo mediante la Diversidad de Kernels

Planteamiento del Problema

La Optimización Bayesiana (BO) y el Aprendizaje Activo Bayesiano (BAL) dependen de modelos sustitutos probabilísticos, típicamente Procesos Gaussianos (GP), para guiar el muestreo secuencial. Un cuello de botella crítico en estos paradigmas es la selección de hiperparámetros (por ejemplo, la elección del kernel y los parámetros de longitud de escala).

Estimación de Punto: Los métodos tradicionales maximizan la verosimilitud marginal para encontrar un único conjunto de hiperparámetros. Aunque este enfoque es computacionalmente eficiente, es vulnerable a la especificación errónea del modelo y al sobreajuste, particularmente en las etapas iniciales de optimización.
Tratamiento Completamente Bayesiano: Los enfoques totalmente bayesianos integran sobre las posteriores de los hiperparámetros utilizando el muestreo de Cadenas de Markov Monte Carlo (MCMC). Si bien esto da cuenta de la incertidumbre, incurre en costos computacionales prohibitivos, especialmente cuando se muestrea de posteriores multimodales o de alta dimensión.
Especificación Errónea del Kernel: Más allá de los hiperparámetros, la elección de la familia de kernels en sí misma es una fuente de especificación errónea. No existe un único kernel (por ejemplo, RBF, Matérn) que sea universalmente óptimo en diferentes paisajes de problemas. Los métodos de ensamble existentes a menudo seleccionan un único modelo GP o no logran aprovechar el desacuerdo entre los modelos durante la fase de adquisición.

Metodología: KENDO

El artículo propone KENDO (Kernel ENsemble Disagreement-aware Operator), un marco unificado que reemplaza el muestreo de hiperparámetros por un Proceso Gaussiano de Ensamble (EGP) explícito y un pesaje bayesiano adaptativo. El mecanismo central desplaza la fuente de incertidumbre del muestreo de hiperparámetros de un único kernel hacia el desacuerdo estructural entre un conjunto diverso de kernels.

1. Modelo Sustituto de Ensamble
En lugar de muestrear hiperparámetros para un solo kernel, KENDO mantiene un diccionario de $M$ kernels $\mathcal{K} = \{\kappa_1, \dots, \kappa_M\}$ .

Cada kernel $m$ tiene su propio GP con hiperparámetros $\hat{\theta}_m$ ajustados mediante la maximización de la verosimilitud marginal.
El ensamble forma un prior de mezcla gaussiana. La posterior se aproxima mediante el ajuste de momentos (moment matching) para producir un resumen gaussiano único con media $\bar{\mu}_t(x)$ y varianza $\bar{\sigma}^2_t(x)$ .
La descomposición de la varianza separa explícitamente la incertidumbre dentro del GP (ruido intrínseco) y el desacuerdo entre los GPs (incertidumbre del modelo debido a la elección del kernel).
Los pesos $w^m_t$ se actualizan adaptativamente mediante el Promedio de Modelos Bayesianos basado en la verosimilitud marginal de cada kernel.

2. Funciones de Adquisición Sensibles al Desacuerdo
KENDO deriva funciones de adquisición que miden el desacuerdo entre la posterior marginal del ensamble y las posteriores condicionadas.

KENDO-BO (Optimización):
- Adapta el concepto de SCoreBO de condicionar sobre optimizadores muestreados.
  - Para cada kernel $m$ y muestra $n$ , se extrae una realización de la función, se encuentra su optimizador $x^*_{m,n}$ , y el GP se condiciona sobre este óptimo "fantasma".
- La función de adquisición $\alpha(x)$ agrega la distancia de Hellinger entre la posterior marginal del ensamble y la posterior de cada kernel condicionada al optimizador.
- Objetivo: Consultar puntos donde saber la ubicación del óptimo causaría que la predicción del ensamble se revise significativamente, equilibrando la exploración y la selección de modelos.
KENDO-AL (Aprendizaje Activo):
- Elimina el condicionamiento del optimizador, ya que el objetivo es la aproximación global de la función en lugar de encontrar un óptimo específico.
- Mide la distancia de Hellinger entre la posterior marginal del ensamble y la posterior de cada componente individual del kernel.
- Objetivo: Consultar puntos donde la identidad del kernel tenga el máximo impacto en las predicciones, priorizando regiones de alta incertidumbre del modelo.

3. Extensión a la Optimización Multiobjetivo (MOBO)
Para extender KENDO a la Optimización Multiobjetivo de Pareto (MOBO), los autores emplean una estrategia de escalarización aleatoria:

Se mantienen EGPs independientes para cada objetivo.
En cada iteración, se extraen vectores de peso aleatorios $\lambda_s$ de una distribución de Dirichlet simétrica para escalar los objetivos.
Se encuentra un único optimizador para el objetivo escalarizado utilizando Características de Fourier Aleatorias (RFF).
La función de adquisición agrega las distancias de Hellinger a través de los objetivos y las muestras de escalarización. Esto preserva la estructura eficiente de condicionamiento de optimizador único mientras asegura la cobertura del frente de Pareto, evitando la difusión computacional causada por el condicionamiento en conjuntos de Pareto completos.

Contribuciones Clave

Marco Unificado: Propone KENDO, que unifica el modelado de ensamble y la optimización autocorrectiva al reemplazar el muestreo de hiperparámetros de MCMC con un ensamble de kernels discretos.
Adquisición Eficiente: Deriva una función de adquisición computacionalmente eficiente basada en el desacuerdo entre las posteriores marginales y condicionadas del ensamble, eliminando la necesidad de un costoso muestreo MCMC.
Extensión MOBO: Introduce un enfoque de escalarización aleatoria para la optimización multiobjetivo que mantiene la estructura de condicionamiento de optimizador único, evitando la complejidad de los resolvedores multiobjetivo.
Generalización al Aprendizaje Activo: Demuestra que el mecanismo de ensamble se generaliza al Aprendizaje Activo Bayesiano (KENDO-AL), logrando una calibración predictiva superior a las líneas base de MCMC.

Resultados Experimentales

Se realizaron extensas pruebas numéricas en benchmarks sintéticos y del mundo real a través de optimización de un solo objetivo, optimización multiobjetivo y aprendizaje activo.

Optimización de un Solo Objetivo (BO): KENDO-BO logra un rendimiento de optimización competitivo o superior (medido por el regret simple) en comparación con los métodos de vanguardia (incluyendo SCoreBO, PES y JES) en nueve benchmarks. Reduce la carga computacional hasta en un 5× en comparación con los métodos basados en MCMC.
Optimización Multiobjetivo (MOBO): KENDO-MO logra la menor diferencia de log10 de hipervolumen en la mayoría de los benchmarks. Crucialmente, supera a una variante que condiciona sobre frentes de Pareto muestreados (KENDO-MO-PF), validando la eficacia de la estrategia de escalarización aleatoria.
Aprendizaje Activo (AL): KENDO-AL logra una calibración predictiva superior (menor log-verosimilitud negativa) en siete benchmarks en comparación con BALD, BQBC y SAL. Logra una aceleración de 27× sobre la línea base de SAL basada en MCMC.
Estudios de Ablación: Confirman que el pesaje bayesiano adaptativo supera al promedio uniforme y que el ensamble exhibe un comportamiento de "el ganador se lo lleva todo" cuando existe un kernel superior, manteniendo la diversidad en otros casos.

Significancia y Reivindicaciones

El artículo sostiene que la diversidad de la familia de kernels es una fuente de incertidumbre del modelo crítica y a menudo pasada por alto. Al modelar explícitamente esta diversidad a través de un ensamble y aprovechar el desacuerdo para la adquisición, KENDO ofrece una alternativa práctica a los tratamientos totalmente bayesianos.

Eficiencia vs. Precisión: El marco demuestra que se puede lograr la robustez de los métodos totalmente bayesianos (manejo de la especificación errónea del modelo) sin el costo computacional prohibitivo de MCMC.
Escalabilidad: El método escala significativamente mejor que los enfoques basados en MCMC, haciendo que la cuantificación de la incertidumbre de estilo totalmente bayesiano sea factible para presupuestos más grandes y aplicaciones del mundo real.
Enfoque Unificado: Establece un mecanismo de autocorrección común tanto para la optimización (encontrar óptimos) como para el aprendizaje activo (aprender funciones), impulsado por el mismo principio de medir el desacuerdo entre estructuras de modelos.

Limitaciones Notadas por los Autores:
El marco actual depende del ajuste de momentos para aproximar las posteriores de la mezcla gaussiana, lo que puede subestimar la incertidumbre en casos con predicciones de kernels altamente dispares. Además, el diccionario de kernels requiere una especificación manual, aunque los autores sugieren la construcción automática mediante la composición de kernels como una dirección futura.