📊 statistics

On the Brittleness of Maximum Likelihood Estimation for Gaussian Process Hyperparameter Optimization

Este artículo investiga la fragilidad de la Estimación de Máxima Verosimilitud (MLE) en el entrenamiento de Procesos Gaussianos, demostrando que cuando los supuestos subyacentes se violan, la MLE conduce a una generalización deficiente, y propone soluciones prácticas con base teórica que superan a los métodos existentes en precisión, cuantificación de la incertidumbre y costo de inferencia para tareas de ingeniería de uso descendente.

Autores originales: Tyler R. Johnson, Kian Ben-Jacob, Christopher P. Muller, Ramin Bostanabad

Publicado 2026-08-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tyler R. Johnson, Kian Ben-Jacob, Christopher P. Muller, Ramin Bostanabad

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio, pero en lugar de una escena del crimen, estás observando un montón desordenado de puntos de datos esparcidos sobre una mesa. Tu objetivo es trazar una línea suave (o una forma compleja) a través de esos puntos para predecir qué sucederá después. En el mundo de la ingeniería y la ciencia, esto se llama "aprendizaje automático" (machine learning), y es la salsa secreta detrás de todo, desde el diseño de puentes más seguros hasta la predicción de cómo se comportará un nuevo fármaco.

Para trazar esa línea, el detective necesita un libro de reglas, o una "función de pérdida" (loss function), que le diga qué tan cerca está su suposición de la verdad. Durante décadas, el libro de reglas más popular se ha llamado Estimación de Máxima Verosimilitud (MLE, por sus siglas en inglés). Piensa en el MLE como un profesor muy estricto que dice: "Tu trabajo es hacer que tu modelo explique los datos que tienes perfectamente". Si los datos parecen una curva suave, el MLE intenta ajustar una curva suave. Si los datos parecen ruidosos, el MLE intenta explicar el ruido. Es intuitivo y poderoso, pero tiene una debilidad secreta: asume que el mundo es exactamente como el profesor piensa que es. Si los datos son desordenados, el profesor se confunde, y el modelo puede parecer perfecto en clase (en los datos de entrenamiento) pero fallar estrepitosamente en el examen final (predicciones en el mundo real).

Recientemente, ha llegado un nuevo tipo de detective: el "Modelo de Fundación" (Foundation Model). Estos son sistemas de IA superinteligentes y preentrenados (como TabPFN) que ya han visto millones de problemas inventados. No necesitan aprender desde cero; simplemente miran tus datos e instantáneamente adivinan la respuesta. Son rápidos y, a menudo, muy buenos. Pero aquí surge la gran pregunta: ¿Está el viejo y estricto profesor (MLE) realmente roto, o podemos simplemente enseñarle mejor? Y ¿es el nuevo superdetective realmente mejor, o solo tiene suerte?

Este artículo, escrito por un equipo de ingenieros de la Universidad de California, Irvine, profundiza en este debate. Tratan la "fragilidad" del viejo profesor (MLE) como si fuera un jarrón de cristal delicado. Se preguntan: "Si agitamos el jarrón un poco (añadiendo ruido) o lo miramos desde un ángulo extraño (dimensiones altas), ¿se hará añicos?".

Los autores realizaron un experimento masivo que involucró más de 3,000 simulaciones diferentes. Probaron al viejo profesor (Procesos Gaussianos entrenados con MLE) contra el nuevo superdetective (TabPFN) en todo tipo de acertijos, desde curvas simples hasta problemas de ingeniería complejos y multidimensionales.

Esto es lo que encontraron. Primero, confirmaron que el viejo profesor es, de hecho, frágil. Cuando los datos son escasos o el problema es complicado, el MLE a menudo se queda atrapado en un "óptimo local". Imagina a un excursionista intentando encontrar la cima más alta en una cadena montañosa con niebla. El MLE es como un excursionista que solo mira el suelo inmediatamente alrededor de sus pies. Si comienzan en un pequeño valle, pueden pensar que han encontrado la cima porque no pueden ver las cimas más altas que hay cerca. Esto conduce a modelos que se ven geniales en los datos con los que fueron entrenados, pero que son terribles para predecir cosas nuevas.

Sin embargo, el artículo no dice "tiren el MLE a la basura". En cambio, descubrieron que si le das al excursionista un mejor mapa y una linterna, aún pueden ganar. Al cambiar la forma en que el profesor mira los números (usando una transformación de "escala logarítmica") y al permitir que el profesor intente comenzar desde muchos lugares diferentes en la montaña (múltiples inicializaciones), el viejo profesor se vuelve mucho más robusto. Con estos sencillos ajustes, los modelos entrenados con MLE se volvieron increíblemente precisos, superando a menudo al nuevo superdetective en la predicción no solo de la respuesta, sino también de qué tan seguro estaba de esa respuesta.

El estudio también comparó estos modelos en un escenario del mundo real llamado "Optimización Bayesiana", que es como intentar encontrar la mejor receta para un pastel probando solo unos pocos bocados a la vez. Aquí, el viejo profesor (cuando se ajusta correctamente) fue a menudo más rápido y eficiente que el nuevo superdetective. El superdetective es genial para adivinar sin entrenamiento, pero se vuelve lento y costoso cuando tienes que hacerle un millón de preguntas. El viejo profesor, una vez entrenado, es increíblemente rápido.

Al final, el artículo sugiere que no deberíamos abandonar ciegamente los métodos antiguos y confiables por los nuevos y brillantes. La "fragilidad" de la Estimación de Máxima Verosimilitud no es un fallo fatal; es un error que se puede corregir con mejores herramientas y un poco más de paciencia. Si bien los nuevos modelos de fundación son impresionantes, un Proceso Gaussiano cuidadosamente ajustado aún puede ser el campeón de la precisión, la incertidumbre y la velocidad para muchas tareas de ingeniería. La clave no es cambiar de equipo, sino asegurarse de que su entrenador sepa entrenar adecuadamente al jugador.

Resumen Técnico: Sobre la fragilidad de la Estimación de Máxima Verosimilitud para la optimización de hiperparámetros de Procesos Gaussianos

Planteamiento del problema

El aprendizaje automático (ML) se ha vuelto integral en los flujos de trabajo de diseño de ingeniería, sirviendo a menudo como sustitutos de simulaciones o experimentos costosos. Un paso crítico para entrenar estos modelos es la selección de una función de pérdida, siendo la Estimación de Máxima Verosimilitud (MLE, por sus siglas en inglés) el enfoque más adoptado debido a sus fundamentos estadísticos y su tractabilidad computacional. Sin embargo, la MLE es inherentemente frágil: sus garantías teóricas dependen de supuestos como la correcta especificación del modelo, observaciones independientes y conjuntos de datos suficientemente grandes, condiciones que se violan frecuentemente en problemas prácticos de diseño de ingeniería.

Cuando estos supuestos fallan, los modelos optimizados mediante MLE pueden ajustarse bien a los datos de entrenamiento pero generalizar mal, un desajuste particularmente perjudicial en flujos de trabajo que requieren cuantificación de la incertidumbre (UQ), como la Optimización Bayesiana (BO). Esta fragilidad afecta incluso a los Procesos Gaussianos (GP), que a menudo se presume erróneamente que son robustos contra el sobreajuste. Además, la aparición de modelos fundacionales (FM) como TabPFN, que utilizan mecanismos de inferencia preentrenados para evitar el entrenamiento por cada problema, plantea interrogantes sobre la eficacia comparativa de los GP tradicionales entrenados con MLE frente a los modelos fundacionales modernos.

Metodología

Los autores evalúan sistemáticamente la fragilidad de la MLE al entrenar GP para tareas de regresión y clasificación, comparándolos con TabPFN (versiones 2.0 y 2.5). El estudio abarca 3,170 simulaciones independientes a través de diversos niveles de ruido, tamaños de conjunto de datos ( $N = 5D_x$ y $N = 20D_x$ ) y dimensionalidades de entrada ( $D_x \in \{4, 10, 20, 40, 80\}$ ).

Mitigaciones propuestas para la MLE

En lugar de abandonar la MLE, el artículo propone estrategias prácticas para mitigar su fragilidad:

Reparametrización: Transformar los hiperparámetros a escala logarítmica (por ejemplo, representando las escalas de longitud como $10^\omega$ ) para asegurar gradientes grandes y eliminar restricciones, facilitando una mejor convergencia.
Suavizado de restricción (Soft Clamping): Introducir una función de suavizado de restricción para acotar los hiperparámetros durante la optimización, evitando la inestabilidad numérica sin causar un comportamiento no suave en los límites.
Multi-inicialización: Emplear diseños de llenado de espacio para múltiples inicializaciones aleatorias (por defecto 16) para reducir el riesgo de converger a óptimos locales deficientes.
Funciones de pérdida alternativas: El estudio evalúa alternativas como la log-pseudo-verosimilitud de Leave-One-Out (LOO), Kernel Flows y reglas de puntuación adecuadas (NIS, CRPS), aunque señala que LOO puede ser sensible y los Kernel Flows carecen de capacidades nativas de UQ.

Configuración experimental

Regresión: Se probaron nueve problemas de referencia (ej. Ackley, Rosenbrock, Buckling) utilizando RRMSE para precisión y el Interval Score Normalizado (NIS) para UQ.
Optimización Bayesiana: Se realizaron ensayos de BO en los mismos benchmarks, comparando el BO basado en GP (reentrenando mediante MLE en cada paso) frente al BO basado en TabPFN (aprendizaje en contexto).
Clasificación: Se utilizaron cuatro conjuntos de datos (Electrical Grid, Truss 6D, Stellar, Steel Plates) para evaluar la precisión y el Error de Calibración Esperado (ECE), utilizando una construcción de objetivo de Dirichlet para convertir la clasificación en un problema de regresión para los GP.
Líneas base: Las comparaciones incluyeron GPyTorch (MLE estándar), GP+ (la implementación de los autores con las mitigaciones propuestas) y versiones de TabPFN.

Resultados clave

Rendimiento de regresión

MLE vs. Alternativas: Los GP entrenados con las mitigaciones de MLE propuestas (GP+) generalmente funcionaron a la par o mejor que TabPFN 2.5 en términos de precisión de predicción (RRMSE) y UQ (NIS).
Sensibilidad del Kernel y de la Pérdida: Aunque GP+ (PE) (núcleo de potencia exponencial) y GP+ (LOO) mostraron un rendimiento superior en regímenes específicos de alta dimensionalidad o pocos datos, fueron inconsistentes. GP+ (LOO) a menudo sufrió de una mala UQ en regímenes de pocos datos debido al exceso de confianza (intervalos de predicción estrechos).
Régimen de datos: En escenarios de pocos datos y alto ruido, la GPyTorch estándar a menudo fallaba (aprendiendo valores constantes), mientras que GP+ con mitigaciones se mantuvo robusto. En regímenes de muchos datos, las variantes de GP+ superaron consistentemente a TabPFN en la mayoría de los benchmarks, excepto en la función Zakharov, donde TabPFN destacó debido a un mejor manejo de la escala de observación.
Preprocesamiento: El preprocesamiento de la escala logarítmica del objetivo mejoró significativamente el rendimiento del GP en el problema de Buckling, mientras que TabPFN se mantuvo robusto a tales elecciones de escalado.

Optimización Bayesiana

Eficiencia vs. Precisión: El BO basado en GP generalmente se acercó a los óptimos más rápido que el BO basado en TabPFN en la mayoría de los benchmarks (ej. Buckling, Borehole).
Compromiso computacional: TabPFN elimina los costos de reentrenamiento por iteración pero incurre en altos costos de inferencia al evaluar funciones de adquisición sobre grandes grupos de candidatos (ya que la optimización basada en gradientes es inviable). Por el contrario, los GP requieren reentrenamiento pero admiten funciones de adquisición analíticas y predicciones rápidas. En regímenes de pocos datos donde el reentrenamiento de GP es económico, los GP resultaron computacionalmente competitivos o superiores.

Rendimiento de clasificación

Selección de Kernel: La relación entre la pérdida de entrenamiento y el rendimiento de prueba no fue estricta. Por ejemplo, el núcleo Matérn ( $\nu=0.5$ ) tuvo la mayor pérdida de entrenamiento pero logró el ECE más bajo y la mayor precisión en el conjunto de datos Steel Plates.
TabPFN vs. GP+: TabPFN 2.5 mantuvo una ligera ventaja en precisión y calibración en la mayoría de las tareas de clasificación, particularmente aquellas que involucran variables categóricas y configuraciones multiclase. Sin embargo, esta ventaja disminuyó a medida que el tamaño del conjunto de entrenamiento ( $N$ ) aumentaba, con las variantes de GP+ superando a TabPFN en precisión en el conjunto de datos Electrical Grid para $N \ge 200$ .

Significancia y contribuciones

El artículo sostiene que, si bien la MLE es el paradigma dominante para el entrenamiento de GP, su efectividad depende altamente de detalles de implementación que a menudo se pasan por alto en la práctica. Las principales contribuciones son:

Demostración de la fragilidad: El estudio proporciona evidencia empírica extensa de que los GP entrenados con MLE pueden fallar sistemáticamente en contextos de ingeniería debido a paisajes de optimización no convexos y de especificación incorrecta del modelo, particularmente en entornos de pocos datos y alta dimensionalidad.
Remedios prácticos: Los autores demuestran que intervenciones simples y prácticas (reparametrización de escala logarítmica, suavizado de restricción, multi-inicialización) pueden mitigar sustancialmente los fallos de la MLE sin abandonar el marco de trabajo.
Análisis comparativo con modelos fundacionales: El trabajo ofrece una comparación rigurosa entre los métodos probabilísticos clásicos (GP) y los modelos fundacionales emergentes (TabPFN). Concluye que los GP entrenados con una MLE cuidadosamente implementada siguen siendo altamente competitivos, superando a menudo a TabPFN en precisión de predicción, calidad de UQ y costo de inferencia, particularmente en los rangos de dimensionalidad explorados ( $D_x < 100$ ).
Guía para profesionales: El artículo proporciona una guía para construir GP precisos y robustos que puedan igualar o exceder a los modelos fundacionales, enfatizando que invertir en una implementación adecuada de la MLE es a menudo más efectivo que cambiar de funciones de pérdida o de modelos por completo.

Los autores señalan que sus hallazgos se basan en benchmarks analíticos con ruido Gaussiano y sugieren que el trabajo futuro debería extenderse a ruido no Gaussiano, conjuntos de datos del mundo real y tareas derivadas como el modelado de multi-fidelidad. También destacan el valor potencial de la meta-aprendizaje de hiperparámetros de GP inspirados en el paradigma de entrenamiento de TabPFN para reducir aún más la sensibilidad a la inicialización.