📊 statistics

On the Brittleness of Maximum Likelihood Estimation for Gaussian Process Hyperparameter Optimization

Este artigo investiga a fragilidade da Estimativa de Máxima Verossimilhança (MLE) no treinamento de Processos Gaussianos, demonstrando que, quando as suposições subjacentes são violadas, a MLE leva a uma generalização deficiente, e propõe soluções práticas, fundamentadas teoricamente, que superam os métodos existentes em precisão, quantificação de incerteza e custo de inferência para tarefas de engenharia subsequentes.

Autores originais: Tyler R. Johnson, Kian Ben-Jacob, Christopher P. Muller, Ramin Bostanabad

Publicado 2026-08-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tyler R. Johnson, Kian Ben-Jacob, Christopher P. Muller, Ramin Bostanabad

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas em vez de uma cena de crime, você está olhando para uma pilha bagunçada de pontos de dados espalhados sobre uma mesa. Seu objetivo é desenhar uma linha suave (ou uma forma complexa) através desses pontos para prever o que acontece a seguir. No mundo da engenharia e da ciência, isso é chamado de "aprendizado de máquina", e é o ingrediente secreto por trás de tudo, desde o projeto de pontes mais seguras até a previsão de como um novo medicamento se comportará.

Para desenhar essa linha, o detetive precisa de um livro de regras, ou uma "função de perda", para dizer o quão perto sua suposição está da verdade. Por décadas, o livro de regras mais popular tem sido chamado de Estimativa de Máxima Verossimilhança (MLE). Pense na MLE como um professor muito rigoroso que diz: "Seu trabalho é fazer com que seu modelo explique os dados que você tem perfeitamente". Se os dados parecem uma curva suave, a MLE tenta ajustar uma curva suave. Se os dados parecem ruidosos, ela tenta explicar o ruído. É intuitivo e poderoso, mas tem uma fraqueza secreta: assume que o mundo é exatamente da maneira que o professor pensa que é. Se os dados forem bagunçados, o professor fica confuso, e o modelo pode parecer perfeito na aula (nos dados de treinamento), mas falhar miseravelmente no exame final (previsões do mundo real).

Recentemente, um novo tipo de detetive chegou: o "Modelo de Fundação". Estes são sistemas de IA superinteligentes e pré-treinados (como o TabPFN) que já viram milhões de problemas fictícios. Eles não precisam aprender do zero; eles apenas olham para seus dados e adivinham a resposta instantaneamente. Eles são rápidos e frequentemente muito bons. Mas aqui está a grande questão: o velho professor rigoroso (MLE) está realmente quebrado ou podemos apenas ensiná-lo melhor? E este novo superdetetive é realmente melhor ou apenas sortudo?

Este artigo, escrito por uma equipe de engenheiros da Universidade da Califórnia, Irvine, mergulha fundo nesse debate. Eles tratam a "fragilidade" do velho professor (MLE) como um vaso de vidro delicado. Eles perguntam: "Se sacudirmos o vaso um pouco (adicionando ruído) ou o olharmos de um ângulo estranho (altas dimensões), ele se estilhaça?"

Os autores realizaram um experimento massivo envolvendo mais de 3.000 simulações diferentes. Eles testaram o velho professor (Processos Gaussianos treinados com MLE) contra o novo superdetetive (TabPFN) em diversos tipos de enigmas, desde curvas simples até problemas de engenharia complexos e multidimensionais.

Aqui está o que eles descobriram. Primeiro, eles confirmaram que o velho professor é, de fato, frágil. Quando os dados são escassos ou o problema é complicado, a MLE frequentemente fica presa em um "ótimo local". Imagine um trilheiro tentando encontrar o pico mais alto em uma cadeia de montanhas com neblina. A MLE é como um trilheiro que olha apenas para o chão imediatamente ao redor de seus pés. Se eles começarem em um pequeno vale, podem pensar que encontraram o topo porque não conseguem ver os picos mais altos por perto. Isso leva a modelos que parecem ótimos nos dados em que foram treinados, mas são terríveis ao prever coisas novas.

No entanto, o artigo não diz "jogue a MLE no lixo". Em vez disso, eles descobriram que, se você der ao trilheiro um mapa melhor e uma lanterna, ele ainda pode vencer. Ao mudar a forma como o professor olha para os números (usando uma transformação de "escala logarítmica") e ao permitir que o professor tente começar de muitos lugares diferentes na montanha (múltiplas inicializações), o velho professor torna-se muito mais robusto. Com esses ajustes simples, os modelos treinados com MLE tornaram-se incrivelmente precisos, muitas vezes superando o novo superdetetive na previsão não apenas da resposta, mas também de quão certo eles estavam dessa resposta.

O estudo também comparou esses modelos em um cenário do mundo real chamado "Otimização Bayesiana", que é como tentar encontrar a melhor receita para um bolo provando apenas algumas mordidas de cada vez. Aqui, o velho professor (quando ajustado corretamente) era frequentemente mais rápido e eficiente do que o novo superdetetive. O superdetetive é ótimo em adivinhar sem treinamento, mas torna-se lento e caro quando você precisa fazer um milhão de perguntas a ele. O velho professor, uma vez treinado, é extremamente rápido.

No fim, o artigo sugere que não devemos abandonar cegamente os métodos antigos e confiáveis pelos novos e brilhantes. A "fragilidade" da Estimativa de Máxima Verossimilhança não é uma falha fatal; é um erro que pode ser corrigido com melhores ferramentas e um pouco mais de paciência. Embora os novos modelos de fundação sejam impressionantes, um Processo Gaussiano cuidadosamente ajustado ainda pode ser o campeão de precisão, incerteza e velocidade para muitas tarefas de engenharia. A chave não é trocar de equipe, mas garantir que seu treinador saiba treinar o jogador adequadamente.

Resumo Técnico: Sobre a Fragilidade da Estimativa de Máxima Verossimilhança para Otimização de Hiperparâmetros de Processos Gaussianos

Declaração do Problema

O aprendizado de máquina (ML) tornou-se integrante dos fluxos de trabalho de design de engenharia, servindo frequentemente como substitutos para simulações ou experimentos dispendiosos. Uma etapa crítica para treinar esses modelos é a seleção de uma função de perda, sendo a Estimativa de Máxima Verossimilhança (MLE) a abordagem mais amplamente adotada devido às suas fundações estatísticas e tratabilidade computacional. No entanto, a MLE é inerentemente frágil: suas garantias teóricas dependem de suposições como especificação correta do modelo, observações independentes e conjuntos de dados suficientemente grandes — condições frequentemente violadas em problemas práticos de design de engenharia.

Quando essas suposições falham, os modelos otimizados por MLE podem ajustar bem os dados de treinamento, mas generalizar mal, um descompasso particularmente prejudicial em fluxos de trabalho que exigem quantificação de incerteza (UQ), como a Otimização Bayesiana (BO). Essa fragilidade afeta até mesmo os Processos Gaussianos (GPs), que são frequentemente presumidos, de forma incorreta, como robustos contra o sobreajuste (overfitting). Além disso, a emergência de modelos de fundação (FMs) como o TabPFN, que utilizam mecanismos de inferência pré-treinados para contornar o treinamento por problema, levanta questões sobre a eficácia comparativa entre os GPs tradicionais treinados por MLE versus os modernos FMs.

Metodologia

Os autores avaliam sistematicamente a fragilidade da MLE no treinamento de GPs para tarefas de regressão e classificação, comparando-os com o TabPFN (versões 2.0 e 2.5). O estudo abrange 3.170 simulações independentes através de níveis de ruído variáveis, tamanhos de conjunto de dados ( $N = 5D_x$ e $N = 20D_x$ ) e dimensionalidades de entrada ( $D_x \in \{4, 10, 20, 40, 80\}$ ).

Mitigações Propostas para MLE

Em vez de abandonar a MLE, o artigo propõe estratégias práticas para mitigar sua fragilidade:

Reparametrização: Transformar hiperparâmetros em escala logarítmica (por exemplo, representando escalas de comprimento como $10^\omega$ ) para garantir gradientes grandes e remover restrições, facilitando uma melhor convergência.
Clamping Suave (Soft Clamping): Introduzir uma função de clamp suave para limitar hiperparâmetros durante a otimização, evitando instabilidade numérica sem causar comportamento não suave nas fronteiras.
Múltiplas Inicializações: Empregar designs de preenchimento de espaço para múltiplas inicializações aleatórias (padronizando para 16) para reduzir o risco de convergência para ótimos locais ruins.
Funções de Perda Alternativas: O estudo avalia alternativas como a log-pseudo-verossimilhança Leave-One-Out (LOO), Kernel Flows e regras de pontuação adequadas (NIS, CRPS), embora note que o LOO pode ser sensível e os Kernel Flows carecem de capacidades nativas de UQ.

Configuração Experimental

Regressão: Nove problemas de referência (ex: Ackley, Rosenbrock, Buckling) foram testados usando RRMSE para precisão e o Intervalo de Score Normalizado (NIS) para UQ.
Otimização Bayesiana: Ensaios de BO foram conduzidos nos mesmos benchmarks, comparando o BO baseado em GP (retreinamento via MLE a cada etapa) contra o BO baseado em TabPFN (aprendizado em contexto).
Classificação: Quatro conjuntos de dados (Electrical Grid, Truss 6D, Stellar, Steel Plates) foram usados para avaliar precisão e Erro de Calibração Esperado (ECE), utilizando uma construção de alvo de Dirichlet para converter a classificação em um problema de regressão para os GPs.
Linhas de Base (Baselines): As comparações incluíram GPyTorch (MLE padrão), GP+ (a implementação dos autores com as mitigações propostas) e versões do TabPFN.

Principais Resultados

Desempenho de Regressão

MLE vs. Alternativas: GPs treinados com as mitigações de MLE propostas (GP+) geralmente apresentaram desempenho equivalente ou superior ao TabPFN 2.5 em termos de precisão de predição (RRMSE) e UQ (NIS).
Sensibilidade de Kernel e Perda: Embora o GP+ (PE) (Power Exponential kernel) e o GP+ (LOO) tenham mostrado desempenho superior em regimes específicos de alta dimensionalidade ou baixos dados, eles foram inconsistentes. O GP+ (LOO) frequentemente sofreu de baixa UQ em regimes de poucos dados devido ao excesso de confiança (intervalos de predição estreitos).
Regime de Dados: Em cenários de poucos dados e alto ruído, o GPyTorch padrão frequentemente falhava (aprendendo valores constantes), enquanto o GP+ com mitigações permanecia robusto. Em regimes de muitos dados, variantes do GP+ superaram consistentemente o TabPFN na maioria dos benchmarks, exceto pela função Zakharov, onde o TabPFN se destacou devido ao melhor tratamento da escala de observação.
Pré-processamento: O pré-processamento do alvo em escala logarítmica melhorou significativamente o desempenho do GP no problema de Buckling, enquanto o TabPFN permaneceu robusto a tais escolhas de escala.

Otimização Bayesiana

Eficiência vs. Precisão: O BO baseado em GP geralmente se aproximou dos ótimos mais rapidamente do que o BO baseado em TabPFN na maioria dos benchmarks (ex: Buckling, Borehole).
Compromisso Computacional: O TabPFN elimina custos de retreinamento por iteração, mas incorre em altos custos de inferência ao avaliar funções de aquisição sobre grandes pools de candidatos (já que a otimização baseada em gradiente é inviável). Por outro lado, os GPs exigem retreinamento, mas suportam funções de aquisição analíticas e predições rápidas. Em regimes de poucos dados, onde o retreinamento do GP é barato, os GPs provaram ser computacionalmente competitivos ou superiores.

Desempenho de Classificação

Seleção de Kernel: A relação entre a perda de treinamento e o desempenho de teste não foi estrita. Por exemplo, o kernel Matérn ( $\nu=0.5$ ) teve a maior perda de treinamento, mas alcançou o menor ECE e a maior precisão no conjunto de dados Steel Plates Faults.
TabPFN vs. GP+: O TabPFN 2.5 manteve uma leve vantagem em precisão e calibração na maioria das tarefas de classificação, particularmente aquelas envolvendo variáveis categóricas e configurações multiclasse. No entanto, essa vantagem diminuiu à medida que o tamanho do conjunto de treinamento ( $N$ ) aumentava, com variantes do GP+ ultrapassando o TabPFN em precisão no conjunto de dados Electrical Grid Stability para $N \ge 200$ .

Significância e Contribuições

O artigo afirma que, embora a MLE seja o paradigma dominante para o treinamento de GPs, sua eficácia é altamente dependente de detalhes de implementação frequentemente negligenciados na prática. As principais contribuições são:

Demonstração de Fragilidade: O estudo fornece evidências empíricas extensas de que GPs treinados por MLE podem falhar sistematicamente em contextos de engenharia devido a paisagens de otimização não convexas e erro de especificação do modelo, particularmente em configurações de poucos dados e alta dimensionalidade.
Remédios Práticos: Os autores demonstram que intervenções simples e práticas (reparametrização em escala logarítmica, soft clamping, múltiplas inicializações) podem mitigar substancialmente as falhas da MLE sem abandonar o framework.
Análise Comparativa com Modelos de Fundação: O trabalho oferece uma comparação rigorosa entre métodos probabilísticos clássicos (GPs) e modelos de fundação emergentes (TabPFN). Conclui-se que GPs cuidadosamente implementados e treinados por MLE permanecem altamente competitivos, muitas vezes superando o TabPFN em precisão de predição, qualidade de UQ e custo de inferência, particularmente nas faixas de dimensionalidade exploradas ( $D_x < 100$ ).
Guia para Profissionais: O artigo fornece um guia para construir GPs precisos e robustos que possam rivalizar ou exceder modelos de fundação, enfatizando que investir em uma implementação adequada de MLE é frequentemente mais eficaz do que trocar funções de perda ou modelos inteiros.

Os autores observam que suas descobertas baseiam-se em benchmarks analíticos com ruído Gaussiano e sugerem que trabalhos futuros devem estender-se para ruído não Gaussiano, conjuntos de dados do mundo real e tarefas de downstream como modelagem de multi-fidelidade. Eles também destacam o valor potencial de meta-aprendizado de hiperpriores de GP inspirados pelo paradigma de treinamento do TabPFN para reduzir ainda mais a sensibilidade à inicialização.