Tree-Structured Synergy of Large Language Models and Bayesian Optimization for Efficient CASH

Resumo Técnico: Sinergia em Estrutura de Árvore entre Modelos de Linguagem de Grande Escala e Otimização Bayesiana para CASH Eficiente

Declaração do Problema
O artigo aborda o problema de Seleção Combinada de Algoritmos e Otimização de Hiperparâmetros (CASH), que visa identificar conjuntamente o algoritmo de aprendizado de máquina ótimo e seus hiperparâmetros para maximizar o desempenho de validação. Embora a Otimização Bayesiana (BO) seja a abordagem dominante para CASH, ela luta com problemas de início frio e espaços de busca estruturados de alta dimensionalidade, pois trata configurações como vetores numéricos abstratos, falhando em incorporar conhecimento prévio. Por outro lado, Modelos de Linguagem de Grande Escala (LLMs) oferecem priores semânticos e capacidades de raciocínio, mas sofrem com baixa generalização em espaços estruturados de alta dimensionalidade, carecem de quantificação de incerteza e frequentemente dependem de históricos de otimização não estruturados e ruidosos, o que leva a uma utilização ineficiente do contexto e convergência prematura. Métodos híbridos existentes frequentemente falham em sinergizar efetivamente LLMs e BO no cenário de CASH devido à falta de um estado estruturado que modele trajetórias de otimização hierárquicas.

Metodologia: LB-MCTS
Os autores propõem LB-MCTS, um framework de otimização estruturado em trajetória que integra LLMs e BO utilizando uma árvore de Busca Monte Carlo (MCTS) como estado compartilhado. O método reformula o CASH como um processo de tomada de decisão sequencial sobre uma estrutura de árvore com três tipos de nós: um nó raiz CASH, nós de algoritmo (Algo) e nós de hiperparâmetro (HP).

Componentes-chave incluem:

1. Busca Estruturada em Árvore: A árvore MCTS organiza o espaço de busca hierarquicamente. As ações incluem seleção de algoritmo, inicialização (gerando uma configuração inicial) e otimização (refinando uma configuração). A árvore captura a trajetória completa de otimização, permitindo seleção de algoritmo no nível da raiz e exploração-exploração no nível de subárvores dentro de subespaços de algoritmos específicos.
2. Sinergia Proposta BO–LLM: O framework emprega dois proponentes complementares:
   • Proposto BO: Utiliza um modelo substituto de Processo Gaussiano (GP) por algoritmo para realizar busca quantitativa. Gera candidatos via amostragem aleatória ou local e seleciona o melhor candidato usando Melhoria Esperada (EI).
   • Proposto LLM: Utiliza Aprendizado em Contexto (ICL) para gerar propostas semânticas. Estende o processo de seleção PUCT para escolher um nó base e, em seguida, consulta o LLM para propor uma nova configuração com base em um prompt estruturado.
3. Memória de Ajuste Seletivo (STM): Para abordar o desafio da utilização eficiente de contexto, a STM recupera ensaios específicos de algoritmo e relevantes para a trajetória do estado compartilhado da árvore. Combina Memória Global (tentativas históricas Pareto-ótimas baseadas em similaridade e desempenho) e Memória Local (o caminho ancestral da raiz do algoritmo até o nó atual). Isso isola históricos de diferentes algoritmos para evitar ruído entre algoritmos e fornece ao LLM um contexto focado e de baixo ruído.
4. Seleção Dinâmica de Proposto: Uma política consciente de confiabilidade alterna adaptativamente entre proponentes LLM e BO. Inicialmente, o LLM é favorecido para início quente com priores semânticos. À medida que o modelo substituto BO amadurece (quantificado via correlação de classificação de validação cruzada), a probabilidade de selecionar o proponente BO aumenta, garantindo uma transição suave da exploração semântica para a exploração quantitativa.
5. Mecanismo de Reflexão: Após a avaliação de uma configuração proposta, o LLM (ou uma regra heurística para BO) gera uma reflexão resumindo o que funcionou ou falhou. Este feedback verbal é armazenado no nó da árvore, fechando a lacuna entre recompensas numéricas e raciocínio semântico para iterações futuras.

Contribuições Principais

• Formulação Estruturada em Árvore: O artigo formula o CASH como uma busca estruturada em árvore sobre trajetórias de otimização, permitindo seleção de algoritmo principial e equilíbrio hierárquico de exploração-exploração.
• Sinergia Unificada: Unifica as trajetórias de otimização de BO e LLM em um estado de árvore compartilhado, permitindo seleção dinâmica de proponentes que supera qualquer componente isolado.
• Memória de Ajuste Seletivo: A introdução da STM permite que o LLM raciocine a partir de contextos focados, específicos de algoritmo e relevantes para a trajetória, mitigando o ruído associado à mistura de históricos entre diferentes algoritmos.
• Validação Empírica: Extensos experimentos em 104 conjuntos de dados do AutoML Benchmark (AMLB) demonstram a eficácia do método.

Resultados
Experimentos em 104 conjuntos de dados do AMLB (cobrindo tarefas de classificação e regressão) mostram que o LB-MCTS supera consistentemente as linhas de base mais avançadas, incluindo métodos puros de BO (SMAC, OptDivBO, Rising Bandit, MOSAIC), otimizadores puros de LLM (OPRO, LLAMBO) e abordagens híbridas existentes (BOPRO, BORA).

• Desempenho: O LB-MCTS alcança a melhor classificação média de validação de 2,16, superando significativamente a segunda melhor linha de base, Rising Bandit (RB), que ficou em 3,49.
• Desempenho no Conjunto de Teste: No conjunto de teste, o LB-MCTS mantém uma classificação média líder de 3,05, estatisticamente superior a todas as linhas de base.
• Eficiência: O método alcança esses ganhos com um custo de API econômico de aproximadamente $0,127 por tarefa e demonstra desempenho robusto em diversos tipos de tarefa, tamanhos de amostra e dimensões de recursos.
• Estudos de Ablação: Análises confirmam que a busca estruturada em árvore, a estratégia de dupla diretiva (Exploração/Exploração), o mecanismo STM e a seleção dinâmica de proponentes são todos críticos para o sucesso do método.

Significado e Alegações
O artigo alega que o LB-MCTS reduz efetivamente a barreira de especialização no AutoML ao abordar os desafios específicos do problema CASH: utilização eficiente de contexto, o trade-off exploração-exploração em espaços estruturados e a sinergia efetiva entre LLMs e BO. Ao utilizar a árvore MCTS como estado compartilhado, o método supera as limitações de híbridos existentes que dependem de trocas de histórico planas e não estruturadas. Os autores afirmam que o LB-MCTS fornece uma solução robusta e eficiente em termos de amostra para problemas de otimização estruturados de alta dimensionalidade, alcançando desempenho superior sem custos computacionais proibitivos. O trabalho também inclui uma análise teórica que prova a convergência global quase certa à medida que o número de iterações tende ao infinito, desde que a probabilidade de seleção de BO seja limitada inferiormente.