Resumo Técnico: CoFEH

Declaração do Problema

A Engenharia de Recursos (FE) é um pilar fundamental dos pipelines de aprendizado de máquina, mas permanece um gargalo para os métodos automatizados tradicionais. As abordagens existentes sofrem com três limitações fundamentais:

1. Agnosticismo Semântico: Elas dependem de espaços de busca rígidos e pré-definidos e de tentativa e erro, sem aproveitar prios de domínio.
2. Topologia Rígida: Elas impõem sequências fixas de pipeline (por exemplo, geração seguida de seleção), impedindo a intercalação dinâmica ou a composição flexível de operações heterogêneas.
3. Conjunto de Operações Restrito: Elas estão confinadas a bibliotecas fechadas de algoritmos integrados ou aritmética básica, sendo incapazes de descobrir operações específicas da tarefa além de primitivas pré-definidas.

Além disso, embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam uma alternativa promissora para gerar operadores semânticos fundamentados e ilimitados, os métodos de FE baseados em LLMs atuais geralmente focam em sub-tarefas isoladas (como geração de recursos) e falham em construir pipelines de forma livre. Crucialmente, esses métodos raramente acoplam FE com Otimização de Hiperparâmetros (HPO) do modelo a jusante. Isso leva a um fluxo de trabalho sequencial "ganancioso" (FE-então-HPO) que ignora a forte dependência entre a representação de recursos e a capacidade do modelo, frequentemente aprisionando o sistema em mínimos locais subótimos.

Metodologia: Framework CoFEH

Os autores propõem o CoFEH (Engenharia de Recursos e Otimização de Hiperparâmetros Colaborativos), um framework projetado para intercalar FE orientada por LLM e HPO Bayesiana para um AutoML robusto de ponta a ponta. O sistema compreende três componentes principais:

1. Otimizador FE de Árvore de Pensamento (ToT) Orientado por LLM

Para abordar o desafio da FE de Forma Livre, o CoFEH reformula a construção do pipeline como um problema de tomada de decisão sequencial resolvido via Busca em Árvore Monte Carlo (MCTS).

• Representação de Estado: O conjunto de dados em qualquer estágio de transformação é tratado como um nó de estado em uma árvore de busca.
• Raciocínio Controlável: O LLM gera novas operações de FE com base em um prompt estruturado contendo metadados do conjunto de dados, o pipeline ancestral e um diretriz ($d$) dinâmica:
  • Inicialização: Gera operações iniciais de alta qualidade para o nó raiz.
  • Exploração: Propõe operações novas para sondar regiões desconhecidas do espaço de busca.
  • Exploração (Aproveitamento): Refina o estado atual reutilizando e adaptando operações históricas de alto desempenho.
• Memória Global: Um mecanismo de recuperação baseado em Pareto arquiva operações bem-sucedidas (cadeias de raciocínio, subconjuntos de recursos, pontuações e ganhos relativos) para orientar o LLM durante a fase de Exploração (Aproveitamento).

2. Mecanismo de Condicionamento Mútuo

Para resolver o desafio da FE–HPO Colaborativa, o CoFEH estabelece um fluxo de informação bidirecional entre o LLM (FE) e a Otimização Bayesiana (BO) (HPO), evitando o ajuste isolado.

• HPO Condicionada à FE: O modelo substituto da BO utiliza metadados ($\phi(s)$) extraídos do estado do conjunto de dados para caracterizar o pipeline de FE. Isso permite que a BO modele a influência conjunta do pipeline e dos hiperparâmetros, recomendando a configuração ótima ($\lambda^*$) para um estado específico do conjunto de dados ($s^*$).
• FE Condicionada à HPO: As fases de seleção e simulação (playout) do MCTS são informadas pelos resultados da HPO. A métrica de "melhor desempenho" para um nó é determinada pelos hiperparâmetros ótimos encontrados para aquele estado específico do conjunto de dados, garantindo que o LLM avalie a qualidade dos recursos sob configurações de modelo ótimas, em vez de configurações padrão.

3. Seletor de Otimizador Dinâmico

Para abordar o agendamento adaptativo à tarefa, o CoFEH modela a alocação do orçamento de otimização entre FE e HPO como um problema de Bandido Multibras (MAB) usando uma política Predictor Upper Confidence Bound (PUCB).

• O seletor decide dinamicamente se deve executar uma etapa de FE ou uma etapa de HPO em cada iteração com base nas taxas de sucesso empíricas ($Q(a)$) e pesos de prioridade variáveis no tempo ($\omega_a$).
• Agendamento de Peso de Prioridade: O sistema começa com um viés em direção à FE (para garantir que os dados estejam "prontos para o modelo") e decai linearmente esse viés em direção a um equilíbrio de 50/50 à medida que o orçamento é esgotado. Isso garante uma distribuição equilibrada do orçamento em cenários neutros, enquanto permite que recompensas empíricas específicas da tarefa orientem a alocação na prática.

Contribuições Principais

1. Otimização de Pipeline de Forma Livre: Um otimizador ToT orientado por LLM que explora topologias e operadores de pipeline sem restrições, permitindo uma engenharia de recursos verdadeiramente de forma livre que compõe pré-processamento, transformação, geração e seleção dinamicamente.
2. Mecanismo de Condicionamento Mútuo: Um acoplamento bidirecional inovador onde FE e HPO informam as decisões uma da outra, prevenindo a "miopia gananciosa" da otimização sequencial e permitindo a descoberta de ótimos globais no espaço conjunto.
3. Alocação Dinâmica de Recursos: Um seletor baseado em PUCB que aloca adaptativamente o orçamento computacional entre FE e HPO com base na utilidade específica de cada um para a tarefa dada.
4. Validação Empírica: Experimentos extensivos demonstrando que o CoFEH supera tanto os sistemas tradicionais de AutoML quanto as bases de comparação (baselines) existentes baseadas em LLM.

Resultados Experimentais

Os autores avaliaram o CoFEH em 28 conjuntos de dados públicos (19 de classificação, 9 de regressão) em três cenários de modelo a jusante: XGBoost, MLP e CASH (Seleção Combinada de Algoritmos e Otimização de Hiperparâmetros).

• FE Autônoma: O CoFEH alcançou a melhor classificação média (1,82) entre todas as bases de comparação, superando significativamente os métodos tradicionais (Mindware, OpenFE) e outras abordagens baseadas em LLM (OCTree, ELLM, LFG).
• FE+HPO Conjunta: No cenário de ponta a ponta, o CoFEH demonstrou uma redução de erro relativo de 7,03% em comparação com seu próprio desempenho de FE autônoma, superando todas as bases de comparação. Alcançou uma classificação média de 1,75, estabelecendo um novo estado da arte.
• Generalização: O framework mostrou generalização robusta entre diferentes tipos de modelo (MLP, CASH), mantendo o desempenho superior e alcançando reduções significativas de erro (por exemplo, +45,1% de melhoria em cenários CASH).
• Eficiência de Custos: O CoFEH alcançou o melhor trade-off custo-desempenho, exigindo apenas ~$0,07 por tarefa com o backbone Gemini-2.0-flash, enquanto métodos tradicionais pesados em busca (OpenFE, Mindware) exigiam significativamente mais tempo de execução.
• Estudos de Ablação: A remoção do mecanismo de condicionamento mútuo ou do seletor dinâmico degradou significativamente o desempenho, confirmando a necessidade de ambas a gestão de informações acoplada e o agendamento adaptativo de recursos.

Significado e Alegações

O artigo afirma que o CoFEH preenche a lacuna entre as capacidades de raciocínio semântico dos LLMs e a eficiência numérica da Otimização Bayesiana. Ao afastar-se de fluxos de trabalho rígidos e sequenciais para uma estratégia de otimização intercalada e colaborativa, o CoFEH supera o "paradoxo de integração de capacidades", onde os LLMs se destacam na FE, mas ficam aquém no acoplamento FE-HPO.

Os autores afirmam que o CoFEH:

• Desata todo o potencial dos LLMs para criar pipelines de forma livre semelhantes aos de especialistas humanos.
• Resolve o problema de mínimos locais subótimos causados pela FE e HPO desacopladas.
• Fornece uma base escalável e extensível para trabalhos futuros de AutoML que podem ser adaptados a dados de imagem e texto via modificações de prompt.

O trabalho é apresentado como um passo significativo em direção à otimização holística de pipelines de ML, onde a descoberta de recursos e o ajuste de modelo são tratados como um processo unificado e mutuamente reforçador, em vez de etapas isoladas.