🤖 machine learning

LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers

Este artigo apresenta o LLM-FE, um novo framework que combina busca evolutiva com Modelos de Linguagem de Grande Escala para descobrir iterativamente programas eficazes de transformação de características para dados tabulares, superando assim os métodos existentes de engenharia automática de características ao aproveitar melhor o conhecimento de domínio e o feedback orientado por dados.

Autores originais: Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério usando uma pilha de pistas (dados). Normalmente, você precisa manualmente peneirar essas pistas, combiná-las de maneiras inteligentes e criar novas "super-pistas" para ajudá-lo a resolver o caso mais rápido. Esse processo é chamado de Engenharia de Atributos. No mundo do aprendizado de máquina, fazer isso manualmente é lento, chato e requer um especialista humano para saber exatamente quais combinações de pistas podem funcionar.

O artigo apresenta uma nova ferramenta chamada LLM-FE que automatiza esse trabalho de detetive usando uma IA "superinteligente" (um Modelo de Linguagem de Grande Escala) atuando como um parceiro criativo.

Veja como funciona, dividido em conceitos simples:

1. O Problema: O "Jogo de Adivinhação"

Ferramentas automatizadas tradicionais tentam resolver isso misturando e combinando números cegamente (como somar a Coluna A à Coluna B) com base em uma lista fixa de regras. Elas são como um robô que só sabe virar para a esquerda ou para a direita, nunca percebendo que às vezes é preciso pular uma cerca. Elas frequentemente perdem os momentos "eureca!" que surgem ao entender a história por trás dos dados (como saber que "insulina" e "glicose" estão relacionados ao diabetes).

2. A Solução: O "Chef Evolutivo"

Os autores propõem o LLM-FE, que trata a engenharia de atributos como uma competição de culinária onde a IA é o chef. Em vez de apenas seguir uma receita, a IA recebe:

Os Ingredientes: Os dados brutos (por exemplo, idade do paciente, níveis de açúcar no sangue).
O Menu: O problema específico a resolver (por exemplo, "prever se um paciente tem diabetes").
O Livro de Receitas: O conhecimento interno próprio da IA sobre o mundo (por exemplo, "sei que alto açúcar e baixa insulina são ruins para a saúde").

3. Como Funciona: O Ciclo de Quatro Etapas

O artigo descreve um ciclo que se repete uma e outra vez, semelhante à forma como a natureza evolui espécies para sobreviver melhor:

Etapa A: O Faísca Criativa (Geração)
A IA olha para os dados e para o problema. Ela diz: "Hmm, se eu dividir o nível de insulina pelo nível de glicose, isso pode nos dizer algo sobre como o corpo processa o açúcar." Ela escreve um pequeno programa de computador (uma receita) para criar essa nova "super-pista".
- Analogia: O chef inventa um novo molho com base nos ingredientes e no prato que está tentando fazer.
Etapa B: A Prova de Sabor (Avaliação)
A nova receita é aplicada aos dados. Em seguida, um modelo de previsão (um teste simples) tenta resolver o problema usando esses novos dados.
- Analogia: O chef serve o novo molho a um juiz. Se o juiz gostar (a pontuação subir), a receita é boa. Se não, é descartada.
Etapa C: O Banco de Memória (Gestão de Experiência)
Este é o segredo do LLM-FE. O sistema não apenas esquece as receitas falhas. Ele mantém um "Salão da Fama" das melhores receitas que já criou.
- Analogia: Imagine um chef que mantém um caderno de seus 10 melhores pratos. Quando precisa inventar um novo prato, ele não começa do zero; ele olha para seus melhores pratos passados e diz: "E se eu pegasse a melhor parte do Prato #3 e misturasse com a melhor parte do Prato #7?"
Etapa D: A Evolução (Refinamento)
A IA usa o "Salão da Fama" para criar versões ainda melhores das receitas. Ela tenta "mutar" (alterar ligeiramente) as melhores receitas para ver se podem ficar ainda melhores.
- Analogia: Isso é como a seleção natural. As receitas mais fortes e saborosas sobrevivem e evoluem, enquanto as fracas morrem.

4. Por Que É Melhor Que os Demais

O artigo compara o LLM-FE a outros métodos e descobre que ele vence por três razões principais:

Ele Conhece o Contexto: Diferente de outros robôs que apenas fazem matemática, esta IA entende o que os dados significam. Ela sabe que "Idade" e "IMC" estão relacionados à saúde, então cria atributos que fazem sentido para humanos, não apenas números.
Ele Não Fica Preso: Outros métodos frequentemente ficam presos tentando melhorar uma única ideia. O LLM-FE executa múltiplas "ilhas" de ideias ao mesmo tempo. Se uma ilha fica presa em um beco sem saída, outra ilha pode encontrar um atalho.
Ele Aprende com os Erros: Ao manter uma memória do que funcionou antes, ele fica mais inteligente a cada tentativa, em vez de apenas chutar aleatoriamente.

5. Os Resultados

Os pesquisadores testaram isso em muitos conjuntos de dados diferentes (como prever doenças cardíacas, preços de imóveis e vendas de carros). Eles descobriram que o LLM-FE consistentemente tornou os modelos de previsão mais precisos do que os métodos antigos. Ele não funcionou apenas com um tipo de IA; ajudou diferentes tipos de modelos a ficarem melhores em seus trabalhos.

Em resumo: O LLM-FE é um sistema que usa uma IA inteligente para inventar novas e significativas maneiras de olhar para os dados. Ele age como um chef criativo que aprende com seus melhores pratos passados, usa seu conhecimento sobre o mundo e experimenta constantemente até encontrar a receita perfeita para resolver um problema.

Resumo Técnico: LLM-FE: Engenharia de Atributos Automatizada para Dados Tabulares com LLMs como Otimizadores Evolutivos

Declaração do Problema

A engenharia de atributos é um componente crítico, porém intensivo em mão de obra, do fluxo de trabalho de aprendizado de máquina para dados tabulares. Embora atributos bem projetados possam melhorar significativamente o desempenho de modelos baseados em árvores (frequentemente superando abordagens de aprendizado profundo em dados estruturados), o processo de explorar o vasto espaço combinatório de transformações de atributos é demorado e consome muitos recursos. Métodos tradicionais de engenharia de atributos automatizada dependem de espaços de busca pré-definidos e manualmente projetados, bem como de transformações fixas, muitas vezes falhando em incorporar conhecimento de domínio valioso. Por outro lado, abordagens recentes baseadas em Modelos de Linguagem de Grande Escala (LLMs) tentam integrar conhecimento de domínio, mas geralmente dependem de prompts diretos ou pontuações de validação simples. Esses métodos existentes de LLM frequentemente falham em aproveitar insights de experimentos de descoberta anteriores, carecem de raciocínio significativo entre a geração de atributos e o desempenho orientado por dados, e tendem a gerar atributos simples e repetitivos devido a vieses inerentes no pré-treinamento de LLMs.

Metodologia: O Framework LLM-FE

Os autores propõem o LLM-FE, um framework inovador que formula a engenharia de atributos como um problema de busca de programas, combinando o conhecimento de domínio e as capacidades de raciocínio de LLMs com busca evolutiva e feedback orientado por dados. O framework opera como um loop iterativo consistindo em quatro etapas principais:

Geração de Novos Atributos (Prompting):
O LLM atua como um otimizador evolutivo guiado por conhecimento. Ele recebe um prompt estruturado contendo:
- Descrição da Tarefa e Metadados: Detalhes específicos sobre a tarefa a jusante e descrições de atributos.
- Amostras de Dados: Exemplos serializados do conjunto de dados para fornecer contexto.
- Função de Avaliação: Um trecho de código definindo como a qualidade do atributo é medida (treinando um modelo e pontuando em um conjunto de validação).
- Demonstrações em Contexto: Uma seleção de programas de transformação de atributos de alto desempenho de iterações anteriores.
  O LLM é explicitamente instruído a gerar programas complexos e novos de transformação de atributos (código Python) em vez de aritmética simples, aproveitando seu conhecimento de domínio embutido para raciocinar sobre a relevância dos atributos.
Engenharia de Atributos (Execução):
Os programas Python gerados são executados no conjunto de dados subjacente. Esta etapa aplica as transformações propostas para criar um conjunto de dados aumentado. Para garantir robustez, o sistema impõe limites de tempo de execução e memória, descartando programas propensos a erros ou ineficientes.
Avaliação de Atributos (Feedback Orientado por Dados):
O conjunto de dados aumentado é usado para treinar um modelo de previsão a jusante (por exemplo, XGBoost, MLP, TabPFN). O desempenho do modelo em um conjunto de validação mantido de lado serve como pontuação de aptidão para o programa de transformação de atributos. Essa pontuação fornece o feedback orientado por dados necessário para guiar a busca.
Gerenciamento de Experiência (Busca Evolutiva):
Para evitar ótimos locais e manter a diversidade, o LLM-FE emprega um modelo de "ilhas" multi-população.
- Memória Multi-Ilha: O espaço de busca é dividido em $m$ ilhas independentes. Cada ilha mantém um buffer de programas de alta pontuação.
- Agrupamento e Amostragem: Programas dentro de uma ilha são agrupados com base em suas pontuações de validação. O sistema usa amostragem de Boltzmann para selecionar agrupamentos para exemplos em contexto, equilibrando exploração (agrupamentos de menor pontuação) e exploração (agrupamentos de maior pontuação).
- Refinamento Iterativo: Em cada iteração, o LLM amostra do buffer de memória para gerar novos candidatos, efetivamente realizando mutação e cruzamento implícitos através da geração condicionada ao prompt.

Contribuições Principais

O artigo delineia três contribuições primárias:

Framework Inovador: A introdução do LLM-FE, que lança a engenharia de atributos como um problema de otimização evolutiva guiada por LLM. Integra de forma única conhecimento de domínio, avaliação orientada por dados e memória de longo prazo para refinamento iterativo.
Eficácia Empírica: Resultados experimentais demonstram que o LLM-FE supera consistentemente as linhas de base mais avançadas (tanto métodos clássicos como OpenFE/AutoFeat quanto métodos baseados em LLM como CAAFE/FeatLLM) em diversos conjuntos de dados tabulares, tarefas e modelos de previsão.
Análise de Componentes: Através de estudos de ablação abrangentes, os autores destacam os papéis críticos do conhecimento de domínio, da busca evolutiva, do feedback orientado por dados e das amostras de dados na orientação do LLM para explorar eficientemente o espaço de atributos e descobrir atributos impactantes.

Resultados Experimentais

Os autores avaliaram o LLM-FE usando GPT-3.5-Turbo e Llama-3.1-8B-Instruct como backbones em 19 conjuntos de dados de classificação e 10 de regressão. O framework foi testado contra linhas de base usando XGBoost, MLP e TabPFN como preditores a jusante.

Desempenho: O LLM-FE alcançou a menor média de classificação (indicando o melhor desempenho geral) em tarefas de classificação e regressão. Melhorou consistentemente o desempenho preditivo sobre linhas de base de dados brutos e outros métodos de engenharia de atributos.
Generalização: O framework demonstrou robustez em diferentes backbones de LLM e arquiteturas de modelos de previsão. Atributos gerados pelo LLM-FE melhoraram o desempenho de modelos baseados em árvores, redes neurais e modelos tabulares baseados em transformadores.
Complexidade e Mitigação de Viés: Ao contrário do prompting ingênuo de LLM que tende a favorecer operadores simples (adição, subtração), o refinamento evolutivo no LLM-FE descobriu com sucesso transformações complexas (por exemplo, agregações group-by, resíduos, funções sigmóide). Aproximadamente 45% dos atributos descobertos foram classificados como complexos, comparado a quantidades insignificantes em métodos de linha de base baseados em LLM.
Eficiência: Uma análise de Pareto de desempenho versus tempo de execução mostrou que o LLM-FE reside na fronteira de Pareto, alcançando maior precisão do que concorrentes como CAAFE e OCTree com custos computacionais comparáveis ou menores.
Estudos de Ablação: A remoção do conhecimento de domínio causou uma queda significativa de desempenho (de ~0,687 para ~0,626 de precisão), sublinhando sua importância. Da mesma forma, a remoção do refinamento evolutivo levou ao maior declínio (para ~0,587), destacando a necessidade de feedback iterativo orientado por dados.
Memorização: Experimentos em conjuntos de dados lançados após as datas de corte de treinamento do LLM mostraram que o LLM-FE forneceu ganhos modestos e consistentes, sugerindo que as melhorias decorrem de raciocínio genuíno e seleção evolutiva, e não de memorização de dados.

Significado e Alegações

O artigo posiciona o LLM-FE como um passo significativo para a frente na automação do pipeline centrado em dados. Seu significado reside em fechar a lacuna entre raciocínio informado por domínio e otimização. Ao tratar o LLM não apenas como um gerador, mas como um otimizador evolutivo, o framework supera as limitações de espaços de busca estáticos e o viés em direção a atributos simples inerente ao prompting direto.

Os autores afirmam que o LLM-FE oferece uma solução robusta e generalizável para aprendizado tabular que reduz o esforço manual enquanto melhora o desempenho preditivo. Eles enfatizam que o framework é projetado para aumentar, e não substituir, especialistas de domínio, fornecendo atributos interpretáveis e orientados por hipóteses que podem ser revisados e validados. O trabalho sugere que combinar LLMs com mecanismos de busca evolutiva é um caminho viável para descobrir atributos de alta qualidade e interpretáveis que são difíceis de engenheirar manualmente.