🤖 machine learning

Evolving Executable Pipeline Programs for AutoML with Language Models

LACE é um novo framework de AutoML que emprega um loop evolutivo guiado por um grande modelo de linguagem para gerar e evoluir programas de pipeline Python executáveis, alcançando uma precisão competitiva em 68 tarefas do OpenML ao mesmo tempo em que oferece transparência, editabilidade e flexibilidade de espaço de busca superiores em comparação aos sistemas tradicionais.

Autores originais: Sofoklis Kitharidis, Cor J. Veenman, Jan N. van Rijn, Thomas Bäck, Niki van Stein

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sofoklis Kitharidis, Cor J. Veenman, Jan N. van Rijn, Thomas Bäck, Niki van Stein

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da ciência de dados moderna, as máquinas são cada vez mais solicitadas a dar sentido a informações desordenadas do mundo real: prever se um solicitante de empréstimo irá pagar, diagnosticar uma doença a partir de uma planilha de sintomas ou prever vendas com base em tendências passadas. Para fazer isso, pesquisadores constroem "pipelines", que são instruções passo a passo que limpam os dados, escolhem um modelo matemático e ajustam esse modelo até que ele tenha um bom desempenho. Durante anos, as ferramentas mais poderosas para este trabalho foram sistemas automatizados que atuam como um mestre cuca com um conjunto fixo de ingredientes. Esses sistemas podem misturar e combinar etapas de pré-processamento conhecidas e algoritmos de aprendizado, ajustando as quantidades para encontrar o melhor sabor. No entanto, eles são estritamente limitados à despensa que lhes foi dada; eles não podem inventar um novo ingrediente ou uma nova técnica de cozimento que esteja fora de sua lista predefinida. Essa limitação significa que, se a melhor solução exigir uma estrutura que o sistema nunca viu antes, ela permanecerá undiscoberta.

Uma equipe de pesquisadores da Universidade de Leiden introduziu agora uma abordagem diferente, uma que trata a criação desses pipelines de dados não como uma seleção de um menu, mas como a escrita de uma nova receita do zero. Eles desenvolveram um sistema chamado LACE, que utiliza um grande modelo de linguagem — uma inteligência artificial treinada em vastas quantidades de texto e código — para atuar como um motor evolutivo. Em vez de escolher de uma lista fixa de ferramentas, o LACE pede à IA que escreva programas de computador completos e executáveis que definam como processar dados e fazer previsões. O sistema então testa esses programas, aprende com seus erros e pede à IA que escreva versões melhoradas, repetindo esse ciclo até encontrar uma solução altamente eficaz. O resultado é um sistema que não apenas ajusta ferramentas existentes, mas pode compor estruturas inteiramente novas, produzindo código que especialistas humanos podem ler, entender e modificar diretamente.

Os pesquisadores testaram este método em 68 diferentes tarefas de classificação de dados, variando de pequenos conjuntos de dados com algumas centenas de entradas a coleções massivas com quase cinco milhões de linhas. Eles compararam o LACE contra vários sistemas automatizados estabelecidos e um conjunto de modelos pré-treinados fixos. Os resultados mostraram que o LACE, quando impulsionado por um modelo de linguagem específico, teve um desempenho tão bom quanto os sistemas automatizados mais fortes existentes e significativamente melhor do que métodos mais antigos. Crucialmente, embora alguns dos novos modelos pré-treinados fossem ligeiramente mais precisos nas tarefas específicas que conseguiam lidar, eles falharam em funcionar em muitos dos conjuntos de dados maiores ou mais complexos do conjunto de testes. O LACE, por outro contraste, gerou com sucesso uma solução funcional para cada tarefa que lhe foi dada.

O que torna essa conquista particularmente notável é a natureza do output. Os sistemas automatizados tradicionais frequentemente retornam uma "caixa preta" — um objeto complexo e ajustado que funciona bem, mas é difícil para um humano inspecionar ou alterar sem um conhecimento técnico profundo da estrutura de software. O LACE retorna código Python comum. Isso significa que um cientista de dados pode olhar para o programa final, ver exatamente como os dados foram limpos, quais modelos foram escolhidos e como eles foram combinados, e então editar o código para melhorá-lo ainda mais ou adaptá-lo para um novo propósito. Os pesquisadores descobriram que a IA não apenas copiou padrões existentes; ela evoluiu soluções diversas, frequentemente combinando diferentes tipos de modelos de maneiras inovadoras e escrevendo lógica personalizada para misturar suas previsões. Em muitos casos, a IA escreveu seu próprio código para misturar as saídas de múltiplos modelos, um nível de flexibilidade que sistemas fixos não conseguem replicar facilmente.

O estudo também abordou uma preocupação comum na pesquisa de inteligência artificial: a de que a IA poderia estar simplesmente memorizando as respostas das perguntas do teste porque já as viu durante seu treinamento. Para evitar isso, os pesquisadores esconderam os nomes e detalhes específicos dos conjuntos de dados, dando à IA apenas uma descrição geral do tamanho e tipo dos dados. Apesar dessa falta de conhecimento específico, o sistema ainda encontrou soluções de alto desempenho, sugerindo que estava genuinamente aprendendo como construir pipelines eficazes, em vez de apenas recordar respostas. Os pesquisadores verificaram ainda que a IA seguiu regras estritas, como não usar buscas internas ocultas para ajustar suas próprias configurações, garantindo que as melhorias viessem do próprio processo de busca evolutiva.

Uma das descobertas mais impressionantes foi a rapidez com que o sistema melhorou. O primeiro programa gerado pela IA era frequentemente falho ou incompleto, mas conforme o sistema iterava, ele aprendia a corrigir esses erros e refinar a lógica. Quando o processo terminava, os programas finais não eram apenas válidos, mas significativamente mais precisos do que as tentativas iniciais. Os pesquisadores observaram que o sistema tendia a favorecer certos tipos de modelos, como ensembles baseados em árvores, mas não ficava preso em um único padrão; ele explorava uma ampla variedade de combinações estruturais. Essa diversidade sugere que o sistema é capaz de descobrir soluções que um humano poderia não pensar em tentar, ou que um sistema rígido jamais consideraria.

O trabalho demonstra que tratar o aprendizado de máquina automatizado como um processo de escrita e evolução de código abre uma nova fronteira. Ele vai além da restrição de uma biblioteca fixa de ferramentas, permitindo que o sistema adapte sua estrutura ao problema específico em questão. Embora o custo computacional de executar esses experimentos tenha sido alto, exigindo um tempo significativo para gerar e testar milhares de programas candidatos, os resultados sugerem que a capacidade de produzir código transparente, editável e altamente eficaz é uma troca valiosa. Os pesquisadores concluem que esta abordagem oferece um caminho promissor, onde a busca pelo melhor pipeline de dados é definida pela criatividade do próprio código, em vez pelas limitações de um conjunto pré-selecionado de componentes.

Resumo Técnico: Evoluindo Programas de Pipeline Executáveis para AutoML com Modelos de Linguagem

Declaração do Problema

Sistemas tradicionais de Aprendizado de Máquina Automatizado (AutoML) operam dentro de um espaço de operadores, aprendizes e hiperparâmetros fixo e predefinido. Embora sistemas como auto-sklearn, AutoGluon e H2O AutoML possam selecionar e ajustar componentes de bibliotecas curadas de forma eficaz, eles não conseguem gerar inovações estruturais fora de suas gramáticas especificadas. Por outro lado, modelos de fundação tabulares (ex: TabPFN) contornam a busca por tarefa aplicando preditores pré-treinados, mas retornam modelos fixos em vez de programas editáveis e específicos para a tarefa. Além disso, os agentes de ciência de dados de LLM existentes frequentemente visam experimentação aberta ou engenharia de atributos, carecendo de um framework rigoroso para evoluir programas de pipeline restritos onde o espaço de busca é definido pela geração de código, em vez de um inventário estático de operadores.

Um desafio crítico na aplicação de LLMs ao AutoML é o risco de contaminação de benchmarks, onde os modelos podem reconhecer conjuntos de dados públicos de seus dados de pré-treinamento, confundindo o design do pipeline com a memorização do conjunto de dados. Adicionalmente, as saídas de AutoML clássico são frequentemente objetos de framework opacos, enquanto os modelos de fundação são preditores de caixa-preta, limitando a inspetabilidade e a reutilização pelo profissional.

Metodologia: LACE

Os autores apresentam o LACE (LLM-Automated Code Evolution), um framework de AutoML que formula a busca por pipelines tabulares como a otimização evolutiva de programas Python completos e executáveis.

Arquitetura Central

O LACE emprega um loop evolutivo $(\mu + \lambda)$ onde o LLM atua como o operador de variação:

Representação: Os candidatos são classes Python que implementam uma interface compatível com scikit-learn: __init__(X, y) ajusta o modelo uma única vez, e __call__(X) retorna previsões. O espaço de busca é implicitamente definido pelos programas que o LLM pode gerar sob restrições específicas, em vez de uma gramática fixa.
Restrições: O prompt restringe os candidatos às bibliotecas padrão (scikit-learn, numpy, scipy, pandas), limita os ensembles a três aprendizes, impõe um estágio de pré-processamento compartilhado único e proíbe explicitamente validação cruzada interna, AutoML aninhado ou loops internos de busca de hiperparâmetros. Hiperparâmetros ajustáveis devem ser expostos como argumentos do construtor.
Processo Evolutivo:
- Inicialização: Uma população inicial de $\mu=4$ pipelines é gerada a partir de um resumo coarse da tarefa.
- Variação: Para cada geração, um pai é selecionado e o LLM gera um descendente modificando o código do pai com base no feedback de avaliação e em uma instrução de mutação selecionada aleatoriamente (ex: mudar família de modelos, refinar pré-processamento, ajustar ensemble).
- Seleção: Os melhores $\mu$ indivíduos do pool combinado de pais e descendentes são retidos (truncamento elitista).
Protocolo de Avaliação:
- Controle de Vazamento: Para evitar o reconhecimento do conjunto de dados, o gerador recebe apenas um resumo coarse (tipo de tarefa, contagem aproximada de amostras, contagem de atributos) e nenhum nome, identificador ou valor bruto do conjunto de dados.
- Fitness: Os candidatos são avaliados em divisões de validação interna derivadas das dobras oficiais de treinamento. As dobras de teste oficiais nunca são acessadas durante a busca.
- Avaliação Final: Após o orçamento de candidatos ( $B=100$ ) ser esgotado, o melhor pipeline é reajustado nos dados de treinamento completos e avaliado uma única vez nas dobras de teste oficiais.

Configuração Experimental

O framework foi avaliado em 68 tarefas de classificação do conjunto de benchmarks amlb-classification-all do OpenML. O estudo comparou o LACE (usando três backbones de LLM: gpt-5.4-mini, deepseek-v4-flash e qwen3-coder-next) contra:

AutoML Clássico: AutoGluon-Tabular, auto-sklearn, H2O AutoML.
Modelos de Fundação Tabular: TabPFN v2.5, TabPFN v3, TabICL.
Baseline: Um pipeline fixo de XGBoost.

Todos os métodos foram submetidos a orçamentos de tempo idênticos por repetição de tarefa para garantir uma comparação justa de eficiência de busca.

Principais Resultados

Desempenho e Cobertura

Acurácia Competitiva: Nas 45 tarefas onde todos os métodos produziram resultados válidos, o LACE com gpt-5.4-mini alcançou um ranking médio de 4.71, superando significativamente o auto-sklearn, o H2O e o baseline fixo de XGBoost. Não apresentou diferença estatisticamente significativa em relação ao AutoGluon (o baseline de busca mais forte) e ao TabPFN v2.5.
Cobertura Superior: Ao contrário dos modelos de fundação (TabPFN v2.5, v3 e TabICL), que falharam em tarefas que excediam seu tamanho de entrada ou limites de atributos, o LACE cobriu 100% das 68 tarefas. Ao considerar a cobertura (penalizando resultados ausentes), o LACE (gpt-5.4-mini) e o AutoGluon permaneceram empatados na posição de topo, enquanto o TabPFN v2.5 caiu significativamente no ranking devido à sua incapacidade de lidar com 23 tarefas.
Sensibilidade do Backbone: A escolha do backbone do LLM impactou o desempenho. O gpt-5.4-mini foi a configuração mais forte, superando o deepseek-v4-flash e o qwen3-coder-next com ganhos consistentes, embora pequenos, na mediana.

Dinâmica de Busca e Qualidade do Programa

Recuperação Zero-Shot: Os candidatos zero-shot iniciais tiveram taxas de validade variando de 37,6% a 79,7% dependendo do backbone. No entanto, o processo evolutivo recuperou com sucesso pipelines válidos em 100% das execuções, demonstrando a robustez do framework a falhas de geração iniciais.
Generalização: A busca melhorou a generalização, não apenas o objetivo de validação interna. Quando os programas iniciais válidos foram reajustados e testados em dados não vistos, os pipelines evoluídos finais melhoraram a acurácia em uma mediana de 2,99 pontos percentuais.
Diversidade Estrutural: Os pipelines gerados não colapsaram em um único template. Entre 1.020 pipelines finais, 9% incluíram pré-processamento customizado e 73,3% combinaram múltiplos aprendizes. O espaço de busca exibiu alta diversidade estrutural, com 65.298 assinaturas estruturais únicas entre os candidatos válidos.
Inspecção: Uma contribuição única do LACE é o formato de saída. Diferente de objetos de framework específicos ou pesos pré-treinados fixos, o LACE retorna código Python comum. Os autores auditaram 89 pipelines finais (8,7%) que implementavam lógica de predição (ex: ensembles ponderados) diretamente em NumPy ou Python, permitindo que profissionais inspecionem, modifiquem e reutilizem decisões específicas da tarefa diretamente.

Significância e Alegações

O artigo afirma que o LACE estabelece programas executáveis como uma representação de busca viável e promissora para AutoML. Suas principais contribuições são:

Espaço de Busca Definido por Código: Ele substitui gramáticas de operadores fixos por um espaço de busca definido pela capacidade do LLM de gerar código restrito, permitindo a descoberta de novas estruturas de pipeline e combinações de pré-processamento que gramáticas fixas poderiam perder.
Cobertura Total com Editabilidade: Ele alcança cobertura completa de um benchmark diverso enquanto retorna programas editáveis e específicos para a tarefa. Isso contrasta com modelos de fundação que oferecem alta acurácia em tarefas suportadas, mas carecem de flexibilidade, e com o AutoML clássico que retorna objetos de framework opacos.
Avaliação Rigorosa: O estudo demonstra que a evolução impulsionada por LLM pode competir com sistemas de AutoML baseados em busca de última geração quando avaliada sob protocolos rigorosos de controle de vazamento que ocultam a identidade do conjunto de dados.

Os autores observam modestamente que o espaço de busca efetivo é moldado pelos componentes anunciados no prompt (como mostrado em um estudo de ablação onde componentes do TabPFN não anunciados nunca foram usados) e que o custo computacional é alto, embora a dinâmica de busca sugira potencial para orçamentos adaptativos. O trabalho não reivindica superioridade de acurácia bruta sobre todos os modelos de fundação em todas as tarefas, mas enfatiza o equilíbrio entre a flexibilidade do código editável e o desempenho de preditores especializados pré-treinados.