🤖 machine learning

TopoFE: topology-aware LLM-guided Automated Feature Engineering

TOPOFE é um framework evolutivo de múltiplas ilhas consciente de topologia que aprimora a engenharia de atributos automatizada guiada por LLM ao integrar exploração especializada por família, memória de prompt adaptativa e transferência de conhecimento guiada por topologia para superar as limitações de geração sem estado e busca homogênea, descobrindo, assim, programas de atributos diversos e de alto desempenho em 29 conjuntos de dados tabulares.

Autores originais: Sha Li, Naren Ramakrishnan

Publicado 2026-07-28

📖 5 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Sha Li, Naren Ramakrishnan

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um computador a tomar decisões inteligentes, como prever se um solicitante de empréstimo pagará o dinheiro de volta ou se um paciente tem uma doença específica. O computador não começa com as respostas; ele precisa olhar para uma planilha de dados brutos — números, categorias e datas — e descobrir quais padrões importam. Esse processo é chamado de aprendizado de máquina (machine learning). Mas aqui está a parte difícil: os dados brutos são frequentemente bagunçados e difíceis de entender. Assim como um chef não pode fazer uma ótima sopa apenas com vegetais crus e não picados, um computador muitas vezes não consegue encontrar os melhores padrões a menos que os dados sejam transformados primeiro. Essa etapa de transformação é chamada de engenharia de atributos (feature engineering). É a arte de pegar números brutos e misturá-los para criar novas pistas mais inteligentes que ajudem o computador a enxergar a verdade. Por muito tempo, os humanos tiveram que fazer isso manualmente, adivinhando quais combinações de números poderiam ser úteis. Recentemente, começamos a usar programas de computador superinteligentes chamados Modelos de Linguagem de Grande Escala (LLMs) para ajudar. Pense nesses LLMs como assistentes brilhantes e bem informados que sabem muito sobre matemática e ciência e podem sugerir novas maneiras de misturar os dados. No entanto, mesmo esses assistentes brilhantes têm um problema: às vezes eles ficam presos em um ciclo, sugerindo os mesmos tipos de misturas repetidamente, ou esquecem o que tentaram antes, desperdiçando tempo em becos sem saída.

É aqui que entra um novo framework chamado TOPOFE. Os pesquisadores Sha Li e Naren Ramakrishnan, da Virginia Tech, perceberam que o espaço de possíveis misturas de dados é tão vasto e variado que uma única estratégia de busca uniforme não é suficiente. Eles propuseram um sistema que trata a busca pelos melhores pistas de dados como uma equipe de exploradores especializados trabalhando em diferentes territórios, em vez de uma única multidão gigante.

Em vez de ter um grande grupo de programas de computador todos tentando resolver o problema ao mesmo tempo, o TOPOFE divide o trabalho em cinco "ilhas" distintas. Cada ilha é uma equipe de especialistas focada em um tipo específico de truque matemático. Uma ilha foca apenas em aritmética simples, como adição ou multiplicação de números. Outra foca em estatística, como médias e contagens. Uma terceira observa padrões temporais, como a mudança nas vendas ao longo da última semana. Outra lida com relacionamentos entre diferentes grupos, e a última lida com formas curvas e não lineares. Ao manter esses especialistas separados, o sistema garante que nenhum tipo de truque matemático domine e bloqueie a descoberta dos outros.

Mas a verdadeira magia acontece quando essas ilhas conversam entre si. Em sistemas antigos, se uma equipe ficasse travada, ela poderia simplesmente trocar ideias aleatoriamente com outra equipe, o que muitas vezes não ajudava. O TOPOFE é mais inteligente. Ele utiliza um "grafo de topologia", que é como um mapa dinâmico que aprende quais equipes são melhores em ajudar umas às outras. Se a ilha do "Tempo" ficar travada, o sistema verifica seu mapa e vê que a ilha da "Aritmética" tem as melhores ideias para ajudá-la. Ele então aciona um evento especial onde as duas equipes combinam suas melhores ideias para criar algo totalmente novo — um atributo "híbrido" que nenhuma das duas equipes teria inventado sozinha. Por exemplo, pode combinar uma média baseada no tempo com uma operação de divisão para criar uma nova pista altamente preditiva.

O sistema também possui uma "memória" que aprende com seus próprios erros. Se um certo tipo de truque matemático continua falhando em um conjunto de dados específico, o sistema lembra disso e para de sugerir esse truque, enquanto reforça os truques que estão funcionando. Isso acontece sem a necessidade de retreinar o cérebro principal do computador, tornando a busca incrivelmente eficiente.

Os pesquisadores testaram essa ideia em 29 conjuntos de dados do mundo real, variando desde a previsão de doenças cardíacas até a previsão de aluguel de bicicletas. Eles descobriram que o TOPOFE consistentemente superou os melhores métodos existentes. Ele não apenas encontrou respostas melhores; ele encontrou respostas mais diversas. Enquanto outros métodos frequentemente terminavam com um amontoado de pistas muito semelhantes (redundância), as ilhas especializadas e o trabalho em equipe inteligente do TOPOFE produziram um conjunto de pistas que cobriam mais terreno e funcionavam bem com diferentes tipos de modelos de previsão. O estudo sugere que, ao organizar a busca em grupos especializados e comunicativos e permitir que aprendam quando trocar ideias, podemos desbloquear maneiras muito mais poderosas de ensinar computadores a entender nossos dados. Os resultados mostram que essa abordagem é robusta, funcionando bem mesmo quando o "cérebro" subjacente do computador muda, provando que o ingrediente secreto está na estrutura da busca em si, e não apenas na inteligência do modelo.

Resumo Técnico: TOPOFE

Declaração do Problema

A Engenharia de Atributos Automática (AutoFE) para dados tabulares é fundamentalmente um problema de síntese de programas visando descobrir transformações preditivas em um espaço de busca exponencialmente grande. Embora as abordagens recentes baseadas em Grandes Modelos de Linguagem (LLMs) tenham expandido a expressividade da AutoFE além de bibliotecas de operadores predefinidas, elas sofrem de três limitações estruturais críticas:

Dinâmicas de Busca Homogêneas: Métodos evolutivos de LLM existentes operam sobre uma população única e indiferenciada. Isso faz com que a busca colapse em um subconjunto estreito de tipos de transformação (ex: interações aritméticas) uma vez que alguns motivos de alto desempenho saturam o buffer de experiência, deixando famílias ortogonais (ex: dinâmicas temporais, codificações relacionais) subexploradas.
Consulta de LLM Sem Estado (Stateless): A geração de atributos carece de memória persistente de avaliações anteriores. Propostas são geradas a partir de prompts estáticos sem adaptação cumulativa aos padrões específicos do conjunto de dados, levando a sugestões repetitivas e improdutivas.
Estrutura de Transferência Rígida: Quando múltiplas populações são utilizadas, a migração é tipicamente periódica ou aleatória. Não há um mecanismo principiado para detectar quando a busca local estagnou ou para identificar qual família de origem é mais complementar a um alvo estagnado, impedindo a descoberta de composições complexas entre famílias.

Metodologia: TOPOFE

O TOPOFE (Engenharia de Atributos Automatizada Guiada por LLM com Consciência de Topologia) reformula a AutoFE como uma busca evolutiva multi-ilha estruturada em grafos. Ele decompõe o espaço de programas de atributos em "famílias de transformação" semanticamente coerentes e coordena sua exploração através de três componentes principais:

1. Decomposição Multi-Ilha (Decomposição de Viés Indutivo)

O espaço de programas $\mathcal{P}$ é particionado em $M$ ilhas dedicadas, cada uma atribuída a uma família de transformação específica (ex: interações aritméticas, agregados estatísticos, atributos temporais, codificações relacionais, mapas univariados não lineares).

Estado da Ilha: Cada ilha $i$ mantém uma população $\Pi_i$ , um arquivo de elite $A_i$ , um histórico de aceitação/rejeição $H_i$ e um vetor de memória de prompt $\rho_i$ .
Exploração Especializada: Dentro de cada ilha, o LLM realiza operações de mutação e crossover condicionadas ao viés indutivo da família específica e ao histórico acumulado da ilha, evitando a convergência prematura para um único tipo de transformação.

2. Memória de Adaptação de Prompt (PAM)

Para resolver a geração sem estado, o TOPOFE implementa um mecanismo de memória leve por ilha que adapta as propostas do LLM sem atualizações de parâmetros.

Mecanismo: Após cada geração, o sistema resume os padrões de programas aceitos e rejeitados de uma janela deslizante em um sinal de "preferir/evitar" em linguagem natural ( $\rho_i$ ).
Condicionamento: Este sinal é injetado em cada prompt do LLM juntamente com os metadados da tarefa e as demonstrações de elite, permitendo uma adaptação cumulativa e específica para o conjunto de dados ao longo da busca.

3. Transferência Entre Ilhas Consciente da Topologia

Para descobrir atributos que requerem operadores de múltiplas famílias (ex: um atributo temporal combinado com uma razão aritmética), o TOPOFE emprega um grafo de topologia direcionado e aprendido $G(t)$ .

Detecção de Saturação: A transferência não é periódica, mas disparada por um critério de saturação. Uma ilha é considerada saturada quando seu melhoria marginal sobre uma janela deslizante cai abaixo de um limiar $\epsilon$ , indicando exaustão da busca local.
Roteamento Adaptativo: Após a saturação, o sistema consulta o grafo de topologia para selecionar uma ilha precursora $j^*$ que maximize a utilidade de transferência observada empiricamente $w_{j \to i}$ .
Síntese Híbrida: Em vez de copiar programas, o LLM realiza uma síntese híbrida. Ele recebe programas tanto da ilha alvo saturada quanto da ilha precursora selecionada como contexto, gerando um novo programa que compõe elementos estruturais de ambas as famílias.
Aprendizado de Grafo: Os pesos das arestas no grafo de topologia são atualizados online via uma média móvel exponencial baseada no ganho de aptidão observado dos eventos de transferência, aprendendo um modelo de complementaridade entre famílias baseado nos dados.

Principais Contribuições

Formulação Consciente da Topologia: O artigo propõe formular a AutoFE como uma busca multi-ilha estruturada em grafos onde a topologia de migração não é fixa, mas aprendida online via uma regra do tipo bandit baseada na utilidade de transferência empírica.
Transferência Adaptativa Disparada por Saturação: Um critério baseado em utilidade dispara a transferência entre ilhas apenas quando a busca local está exaurida, aliado a uma Memória de Adaptação de Prompt que permite a adaptação cumulativa sem atualizações de parâmetros.
Estrutura de Avaliação Principiada: Os autores introduzem três métricas criadas especificamente:
- Correlação Média de Saída Pareada (MPOC): Mede a redundância de atributos.
- Rank Efetivo (EffRank): Mede a cobertura do subespaço.
- Pontuação de Especialização do Grafo de Topologia (TGSS): Quantifica o grau em que o grafo de topologia adquire conhecimento de transferência específico da tarefa.
Validação Empírica: Experimentos extensos em 29 conjuntos de dados tabulares públicos (19 de classificação, 10 de regressão) demonstram melhorias consistentes em relação aos métodos de AutoFE clássicos e baseados em LLM de última geração.

Resultados

Desempenho Preditivo: O TOPOFE alcançou o melhor desempenho em 15 de 19 conjuntos de dados de classificação e 9 de 10 de regressão. Os ganhos de desempenho foram mais pronunciados em conjuntos de dados que exigem interações complexas entre famílias (ex: balance-scale, heart, bike), onde métodos de população única falharam em descobrir os atributos composicionais necessários.
Robustez: O framework permaneceu estável através de diferentes backbones de LLM (Qwen2.5-Coder, Qwen3-8B, GPT-4o-mini) e diferentes preditores downstream (XGBoost, CatBoost, MLP, TabPFN), confirmando que os ganhos são impulsionados pelos mecanismos arquiteturais e não pelas capacidades específicas do modelo.
Diversidade de Atributos: O TOPOFE produziu conjuntos de atributos com significativamente menor redundância (menor MPOC) e maior cobertura de subespaço (maior EffRank) em comparação com as linhas de base. Isso foi atribuído ao filtro de redundância explícito e à capacidade de importar templates estruturalmente ortogonais via síntese híbrida.
Especialização da Topologia: A métrica TGSS confirmou que o grafo de topologia aprendeu com sucesso caminhos de transferência específicos da tarefa. Conjuntos de dados com altos valores de TGSS (indicando fortes preferências aprendidas para transferências específicas entre famílias) correlacionaram-se com maiores ganhos de desempenho sobre as linhas de base de família única.

Significância e Alegações

O artigo afirma que a complementaridade entre famílias é uma quantidade aprendível e explorável que os métodos de AutoFE existentes deixam inexplorada. Ao ir além da busca homogênea e do prompting estático, o TOPOFE demonstra que:

A decomposição estruturada do espaço de programas preserva a diversidade e evita a convergência prematura.
A transferência adaptativa, disparada pela saturação, permite que o sistema descubra atributos composicionais complexos que são inalcançáveis por gramáticas de família única.
O grafo de topologia aprendido atua como um mecanismo principiado para rotear o fluxo de conhecimento precisamente quando e onde ele é mais valioso.

Os autores concluem que sua abordagem abre direções promissoras para a indução de esquemas de família automatizada e agendamento de transferência específico por tipo de tarefa, estabelecendo um novo paradigma para a engenharia de atributos guiada por LLM que equilibra exploração especializada com exploração estruturada.