🤖 machine learning

iML: Executable, Problem-Grounded, and Broadly Exploratory Code-Driven AutoML

O artigo introduz o iML, um framework de AutoML orientado a código e multiagente que garante soluções executáveis, fundamentadas em problemas e amplamente exploratórias por meio de blueprints estruturados e depuração iterativa, alcançando desempenho de estado da arte e alta confiabilidade em diversos benchmarks de aprendizado de máquina.

Autores originais: Dat Le, Duc-Cuong Le, Anh-Son Nguyen, Tuan-Dung Bui, Thu-Trang Nguyen, Son Nguyen, Hieu Dinh Vo

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Dat Le, Duc-Cuong Le, Anh-Son Nguyen, Tuan-Dung Bui, Thu-Trang Nguyen, Son Nguyen, Hieu Dinh Vo

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você queira construir uma máquina complexa, como um carro de corrida de alto desempenho, mas não saiba como ser um mecânico. Você pede a um assistente muito inteligente, culto, mas às vezes excessivamente confiante (uma IA) para escrever os projetos e construir o carro para você.

No passado, esses assistentes frequentemente escreviam planos que pareciam perfeitos no papel, mas que desmoronavam no momento em que você tentava ligar o motor. Eles podiam assumir que o carro tem um motor V8 quando você só tem um V6, ou podiam esquecer de parafusar as rodas porque estavam ocupados demais escrevendo um belo discurso sobre velocidade.

Este artigo apresenta o 𝑖ML, uma nova equipe de assistentes de IA projetada para corrigir esses problemas. Em vez de um único assistente tentando fazer tudo de uma vez, o 𝑖ML utiliza uma equipe multiagente que trabalha como uma equipe de construção altamente organizada. O objetivo deles é construir um modelo de aprendizado de máquina (o "carro") que realmente funcione, seja construído com os materiais reais que você possui e explore muitas maneiras diferentes de vencer a corrida.

Aqui está como o 𝑖ML funciona, dividido em três princípios simples:

1. A Regra do "Ele Realmente Funciona?" (Executabilidade)

A maioria dos assistentes de IA escreve códigos que parecem bons em texto, mas travam quando você tenta executá-los. O 𝑖ML trata o ato de executar o código como o teste mais importante.

A Analogia: Imagine um chef que não apenas escreve uma receita; eles realmente cozinham o prato, provam e, se estiver muito salgado, corrigem antes de servir ao cliente.
Como o 𝑖ML faz isso: A equipe divide o trabalho em partes pequenas (preparar os dados, construir o modelo). Eles constroem cada parte separadamente e depois tentam montá-las. Se as partes não se encaixarem (como um pino quadrado em um buraco redondo), o sistema interrompe imediatamente, encontra o erro exato e corrige apenas aquela peça. O sistema continua tentando e corrigindo até que toda a máquina funcione perfeitamente. Isso garante que, 90% das vezes, o resultado final realmente funcione.

2. A Regra do "Olhe para o Que Você Tem" (Fundamentação no Problema)

Às vezes, os assistentes de IA inventam coisas. Eles podem supor que seus dados estão limpos quando na verdade estão bagunçados, ou assumir que você quer prever vendas quando, na verdade, quer prever o clima.

A Analogia: Imagine um empreiteiro que ignora as plantas que você lhe deu e o terreno real onde você está construindo, e decide construir uma piscina porque acha que era isso que você queria.
Como o 𝑖ML faz isso: Antes de escrever uma única linha de código, o 𝑖ML envia um "batedor" para inspecionar seus dados reais. Ele conta as partes ausentes, verifica os tipos de informações e pesquisa o que outros especialistas fizeram com dados semelhantes. Em seguida, cria um plano rigoroso (um "projeto") baseado na realidade, não em suposições. Isso evita que a equipe construa um modelo que seja logicamente sólido, mas inútil para o seu problema específico.

3. A Regra do "Tente Tudo" (Exploração Ampla)

Os antigos sistemas de AutoML costumam escolher um caminho e seguir por ele, como um motorista que só sabe dirigir em rodovias. Se a estrada se torna de terra, eles ficam presos.

A Analogia: Imagine um detetive que só interroga um suspeito. O 𝑖ML é como um detetive que entrevista três suspeitos diferentes: um que usa métodos tradicionais, um que usa dispositivos de alta tecnologia e um que usa uma ferramenta feita sob medida.
Como o 𝑖ML faz isso: A equipe não escolhe apenas uma maneira de resolver o problema. Eles executam três estratégias diferentes em paralelo:
1. Métodos tradicionais (confiáveis, como um sedan robusto).
2. Modelos pré-treinados (usando ferramentas inteligentes existentes, como um carro esportivo).
3. Redes neurais customizadas (construindo um motor único e personalizado do zero).
  Eles testam as três, veem qual vence a corrida e escolhem o vencedor. Se uma falhar, eles não desistem; eles apenas mudam para a próxima melhor opção.

A Estrutura da Equipe

Para fazer isso acontecer, o 𝑖ML organiza seus agentes de IA em funções específicas:

O Estrategista: Lê o problema e inspeciona os dados para criar o projeto mestre.
Os Especialistas: Diferentes agentes escrevem o código para partes específicas (um para limpar dados, outro para construir o modelo) para que não se confundam.
O Montador e Depurador: Eles juntam as peças, testam e, se algo quebrar, agem como um mecânico com uma ferramenta de diagnóstico para encontrar e consertar o parafuso exato quebrado sem precisar reconstruir o carro inteiro.

Os Resultados

Os autores testaram este sistema em dois conjuntos de desafios difíceis (como as famosas competições de ciência de dados do Kaggle).

Confiabilidade: Enquanto outros sistemas falhavam em produzir um resultado funcional cerca de metade das vezes, o 𝑖ML teve sucesso 90% das vezes.
Desempenho: O 𝑖ML não apenas funcionou; ele venceu. Ele conquistou "medalhas" (classificações de topo) em 45% das competições, superando tanto ferramentas automatizadas antigas quanto outros agentes de IA.
Robustez: Mesmo quando as instruções eram vagas ou reduzidas ao mínimo (como dizer "corrija estes dados" sem explicar como), o 𝑖ML ainda conseguiu ter sucesso 70% das vezes, baseando-se na inspeção de seus dados reais em vez de depender apenas das instruções de texto.

Em resumo, o 𝑖ML é um sistema que para de adivinhar, começa a testar e constrói uma equipe de especialistas para garantir que o modelo de aprendizado de máquina final não seja apenas uma ideia bonita, mas uma realidade funcional e de alto desempenho.

Resumo Técnico: $i$ ML – AutoML Baseado em Código, Executável, Fundamentado em Problemas e Amplamente Exploratório

1. Definição do Problema

Embora o Aprendizado de Máquina Automatizado (AutoML) tenha democratizado o acesso ao aprendizado de máquina, os sistemas existentes enfrentam limitações significativas em termos de flexibilidade, transparência e confiabilidade de execução. As ferramentas tradicionais de AutoML geralmente operam como "caixas pretas" rígidas, restritas a espaços de busca predefinidos (ex: dados tabulares), carecendo da capacidade de personalizar pipelines para problemas complexos ou multimodais.

Agentes recentes baseados em Grandes Modelos de Linguagem (LLMs) migraram para o AutoML baseado em código, sintetizando código executável para pré-processamento, treinamento e avaliação. No entanto, as abordagens atuais sofrem de três falhas críticas:

Falta de Executabilidade: O código gerado frequentemente parece plausível em texto, mas falha durante a execução devido a erros de tempo de execução, incompatibilidades de tipos ou suposições não verificadas.
Insuficiente Fundamentação no Problema: As decisões de planejamento frequentemente dependem de suposições textuais não verificadas ou propriedades de dados "alucinadas", em vez de uma análise empírica do conjunto de dados real.
Exploração Limitada: Muitos sistemas comprometem-se prematuramente com um único caminho de modelagem (ex: refinando um script monolítico ou envolvendo um backend fixo como o AutoGluon), falhando em explorar estratégias de solução diversas e atualizadas entre ML tradicional, adaptação de modelos pré-treinados e arquiteturas neurais customizadas.

2. Metodologia: O Framework $i$ ML

Os autores introduzem o $i$ ML, um framework de AutoML baseado em código e multi-agente projetado para satisfazer três requisitos principais: Executabilidade, Fundamentação no Problema e Exploração Ampla. O framework opera através de três fases coordenadas:

Fase I: Planejamento Estratégico Guiado por Código

Em vez de um prompting direto para o código, o $i$ ML primeiro constrói um blueprint estratégico fundamentado no problema ( $B$ ).

Análise de Tarefa e Perfilamento: Um Analista de Tarefas extrai restrições semânticas, enquanto um Agente de Perfilamento analisa empiricamente o conjunto de dados bruto ( $\mathcal{D}$ ) para gerar meta-características ( $F_{meta}$ ), incluindo esquema, padrões de ausência de dados e qualidade dos dados.
Recuperação de Conhecimento: Um Recuperador de Conhecimento adquire restrições de domínio e estratégias de pré-processamento de fontes externas.
Síntese de Blueprint: Um Agente de Diretrizes sintetiza um blueprint estruturado especificando diretrizes de pré-processamento, lógica de seleção de modelos (escolhendo entre ML Tradicional, Adaptação de Pré-treinados ou Arquiteturas Neurais Customizadas), protocolos de treinamento e métricas de avaliação. Este blueprint atua como um conjunto de invariantes arquiteturais para restringir o espaço de busca.

Fase II: Implementação Modular de Código

Agentes de codificação especializados implementam componentes separadamente sob Contratos de Interface explícitos ( $IC_{\mathcal{T}}$ ).

Codificador de Pré-processamento: Gera um script ( $S_{prep}$ ) para transformar os dados brutos em uma representação verificada ( $\mathcal{D}'$ ) que satisfaz estritamente o esquema exigido pela etapa de modelagem.
Codificador de Modelagem: Gera um script ( $S_{model}$ ) para treinamento e inferência, garantindo compatibilidade matemática com o $\mathcal{D}'$ verificado.
Design Baseado em Contratos: Esta modularidade evita o emaranhamento de lógica e permite o desenvolvimento e reparo independente dos componentes.

Fase III: Integração Verificável por Código

Um Agente Montador integra $S_{prep}$ e $S_{model}$ em um pipeline unificado ( $S$ ).

Execução Dinâmica e Verificação: O sistema executa $S_{prep}$ nos dados para validar propriedades de tempo de execução (formas, tipos) contra o contrato de interface antes de prosseguir para o treinamento.
Depuração Iterativa: Se a execução falhar, um Analisador de Erros localiza a falha (ex: incompatibilidades de API, erros de forma de tensor) usando rastreios de execução (tracebacks). Um Agente de Depuração então repara iterativamente o componente específico, utilizando busca na web para sintaxe atualizada, se necessário, até que um pipeline válido seja obtido.

3. Principais Contribuições

Novos Princípios de Design: O artigo estabelece três critérios para um ideal de AutoML baseado em código: Executabilidade (síntese de ponta a ponta confiável), Fundamentação no Problema (decisões baseadas em dados empíricos e conhecimento recuperado) e Exploração Diversa/Atualizada (busca através de trilhas de solução heterogêneas).
O Framework $i$ ML: Uma arquitetura multi-agente que operacionaliza esses princípios através de perfilamento empírico, planejamento apoiado em recuperação, síntese de código modular e verificação dinâmica.
Validação Experimental Abrangente: Avaliação extensiva no MLE-BENCH e no recém-introduzido $i$ ML-BENCH (cobrindo 16 competições diversas do Kaggle de 2021–2025), demonstrando confiabilidade operacional superior e desempenho competitivo.

4. Resultados Experimentais

Os autores avaliaram o $i$ ML contra baselines de última geração, incluindo AutoML tradicional (AutoGluon) e agentes baseados em código (MLZERO, MLE-STAR, AutoML-Agent).

Desempenho no MLE-BENCH (Lite)

Confiabilidade: O $i$ ML alcançou uma taxa de submissão válida de 90%, superando significativamente o MLE-STAR (55%) e o AutoML-Agent (40%).
Qualidade Competitiva: Garantiu 45% das tarefas com qualquer medalha (Ouro/Prata/Bronze) e uma taxa de 80% "Acima da Mediana".
Pontuação de Desempenho: A Pontuação de Desempenho Média (APS) foi de 0,82, representando uma melhoria de 52%–273% sobre os baselines baseados em LLM.

Desempenho no $i$ ML-BENCH

Robustez: O $i$ ML alcançou o APS mais alto (0,54), quase triplicando o desempenho do MLZERO (0,19).
Tarefas Complexas: Enquanto baselines como AutoGluon e MLZERO falharam (pontuaram 0,00) em tarefas multimodais complexas (ex: PetFinder, Classificação Multilabel), o $i$ ML manteve pontuações altas (0,67 e 0,69, respectivamente).
Descrições Reduzidas: Mesmo quando as descrições das tarefas foram significativamente reduzidas para um prompt genérico, o $i$ ML manteve uma taxa de sucesso de 70% e um APS de 0,63, demonstrando resiliência à ambiguidade de intenção do usuário.

Estudos de Ablação

Executabilidade: Remover a verificação dinâmica ou a integração modular causou quedas significativas nas taxas de submissão válida e no APS, confirmando que verificações estáticas são insuficientes.
Fundamentação: Remover o perfilamento de dados empíricos reduziu o APS de 0,82 para 0,66, provando que a fundamentação nos dados é um motor primário de qualidade competitiva.
Exploração: Restringir o $i$ ML a uma única trilha de modelagem (ex: apenas ML Tradicional) resultou em colapso de desempenho em tarefas não tabulares, validando a necessidade de exploração de múltiplas trilhas.

5. Significância e Alegações

O artigo afirma que o $i$ ML estabelece um paradigma robusto para AutoML ao preencher a lacuna entre o raciocínio estratégico de alto nível e a implementação empiricamente verificável.

Confiabilidade sobre Plausibilidade: Ao contrário de agentes anteriores que geram código textualmente plausível, mas frágil, o $i$ ML impõe a executabilidade através de um processo de ciclo fechado de montagem, execução, diagnóstico e correção.
Fundamentação Empírica: Ao ancorar o planejamento nas propriedades observadas dos dados e no conhecimento recuperado, o sistema evita suposições alucinadas que levam a falhas de execução.
Desempenho Competitivo com Humanos: O $i$ ML demonstra que o AutoML baseado em código pode transcender os tetos de desempenho de ferramentas de otimização de "caixa preta" (como o AutoGluon) ao arquitetar pipelines nativos e específicos para cada tarefa.

Os autores concluem que o $i$ ML representa um passo transformador em direção à engenharia autônoma confiável e competitiva com humanos, fornecendo uma base verificável para a próxima geração de sistemas de ML. Eles reconhecem que, embora o desempenho em tarefas multimodais permaneça uma fronteira para otimização futura, o framework aborda com sucesso os desafios centrais de emaranhamento de lógica e confiabilidade de execução nos atuais agentes de AutoML.