OMEGA: Optimizing Machine Learning by Evaluating Generated Algorithms

1. Declaração do Problema

O artigo aborda o processo de alta fricção na transição da pesquisa em aprendizado de máquina (ML) de hipóteses teóricas para implementações validadas e prontas para produção. Embora técnicas de automação existentes, como Busca de Arquitetura Neural (NAS) e AutoML, tenham otimizado com sucesso hiperparâmetros e escolhas de camadas dentro de estruturas algorítmicas fixas, elas não resolveram o problema de descobrir lógica algorítmica inteiramente nova. Atualmente, traduzir ideias novas e não intuitivas em código executável e livre de erros que se integre a pipelines padrão (por exemplo, scikit-learn) permanece um esforço manual e pesado em depuração. Os autores propõem mudar o papel dos Modelos de Linguagem de Grande Escala (LLMs) de geradores de texto estáticos para sistemas de aprendizado executáveis capazes de descoberta algorítmica autônoma.

2. Metodologia: O Framework OMEGA

OMEGA é um framework de ponta a ponta projetado para automatizar o ciclo de vida da criação de algoritmos de ML, desde a geração de ideias até a avaliação de código executável. Ele opera por meio de quatro etapas principais:

A. Geração de Ideias

O framework utiliza duas abordagens complementares para gerar conceitos algorítmicos:

1. Busca de Ontologia por LLM: O sistema solicita aos LLMs uma lista de modelos existentes e princípios de pesquisa para gerar modificações únicas (10 por modelo). Essas ideias são analisadas e usadas como prompts para geração de código.
2. Ideias Solicitadas por Humanos: Pesquisadores humanos podem submeter conceitos novos diretamente ao framework, que são processados juntamente com as ideias geradas por LLMs.

B. Geração de Código e Auto-Cura

Uma vez definida uma ideia, o LLM gera código com duas restrições estritas:

1. Conformidade com Scikit-Learn: Os modelos gerados devem herdar de BaseEstimator e implementar os métodos .fit() e .predict(). Isso garante que os modelos atuem como uma Linguagem Específica de Domínio (DSL) compatível com fluxos de trabalho de ML existentes.
2. Pipeline de Auto-Cura: Para garantir a capacidade de execução, o framework emprega um loop iterativo de depuração. Se a geração de código falhar, o rastreamento de erro (stack trace) é alimentado de volta ao LLM para regenerar o código. Esse processo se repete por um número fixo de tentativas; se o código não puder ser corrigido, ele é descartado. Isso garante que apenas código livre de erros e compilável prossiga para avaliação.

C. Avaliação: Infinity-Bench

Para avaliar os algoritmos gerados, os autores introduzem o Infinity-Bench, um repositório de benchmark contendo 20 conjuntos de dados diversos de classificação (provenientes do scikit-learn e OpenML).

• Diversidade: Os conjuntos de dados variam em tamanho, tipos de recursos (numéricos/categóricos) e domínio (biologia, medicina, educação).
• Métrica: Em vez de precisão bruta (que varia conforme a dificuldade do conjunto de dados), o framework utiliza uma Pontuação de Classificação Normalizada Min-Max.
  • Para cada conjunto de dados $d$, a pontuação $n_{m,d}$ é calculada normalizando a precisão do modelo ($s_{m,d}$) em relação aos modelos pior ($min_d$) e melhor ($max_d$):
    $$n_{m,d} = \frac{s_{m,d} - min_d}{max_d - min_d}$$
  • A pontuação final de desempenho é a média dessas classificações normalizadas em todos os 20 conjuntos de dados.

D. Criação de Biblioteca

Os modelos de melhor desempenho são empacotados em uma biblioteca Python (omega-models), permitindo integração perfeita em fluxos de trabalho padrão.

3. Contribuições Principais

1. Framework OMEGA: Um sistema automatizado de ponta a ponta que converte prompts simples em classificadores de ML livres de erros de compilação e compatíveis com scikit-learn.
2. Infinity-Bench: Um benchmark robusto para avaliar modelos de classificação com base no desempenho relativo e robustez em 20 conjuntos de dados diversos.
3. Descoberta de Algoritmos Novos: A geração de dois algoritmos novos específicos que superam baselines estabelecidas:
   • MetaSynthesisClassifier: Um modelo de generalização empilhada solicitado por humanos.
   • DirectionalForest: Um ensemble gerado autonomamente por LLM que utiliza a direcionalidade de recursos.
4. Análise Comparativa de LLMs: Um estudo comparando as capacidades de geração de código de quatro LLMs líderes (Gemini 2.5 Flash, GPT-4.1 mini, Claude Sonnet 4.5 e grok-code-fast-1 da xAI).
5. Estratégia de Auto-Melhoria: Uma análise de auto-prompting recursivo, comparando a eficácia de melhorar o prompt versus melhorar o código iterativamente.

4. Resultados

A. Desempenho vs. Baselines

O framework OMEGA gerou com sucesso modelos que superaram as baselines padrão do scikit-learn (por exemplo, RandomForest, MLPClassifier, LogisticRegression).

• Melhores Desempenhos: Os 3 melhores modelos no benchmark foram gerados pelo OMEGA (MetaSynthesisClassifier, VotingEnsembleClassifier e uma variante solicitada por usuário), alcançando pontuações Min-Max de 0,9474, 0,9445 e 0,9401, respectivamente.
• Comparação com Baseline: Modelos padrão do scikit-learn ocuparam posições mais baixas (por exemplo, RandomForest em 0,9285, LogisticRegression em 0,8708).

B. Análise de Algoritmos Novos

• MetaSynthesisClassifier: Utiliza uma abordagem hierárquica de generalização empilhada. Ele treina estimadores base em dados excluindo amostras específicas (para evitar vazamento) e usa um meta-estimador para aprender o peso ótimo dessas previsões base. Demonstrou robustez excepcional em diferentes complexidades de variedades (manifolds).
• DirectionalForest: Uma descoberta autônoma que incorpora direcionalidade de recursos. Calcula um vetor de direcionalidade com base no sinal dos desvios entre as médias das classes e a média global. Transforma os recursos de entrada ($x_{dir} = x \odot d$) antes de treinar árvores de decisão, normalizando efetivamente a direção da importância dos recursos e reduzindo a variância em espaços de alta dimensão.

C. Comparação de LLMs

• Gemini 2.5 Flash emergiu como o melhor desempenho para gerar modelos de classificação executáveis, alcançando a maior pontuação média (0,9162) em 10 prompts diversos.
• Qualidade do Prompt vs. Identidade do Modelo: Embora o Gemini tenha liderado, a lacuna de desempenho entre os modelos foi relativamente pequena, sugerindo que a qualidade do prompt inicial é frequentemente mais crítica do que o LLM específico utilizado.

D. Auto-Melhoria (Prompt vs. Código)

Os autores testaram se iterar sobre o prompt ou sobre o código produzia melhores resultados:

• Descoberta: O ajuste de prompt superou consistentemente a otimização apenas de código para quase todos os LLMs.
• Exemplo: Para o Claude, melhorias no prompt geraram um ganho de 8,88% sobre a base, enquanto melhorias no código geraram apenas 4,85%.
• Implicação: Refinar as instruções conceituais dadas ao LLM é mais eficaz do que pedir que ele depure seu próprio código neste contexto.

5. Significado

O framework OMEGA representa um passo significativo em direção à pesquisa de IA automatizada. Ao preencher a lacuna entre a geração de ideias e código executável e validado, ele reduz a barreira para a descoberta de novos algoritmos de ML.

• Escalabilidade: Demonstra que LLMs podem raciocinar sobre lógica algorítmica e gerar código competitivo e pronto para produção sem intervenção humana.
• Democratização: Ao empacotar esses modelos, o framework permite que engenheiros técnicos e não técnicos aproveitem algoritmos gerados por LLMs.
• Pesquisa Futura: O sucesso de "Cientistas de IA" neste domínio sugere um futuro onde todo o pipeline de pesquisa — da hipótese ao artigo — seja totalmente automatizado, potencialmente acelerando o ritmo da inovação em ML além da derivação manual humana.