OMEGA: Optimizing Machine Learning by Evaluating Generated Algorithms

1. Énoncé du problème

Le papier aborde le processus à forte friction consistant à faire passer la recherche en apprentissage automatique (ML) des hypothèses théoriques à des implémentations validées et prêtes pour la production. Bien que les techniques d'automatisation existantes comme la recherche d'architecture neuronale (NAS) et AutoML aient réussi à optimiser les hyperparamètres et les choix de couches au sein de structures algorithmiques fixes, elles n'ont pas résolu le problème de la découverte de logique algorithmique entièrement nouvelle. Actuellement, la traduction d'idées novatrices et non intuitives en code exécutable, sans erreur, et s'intégrant aux pipelines standards (par exemple, scikit-learn) reste un effort manuel, lourd en débogage. Les auteurs proposent de faire évoluer le rôle des modèles de langage (LLM) de générateurs de texte statiques vers des systèmes d'apprentissage exécutables capables de découverte algorithmique autonome.

2. Méthodologie : Le cadre OMEGA

OMEGA est un cadre de bout en bout conçu pour automatiser le cycle de vie de la création d'algorithmes ML, de la génération d'idées à l'évaluation du code exécutable. Il fonctionne à travers quatre étapes principales :

A. Génération d'idées

Le cadre utilise deux approches complémentaires pour générer des concepts algorithmiques :

1. Recherche d'ontologie par LLM : Le système sollicite les LLM avec une liste de modèles existants et de principes de recherche pour générer des modifications uniques (10 par modèle). Ces idées sont analysées et utilisées comme invites pour la génération de code.
2. Idées sollicitées par l'humain : Les chercheurs humains peuvent soumettre directement des concepts novateurs dans le cadre, qui sont traités parallèlement aux idées générées par les LLM.

B. Génération de code et auto-guérison

Une fois une idée définie, le LLM génère du code avec deux contraintes strictes :

1. Conformité à Scikit-Learn : Les modèles générés doivent hériter de BaseEstimator et implémenter les méthodes .fit() et .predict(). Cela garantit que les modèles agissent comme un langage spécifique au domaine (DSL) compatible avec les flux de travail ML existants.
2. Pipeline d'auto-guérison : Pour garantir la capacité d'exécution, le cadre emploie une boucle itérative de débogage. Si la génération de code échoue, la pile d'erreurs est renvoyée au LLM pour régénérer le code. Ce processus se répète pour un nombre fixe de tentatives ; si le code ne peut pas être corrigé, il est rejeté. Cela garantit que seul un code sans erreur et compilable passe à l'évaluation.

C. Évaluation : Infinity-Bench

Pour évaluer les algorithmes générés, les auteurs introduisent Infinity-Bench, un référentiel de benchmark contenant 20 ensembles de données de classification diversifiés (provenant de scikit-learn et OpenML).

• Diversité : Les ensembles de données varient en taille, en types de caractéristiques (numériques/catégorielles) et en domaine (biologie, médecine, éducation).
• Métrique : Au lieu de la précision brute (qui varie selon la difficulté de l'ensemble de données), le cadre utilise un Score de classement normalisé Min-Max.
  • Pour chaque ensemble de données $d$, le score $n_{m,d}$ est calculé en normalisant la précision du modèle ($s_{m,d}$) par rapport aux modèles le moins performant ($min_d$) et le plus performant ($max_d$) :
    $$n_{m,d} = \frac{s_{m,d} - min_d}{max_d - min_d}$$
  • Le score de performance final est la moyenne de ces classements normalisés sur les 20 ensembles de données.

D. Création de bibliothèque

Les modèles les plus performants sont emballés dans une bibliothèque Python (omega-models), permettant une intégration transparente dans les flux de travail standards.

3. Contributions clés

1. Cadre OMEGA : Un système automatisé de bout en bout qui convertit des invites simples en classificateurs ML sans erreur de compilation et compatibles avec scikit-learn.
2. Infinity-Bench : Un benchmark robuste pour évaluer les modèles de classification basés sur la performance relative et la robustesse sur 20 ensembles de données diversifiés.
3. Découverte d'algorithmes novateurs : La génération de deux algorithmes novateurs spécifiques surpassant les bases établies :
   • MetaSynthesisClassifier : Un modèle de généralisation empilée sollicité par l'humain.
   • DirectionalForest : Un ensemble généré de manière autonome par un LLM utilisant la directionnalité des caractéristiques.
4. Analyse comparative des LLM : Une étude comparant les capacités de génération de code de quatre LLM leaders (Gemini 2.5 Flash, GPT-4.1 mini, Claude Sonnet 4.5 et grok-code-fast-1 de xAI).
5. Stratégie d'auto-amélioration : Une analyse de l'auto-sollicitation récursive, comparant l'efficacité de l'amélioration de l'invite par rapport à l'amélioration du code de manière itérative.

4. Résultats

A. Performance par rapport aux bases de référence

Le cadre OMEGA a généré avec succès des modèles surpassant les bases de référence standards de scikit-learn (par exemple, RandomForest, MLPClassifier, LogisticRegression).

• Meilleurs performeurs : Les 3 meilleurs modèles du benchmark ont été générés par OMEGA (MetaSynthesisClassifier, VotingEnsembleClassifier et une variante sollicitée par l'utilisateur), obtenant des scores Min-Max de 0,9474, 0,9445 et 0,9401 respectivement.
• Comparaison avec les bases : Les modèles standards de scikit-learn se sont classés plus bas (par exemple, RandomForest à 0,9285, LogisticRegression à 0,8708).

B. Analyse des algorithmes novateurs

• MetaSynthesisClassifier : Utilise une approche hiérarchique de généralisation empilée. Il entraîne des estimateurs de base sur des données excluant des échantillons spécifiques (pour prévenir les fuites) et utilise un méta-estimateur pour apprendre le poids optimal de ces prédictions de base. Il a démontré une robustesse exceptionnelle à travers différentes complexités de variétés.
• DirectionalForest : Une découverte autonome qui intègre la directionnalité des caractéristiques. Il calcule un vecteur de directionnalité basé sur le signe des écarts entre les moyennes de classe et la moyenne globale. Il transforme les caractéristiques d'entrée ($x_{dir} = x \odot d$) avant d'entraîner des arbres de décision, normalisant efficacement la direction de l'importance des caractéristiques et réduisant la variance dans les espaces de haute dimension.

C. Comparaison des LLM

• Gemini 2.5 Flash s'est imposé comme le meilleur performeur pour générer des modèles de classification exécutables, obtenant le score moyen le plus élevé (0,9162) sur 10 invites diversifiées.
• Qualité de l'invite vs Identité du modèle : Bien que Gemini ait mené, l'écart de performance entre les modèles était relativement faible, suggérant que la qualité de l'invite initiale est souvent plus critique que le LLM spécifique utilisé.

D. Auto-amélioration (Invite vs Code)

Les auteurs ont testé si itérer sur l'invite ou sur le code donnait de meilleurs résultats :

• Constat : Le réglage de l'invite a systématiquement surpassé l'optimisation du seul code pour presque tous les LLM.
• Exemple : Pour Claude, les améliorations de l'invite ont généré un gain de 8,88 % par rapport à la base, tandis que les améliorations de code n'ont généré que 4,85 %.
• Implication : Affiner les instructions conceptuelles données au LLM est plus efficace que de lui demander de déboguer son propre code dans ce contexte.

5. Signification

Le cadre OMEGA représente une étape significative vers la recherche en IA automatisée. En comblant le fossé entre la génération d'idées et le code exécutable et validé, il abaisse la barrière à la découverte de nouveaux algorithmes ML.

• Évolutivité : Il démontre que les LLM peuvent raisonner sur la logique algorithmique et générer du code compétitif et prêt pour la production sans intervention humaine.
• Démocratisation : En emballant ces modèles, le cadre permet aux ingénieurs techniques et non techniques de tirer parti des algorithmes générés par les LLM.
• Recherche future : Le succès des « scientifiques IA » dans ce domaine suggère un avenir où l'ensemble du pipeline de recherche — de l'hypothèse au papier — est entièrement automatisé, accélérant potentiellement le rythme de l'innovation ML au-delà de la dérivation manuelle humaine.