Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering
Ce document introduit OpenMLE, un système complet et ouvert pour l'auto-amélioration récursive en ingénierie de l'apprentissage automatique, et présente Frontis-MA1, un agent de méta-évolution de 35B qui exploite un entraînement ancré dans l'exécution et une recherche à long horizon pour surpasser de manière significative les modèles de pointe sur les benchmarks MLE tout en démontrant une forte transférabilité aux tâches non vues.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où les personnes qui construisent les outils du futur sont elles-mêmes en train d'être construites par ces outils. C'est le domaine de l'« IA pour l'IA », un recoin fascinant de l'informatique où l'intelligence artificielle ne se contente pas de jouer à des jeux ou d'écrire des poèmes, mais conçoit, construit et améliore réellement d'autres IA. Le grand rêve ici est l'« auto-amélioration récursive », un concept de science-fiction où un système intelligent devient meilleur pour créer des systèmes intelligents, qui deviennent ensuite encore meilleurs pour créer la génération suivante, créant ainsi une boucle d'intelligence exponentielle. Mais pour en arriver là, nous avons besoin d'un terrain de jeu sûr et réel pour tester ces idées. C'est là que l'« Ingénierie de l'Apprentissage Automatique » (Machine Learning Engineering ou MLE) entre en scène. Voyez le MLE comme le travail concret et complexe de construction de modèles d'IA réels : collecter des données, les entraîner, corriger des bugs et les ajuster jusqu'à ce qu'ils fonctionnent. C'est la différence entre un plan théorique et une voiture fonctionnelle. Si nous pouvons apprendre à une IA à accomplir ce travail d'ingénierie de mieux en mieux par elle-même, nous pourrions bien déchiffrer le code de ce futur auto-amélioré.
Ce document présente un nouveau terrain de jeu ouvert appelé OpenMLE et un élève brillant nommé Frontis-MA1-35B pour voir si une IA peut véritablement apprendre à être un meilleur ingénieur que les humains qui l'ont enseigné. Les chercheurs n'ont pas seulement construit un seul robot intelligent ; ils ont construit une usine entière. D'abord, ils ont créé OpenMLE-Gym, une immense salle de sport numérique avec près de 6 000 tâches d'« entraînement » différentes (comme prédire les cours de la bourse ou classifier des images) où l'IA peut tenter de résoudre des problèmes et recevoir un retour immédiat et honnête sur sa réussite ou son échec. Ensuite, ils ont enseigné à leur IA, Frontis-MA1, quatre « mouvements musculaires » spécifiques : Draft (rédiger un nouveau code), Improve (l'améliorer), Debug (corriger les erreurs) et Crossover (mélanger deux bonnes idées ensemble).
La magie opère lorsqu'ils laissent l'IA pratiquer ces mouvements. Au lieu de simplement deviner, Frontis-MA1 exécute son code dans la salle de sport, voit les résultats et apprend de ses erreurs. Les chercheurs ont découvert que lorsqu'ils combinaient cet entraînement avec une stratégie de recherche intelligente appelée OpenMLE-Evo, l'IA ne devenait pas seulement légèrement meilleure ; elle devenait radicalement meilleure. Sur un test difficile appelé MLE-Bench Lite, le modèle de base (l'IA avant l'entraînement) n'a obtenu une « médaille » (un score de haut niveau) que sur environ 39 % des tâches. Mais après la boucle d'entraînement et de recherche, Frontis-MA1-35B est passé à 60,61 %. Lorsqu'ils ont poussé le curseur de recherche encore plus haut avec un mode « Max » spécial, il a atteint 71,21 %.
Ce n'est pas seulement une petite victoire ; le document suggère que ce système a en réalité surpassé certains des modèles d'IA les plus célèbres et les plus puissagers au monde (comme GPT-5.5 et Codex) sur ces tâches d'ingénierie spécifiques, et s'est approché des performances de Kimi K3, même si Frontis-MA1 a été construit sur une base plus petite de 35 milliards de paramètres. La découverte clé est que l'IA a appris à utiliser ses expériences passées pour guider ses recherches futures. Elle n'a pas simplement essayé des choses au hasard ; elle s'est souvenue de quelles « branches » de son arbre de résolution de problèmes fonctionnaient, lesquelles échouaient, et comment mélanger les gagnantes ensemble. Les auteurs montrent que cette approche de « apprendre à apprendre » permet à l'IA de continuer à s'améliorer bien après avoir trouvé une solution fonctionnelle, transformant une simple correction en une performance de niveau médaille d'or. Bien que le document s'arrête avant de prétendre que l'IA a atteint une auto-amélioration complète et infinie, il fournit des preuves solides que nous passons d'IA qui se contentent de suivre des instructions à des IA qui peuvent véritablement faire évoluer leurs propres compétences d'ingénierie.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.