LEMUR 2: Unlocking Neural Network Diversity for AI
LEMUR 2 introduit un cadre extensible à grande échelle qui unifie les pipelines génératifs, évaluatifs et de déploiement pour produire plus de 14 000 architectures neuronales diverses avec des métadonnées de performance exhaustives, établissant ainsi une nouvelle fondation pour la conception d'IA reproductible et pilotée par les données ainsi que pour l'AutoML piloté par les LLM à travers des tâches multimodales et du matériel hétérogène.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de construire la maison parfaite. Pendant des années, des architectes (chercheurs en IA) en ont conçu à la main, une brique après l'autre. Ils disposent de quelques plans standards qu'ils apprécient, mais ils n'ont pas vraiment exploré ce qui se passerait s'ils mélangeaient des briques de différentes époques, ou s'ils essayaient de construire une maison qui fonctionne aussi bien dans un désert, une forêt tropicale ou une montagne enneigée.
LEMUR 2 est un nouveau projet massif qui change la donne. Au lieu de simplement regarder quelques plans favoris, les chercheurs ont construit une gigantesque « usine de construction » automatisée qui produit plus de 14 000 conceptions de réseaux de neurones uniques (les « maisons ») et les teste toutes.
Voici comment ils ont procédé, en utilisant des analogies simples :
1. L'équipe de construction (Comment ils ont fabriqué les modèles)
L'équipe n'a pas seulement dessiné un seul plan pour le copier. Ils ont utilisé six « équipes » différentes pour générer ces 14 000 conceptions, garantissant que la collection soit incroyablement diversifiée :
- Les Ingénieurs Génétiques (Évolution) : Imaginez une population de créatures numériques. L'ordinateur les laisse se « reproduire » et « muter » sur de nombreuses générations, conservant les conceptions les plus fortes et écartant les plus faibles. Cela a permis de trouver environ 2 000 nouvelles architectures robustes.
- Les Mutateurs de Code (Édition AST) : Voyez cela comme un robot qui prend le plan d'une maison existante et modifie la largeur des couloirs ou la taille des fenêtres. Il ajuste légèrement le code pour voir si la maison tient toujours debout.
- Les Bâtisseurs Fractals : Ces bâtisseurs utilisent un motif mathématique où un petit design se répète encore et encore pour créer une structure complexe et auto-similaire (comme une feuille de fougère ou un flocon de neige).
- Les Charognards (NN-RAG) : C'est comme un robot qui parcourt une immense bibliothèque de code public (comme un immense magasin de matériel en ligne), trouve des pièces préfabriquées utiles (comme une porte ou une fenêtre spécifique) et vérifie si elles fonctionnent avant de les ajouter à sa boîte à outils. Ils ont trouvé plus de 900 pièces réutilisables de cette manière.
- Les Architectes IA (LLM et Apprentissage par Renforcement) : Ils ont demandé à une IA super intelligente (un Modèle de Langage Étendu) d'écrire de nouveaux plans de zéro. Parfois, ils lui donnaient quelques exemples de bonnes maisons à copier (Few-Shot), et d'autres fois, ils laissaient l'IA essayer de construire une maison, échouer, recevoir une « réprimande » (récompense négative) et réessayer jusqu'à ce qu'elle réussisse (Apprentissage par Renforcement).
- Les Mélangeurs de Données : Ils ont également testé 6 000 façons différentes de « préparer les ingrédients » (augmentation de données) avant de cuisiner le repas, pour voir quelle recette donnait le meilleur goût au modèle.
2. Les terrains d'essai (Ce qu'ils ont testé)
Par le passé, la plupart des tests ne regardaient que la capacité d'un modèle à identifier un chat ou un chien sur une photo. LEMUR 2 est beaucoup plus large. Ils ont testé ces 14 000 modèles sur :
- Décrire des images : Faire en sorte que l'IA écrive une phrase sur une photo.
- Dessiner des images : Faire en sorte que l'IA crée une image à partir d'une description textuelle.
- Écrire du texte : Faire en sorte que l'IA prédise le mot suivant dans une histoire.
- Mélanger des experts : Créer une « équipe » de différents petits modèles qui votent sur la réponse, plutôt que de compter sur un seul grand modèle.
3. Le test de résistance en conditions réelles (Déploiement)
C'est la plus grande innovation de ce papier. Habituellement, les chercheurs testent les modèles sur de gigantesques ordinateurs ultra-rapides en laboratoire. LEMUR 2 demande : « Est-ce que ce modèle fonctionne réellement sur un téléphone ou dans un casque de Réalité Virtuelle ? »
- NN-Lite (Le test du téléphone) : Ils ont pris des milliers de modèles et ont essayé de les réduire pour qu'ils puissent fonctionner sur un téléphone Android. Ils ont mesuré la vitesse à laquelle le téléphone pouvait « réfléchir » en utilisant ces modèles.
- NN-VR (Le test de la VR) : Ils ont essayé de faire fonctionner ces modèles à l'intérieur d'un moteur de jeu en Réalité Virtuelle (Unity). Ils ont vérifié si le modèle était assez rapide pour suivre un casque VR à 90 Hz (ce qui signifie que le modèle doit réfléchir 90 fois par seconde, sinon l'utilisateur ressent le mal des transports).
4. Le résultat : Une bibliothèque massive
Le résultat final est une base de données géante contenant :
- Plus de 14 000 conceptions de modèles distinctes.
- Plus de 750 000 enregistrements d'entraînement (comme un journal de bord pour chaque test effectué).
- Des données de vitesse en conditions réelles provenant de téléphones et de casques VR.
Pourquoi est-ce important ?
Considérez les recherches précédentes en IA comme ayant une petite boîte de briques Lego. Vous pouviez construire quelques choses de cool, mais vous étiez limité par les briques que vous aviez.
LEMUR 2 déverse un entrepôt rempli de différentes briques Lego, de différentes instructions de construction, et même d'instructions sur la façon de construire un château en Lego qui tient dans un petit sac à dos (téléphone portable) ou un casque (VR).
En possédant cette bibliothèque massive et diversifiée, les chercheurs peuvent désormais utiliser l'IA pour concevoir une meilleure IA. Au lieu qu'un humain devine quel plan est le meilleur, ils peuvent utiliser ces données pour entraîner un « Architecte Maître » (un Modèle de Langage Étendu) à comprendre ce qui fait fonctionner un réseau de neurones, menant à une IA plus intelligente, plus rapide et plus efficace à l'avenir.
En bref : Ils ont construit une immense usine automatisée pour créer et tester des milliers de cerveaux d'IA différents, non seulement pour voir à quel point ils sont intelligents, mais aussi pour voir s'ils peuvent réellement fonctionner sur les appareils que nous utilisons chaque jour.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.