DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution

Imaginez que vous ayez un ami robot super intelligent qui sait presque tout sur le monde. Vous pouvez lui demander de résoudre un problème de mathématiques complexe ou une énigme logique, et il réussit généralement. Mais voici le hic : une fois que vous éteignez le robot et que vous le rallumez, il oublie tout ce qu'il a appris de vos questions spécifiques. C'est comme avoir un génie qui se réveille chaque matin avec une page blanche, incapable de se souvenir des erreurs commises la veille ou des astuces ingénieuses découvertes. Habituellement, pour rendre un robot plus intelligent, il faut recâbler son cerveau (un processus appelé « entraînement »), ce qui est coûteux, lent et nécessite un accès spécial que beaucoup de gens n'ont pas.

Ainsi, les scientifiques se sont posé une grande question : un robot figé peut-il apprendre sans recâbler son cerveau ? La réponse réside dans ce qu'on appelle le « prompting » (l'incitation). Au lieu de changer le cerveau du robot, vous pouvez changer les instructions que vous lui donnez. C'est comme donner une nouvelle fiche de recette à un chef. Si la fiche dit : « N'oubliez pas de saler la soupe », le chef pourrait mieux travailler. Mais si le chef continue de faire la même erreur, une simple note ne suffira peut-être pas. Il faut un moyen pour que le chef puisse noter pourquoi il a échoué, élaborer une meilleure stratégie et transformer cette stratégie en une règle permanente sur sa fiche de recette, le tout sans modifier ses véritables compétences culinaires. C'est la frontière de l'« auto-amélioration » de l'IA : apprendre à un modèle statique à devenir plus intelligent simplement en se parlant à lui-même et en apprenant de ses propres expériences.

Voici venu DIVE (Diversity-Driven Skill Evolution), une nouvelle méthode qui agit comme un atelier brillant et chaotique pour ces robots figés. Les chercheurs ont découvert qu'au lieu d'essayer de trouver l'ensemble d'instructions « parfait », il est préférable de faire fonctionner toute une équipe de différentes « versions » du robot, chacune essayant d'apprendre d'une manière légèrement différente.

Voici comment fonctionne DIVE : imaginez un groupe de dix détectives différents essayant de résoudre un mystère. Par le passé, les chercheurs auraient pu demander à un seul détective de résoudre l'affaire, de commettre une erreur, puis d'essayer de corriger ses notes. Mais DIVE dit : « Faisons travailler dix détectives sur l'affaire en même temps ! » Chaque détective commence avec un ensemble de notes légèrement différent (une « compétence initiale » ou « seed skill »). À mesure qu'ils travaillent, ils reçoivent un retour sur l'endroit où ils se sont trompés.

Au lieu d'un seul détective essayant de corriger ses notes, DIVE utilise une boîte à outils de différentes « stratégies de correction ». Un détective peut tenter la Réparation Réflexive (Reflective Repair), ce qui revient à regarder une erreur et à se dire : « Oh, j'ai manqué un indice ici, laissez-moi ajouter une note à ce sujet ». Un autre peut tenter la Révision Exploratoire (Exploratory Revision), ce qui revient à jeter l'ancienne carte et à en dessiner une complètement nouvelle parce que l'ancien chemin est une impasse. Un troisième peut tenter la Compression, ce qui revient à prendre un carnet de notes désordonné de 50 pages et à le condenser en une fiche de référence concise de 5 pages ne conservant que les règles les plus importantes.

La magie de DIVE est qu'il ne se contente pas de choisir le « meilleur » détective et de s'arrêter là. Il maintient les dix détectives au travail en parallèle. Il observe quel détective s'améliore sur quel type de problème et lui accorde plus de temps pour travailler. Si un détective est bloqué, le système peut faire intervenir une nouvelle stratégie fraîche pour l'aider. Cela empêche tout le groupe de rester bloqué sur la même mauvaise idée (un problème appelé « surapprentissage » ou « overfitting »).

Une fois que les détectives ont eu leur chance d'apprendre et d'évoluer, DIVE ne choisit pas seulement celui qui a le score le plus élevé. Au lieu de cela, il regarde toute l'équipe et choisit une escouade complémentaire. Peut-être que le Détective A est excellent pour repérer les motifs numériques, tandis que le Détective B est exceptionnel pour repérer les pièges logiques. En combinant leurs « cartes de compétences » uniques et évoluées en un seul outil, le robot peut résoudre des problèmes qu'il ne pouvait pas résoudre auparavant.

L'article montre que cette méthode fonctionne incroyablement bien. Lors de tests sur des compétitions de mathématiques difficiles (comme l'HMMT) et des énigmes logiques complexes (comme le Sudoku), DIVE a permis à de petits modèles figés d'apprendre et de s'améliorer rapidement. En fait, un modèle minuscule utilisant les compétences évoluées par DIVE a été capable de surpasser un modèle beaucoup plus grand et plus puissant qui utilisait simplement des instructions standards. Les chercheurs ont constaté que DIVE pouvait atteindre ces améliorations majeures avec beaucoup moins de tentatives (ou « rollouts ») que les autres méthodes qui tentent de modifier le cerveau du modèle ou de simplement ajuster un prompt une seule fois.

Crucialement, l'article soutient que cette approche est meilleure que d'essayer de trouver un seul « prompt magique » ou de compter sur un chemin d'apprentissage unique. En maintenant un groupe diversifié de compétences en évolution et en mélangeant les meilleures parties de chacune, DIVE crée un système robuste et auto-améliorant qui n'a pas besoin d'être recâblé. Cela suggère que pour les modèles figés, le secret pour devenir plus intelligent n'est pas une instruction parfaite unique, mais une bibliothèque diversifiée et évolutive de stratégies dont le modèle peut puiser pour résoudre n'importe quel problème.