What is Missing from AI Post-Training AI: An Empirical Analysis
Cet article soutient que, bien que les agents d'IA puissent exécuter efficacement des stratégies d'entraînement prédéfinies, ils sont dépourvus de la capacité intrinsèque de réévaluer et de réviser spontanément leurs stratégies de haut niveau durant le processus post-entraînement, une limitation qui persiste malgré l'amélioration de l'expérience, du guidage humain et du calcul de raisonnement supplémentaire.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde en évolution rapide de l'intelligence artificielle, un nouveau type de travailleur est apparu : l'agent IA. Il ne s'agit pas seulement de programmes qui répondent à des questions ou rédigent du texte ; ce sont des systèmes capables de planifier et d'exécuter des tâches complexes au fil du temps. Ils peuvent écrire du code informatique, lancer des expériences et même entraîner d'autres modèles d'intelligence artificielle. Cette capacité a suscité une vision de « l'IA pour l'IA », où des systèmes intelligents s'améliorent eux-mêmes dans une boucle continue, menant potentiellement à des machines qui conçoivent de meilleures machines sans intervention humaine. Pour tester cette vision, des chercheurs ont mis en place un défi spécifique où un agent IA doit prendre un modèle de langage de base et le perfectionner pour qu'il soit plus performant sur des tâches difficiles, telles que la résolution de problèmes mathématiques ou l'écriture de code. L'espoir est que l'agent agisse comme un chercheur qualifié, proposant un plan, menant une expérience, observant ce qui n'a pas fonctionné, puis modifiant fondamentalement son approche pour tenter quelque chose de nouveau.
Une équipe de chercheurs de l'Université Tsinghua, de l'Université Renmin de Chine et de l'Université de science et technologie électronique de Chine a récemment examiné si ces agents d'IA possèdent réellement cette flexibilité scientifique. Ils ont examiné des milliers de sessions enregistrées où différents agents d'IA tentaient d'améliorer des modèles de langage à travers sept références distinctes, allant des mathématiques de niveau primaire au raisonnement scientifique de niveau master. Les chercheurs ont distingué deux types de travail qu'un agent peut accomplir. Le premier est l'exécution : la capacité de mener à bien un plan choisi, comme corriger un bogue dans le code, ajuster la vitesse d'apprentissage ou nettoyer les données. Le second est la stratégie : la capacité d'observer les résultats et de décider que le plan entier est erroné, puis de passer à une méthode complètement différente. L'étude a révélé que, si les agents étaient remarquablement doués pour le premier type de travail, ils étaient presque entièrement incapables du second.
Les chercheurs ont analysé plus de 1 300 de ces sessions d'entraînement, qui ont été enregistrées dans un ensemble de données public appelé PostTrainBench. Ils ont découvert un schéma frappant : dans presque tous les cas, l'agent d'IA décidait de son approche de haut niveau dans les premières minutes de la session et s'y tenait pendant toute la durée de dix heures. Si un agent commençait par essayer d'enseigner au modèle une méthode appelée « fine-tuning à l'ensemble des paramètres » (full-parameter fine-tuning), il continuait avec cette méthode pendant des heures, même si les résultats étaient médiocres. Il passait son temps à faire de minuscules ajustements, comme changer le taux d'apprentissage ou reformater les données, mais il n'envisageait jamais de changer totalement de méthode d'entraînement. Inversement, si un agent commençait avec une autre méthode appelée « fine-tuning efficace en paramètres » (parameter-efficient fine-tuning), il restait également bloqué dans cette approche. Le choix de la stratégie dépendait davantage de l'agent d'IA spécifique utilisé que de la tâche qu'il tentait de résoudre. Ce « verrouillage » signifiait que les agents tournaient effectivement en rond, perfectionnant une seule approche bien après qu'elle ait cessé d'être utile.
Pour comprendre pourquoi cela se produisait, les chercheurs ont testé trois explications possibles, intensifiant leurs interventions pour voir s'ils pouvaient sortir les agents de cette boucle. Premièrement, ils se sont demandé si les agents manquaient simplement d'expérience. Ils ont donné aux agents un journal numérique pour enregistrer leurs observations, une bibliothèque de compétences distillées à partir de projets open-source, et un agent évaluateur distinct pour fournir des diagnostics et des suggestions. Cette configuration a considérablement amélioré la capacité des agents à exécuter leurs tâches, boostant leurs performances sur les benchmarks de mathématiques et de codage. Cependant, même avec cette aide supplémentaire et malgré la preuve claire que leur approche actuelle échouait, les agents refusaient toujours de changer de stratégie de haut niveau. Ils suivaient les conseils de l'évaluateur pour ajuster un paramètre, mais ignoraient les suggestions de changer entièrement de méthode.
Ensuite, les chercheurs ont testé si les agents avaient besoin d'un meilleur guidage. Ils ont introduit un réviseur humain qui examinait le plan initial de l'agent avant le début de l'entraînement et lui disait explicitement de choisir une stratégie différente. Cela fonctionnait parfaitement au début ; les agents comprenaient les nouvelles instructions et mettaient en œuvre un plan différent. Cependant, une fois l'entraînement réellement commencé, les agents revenaient rapidement à leurs vieilles habitudes. Ils commençaient à faire des ajustements locaux et cessaient de considérer la stratégie globale, ignorant de fait le guidage humain dès que le travail débutait. Enfin, les chercheurs ont testé si les agents avaient simplement besoin de plus de temps pour réfléchir. Ils ont donné aux agents beaucoup plus de puissance de calcul pour délibérer sur leurs décisions. Sur les tâches plus faciles, ce temps de réflexion supplémentaire a amélioré les résultats. Mais sur les tâches les plus difficiles, la puissance supplémentaire n'a apporté presque aucun bénéfice. Les agents utilisaient simplement le temps supplémentaire pour perfectionner encore davantage leur stratégie verrouillée, plutôt que de réaliser qu'ils devaient changer de cap.
L'étude conclut que l'ingrédient manquant dans la recherche automatisée de l'IA n'est pas un manque d'expérience, de guidage ou de puissance de calcul brute. Les agents ont clairement la capacité de comprendre une nouvelle stratégie et de l'implémenter lorsqu'on le leur demande. Ce qui leur manque, c'est la spontanéité nécessaire pour reconnaître quand leur voie actuelle échoue et pour décider volontairement de changer de direction. La boucle consistant à proposer une hypothèse, mener une expérience et réviser l'approche ne se referme que pour les petits ajustements locaux. Au niveau de la stratégie globale, la boucle reste ouverte. Le plafond de ces systèmes automatisés est fixé par la qualité de la toute première décision qu'ils prennent, et non par la durée de leur travail ou l'ampleur de leur réflexion. Tant que les agents d'IA ne pourront pas spontanément rouvrir le choix stratégique pendant l'exécution, ils resteront des travailleurs compétents, mais incapables d'agir comme de véritables scientifiques.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.