TraceML: An Empirical Analysis of Human-Agent Planning in Machine Learning Development
Cet article présente TraceML, un ensemble de données et un schéma complet appariant des trajectoires humaines et d'agents à travers 134 compétitions de machine learning, ce qui révèle que les agents actuels ne parviennent pas à égaler la performance humaine non pas en raison d'erreurs de codage, mais parce qu'ils manquent de la planification stratégique et des comportements d'exploration itérative manifestés par les experts humains.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle, il existe une différence distincte entre l'écriture d'une seule phrase correcte et la construction d'une machine complexe qui apprend à partir de données. Les grands modèles de langage, ces puissants programmes informatiques capables de rédiger des courriels ou d'écrire du code pour des tâches isolées, sont devenus remarquablement habiles dans le premier cas. Cependant, lorsqu'on leur demande d'agir comme des ingénieurs autonomes — en chargeant des données désordonnées, en choisissant les bons modèles mathématiques, en les entraînant, puis en passant des heures à peaufiner leur approche en fonction de ce que les résultats leur indiquent — ils trébuchent souvent. Ils peuvent produire une réponse finale, mais ils peinent à naviguer sur la longue et sinueuse route de la découverte qui y mène. Cet écart ne concerne pas seulement l'obtention d'un mauvais chiffre à la fin ; il s'agit de la manière dont le travail est accompli. Alors que les experts humains peuvent essayer une douzaine de stratégies différentes, abandonner celles qui échouent et revenir à de vieilles idées qui semblaient prometteuses, ces agents automatisés se retrouvent souvent coincés dans des boucles étroites, répétant les mêmes petits ajustements sans jamais véritablement changer de direction.
Des chercheurs de l'Université Carnegie Mellon ont cherché à comprendre précisément où et pourquoi cette rupture se produit. Ils ont créé une nouvelle façon d'observer le travail des experts humains et des agents artificiels, en traitant l'ensemble de leur processus de développement comme un récit unique et continu plutôt que comme un simple score final. Ils ont recueilli des milliers d'enregistrements de la manière dont les humains résolvaient des compétitions de machine learning, capturant chaque fois qu'ils enregistraient une nouvelle version de leur code, chaque fois qu'ils changeaient un modèle et chaque fois qu'ils ajustaient leurs données. Ils ont ensuite associé cela au travail de deux types différents d'agents automatisés travaillant sur les mêmes problèmes. En alignant ces historiques côte à côte, ils ont pu voir non seulement qui a gagné, mais aussi comment chaque camp pensait, se déplaçait et réagissait à l'échec tout au long d'une compétition.
Ce qu'ils ont découvert est une division claire dans la manière dont les deux groupes abordaient le problème. Les experts humains se déplaçaient avec un rythme fluide et adaptable. Ils passaient du temps à nettoyer les données, puis passaient au test d'un nouveau modèle, puis prenaient du recul pour vérifier leurs résultats, et parfois, lorsqu'ils se heurtaient à un mur, ils revenaient à une idée qu'ils avaient abandonnée plusieurs jours auparavant. Ils traitaient le processus comme une série d'expériences, étant prêts à pivoter complètement lorsque les preuves suggéraient qu'un nouveau chemin était nécessaire. Les agents automatisés, en revanche, se comportaient comme s'ils étaient enfermés dans une seule pièce. Un type d'agent, qui reposait sur une interface en ligne de commande standard, passait presque tout son temps à effectuer des ajustements minuscules et répétitifs sur une solution unique qu'il avait déjà trouvée, comme si l'on pesait constamment les mêmes ingrédients sans jamais essayer une nouvelle recette. L'autre type d'agent, qui utilisait une méthode de recherche pour essayer de nombreuses variations simultanément, changeait constamment de modèle mais ne parvenait pas à consolider ces changements en une stratégie cohérente. Il passait d'une idée à l'autre si fréquemment qu'il ne progressait jamais réellement, et il ne revenait presque jamais à une approche précédente pour voir si elle pouvait être améliorée.
Les chercheurs ont découvert que les agents n'étaient pas seulement plus lents ; ils étaient dépourvus d'une capacité humaine cruciale : la capacité de se souvenir et de revisiter. Lorsqu'un expert humain réalisait qu'un chemin actuel était une impasse, il pouvait regarder en arrière, trouver une impasse prometteuse plus tôt dans la journée et essayer de la réparer. Les agents, cependant, semblaient n'avoir aucun souvenir de leur propre historique. Ils pouvaient se remettre d'un mauvais score en ajustant le modèle actuel, mais ils ne pouvaient pas rouvrir une ligne de travail qu'ils avaient mise de côté. Ce manque de mémoire signifiait qu'ils réinventaient constamment la roue ou tournaient en rond, incapables de bâtir sur les leçons de leurs propres tentatives passées. L'étude a montré que si les agents pouvaient se remettre des revers plus rapidement que les humains dans certains cas, ils manquaient de la patience stratégique nécessaire pour abandonner une stratégie défaillante et revenir à une meilleure plus tard.
Pour tester si ce comportement était simplement une question de donner de meilleures instructions aux agents, les chercheurs ont tenté une nouvelle approche. Ils ont créé un ensemble de directives basées sur la manière dont les experts humains travaillaient réellement, en instruisant les agents de passer d'un type de tâche à un autre, de cesser de peaufiner sans cesse la même chose et de tester de nouveaux modèles plus souvent. Lorsqu'ils ont donné ces instructions aux agents, le comportement a changé, mais seulement de certaines manières spécifiques. Les agents ont commencé à suivre les règles sur le moment de changer de tâche et sur la manière de construire une équipe de modèles, et leurs scores se sont améliorés dans plusieurs compétitions. Cependant, le rythme sous-jacent de leur travail est resté inchangé. Ils ne revenaient toujours pas sur de vieilles idées, et ils ne possédaient toujours pas la mémoire profonde et flexible qui permettait aux humains de naviguer durant les longues heures de développement. Les instructions pouvaient dire aux agents quoi faire, mais elles ne pouvaient pas leur apprendre à réfléchir à leur propre histoire.
L'étude conclut que l'écart entre l'intelligence humaine et artificielle dans ce domaine ne réside pas seulement dans la puissance de calcul brute ou la capacité à écrire du code. Il s'agit de l'architecture même de la recherche. Les agents sont dépourvus de la capacité de traiter leur propre travail passé comme une ressource à exploiter, plutôt que comme une simple liste d'étapes à exécuter. Si un ensemble simple d'instructions peut corriger certains comportements de surface, le problème plus profond nécessite un changement fondamental dans la conception de ces systèmes. Ils ont besoin d'un moyen de se souvenir de leur parcours, de reconnaître quand ils sont coincés dans une boucle, et d'avoir la confiance nécessaire pour revenir et essayer un chemin différent. Tant qu'ils ne pourront pas le faire, ils resteront des outils puissants capables de suivre une carte, mais ils auront du mal à être les explorateurs qui dessinent la carte en premier lieu.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.