VeriTrace: Human-Like Temporal Exploration Completes Agentic Action Space

Imaginez que vous essayez d'apprendre à un robot à construire une machine complexe, comme un jouet mécanique, en utilisant uniquement une description écrite. Vous donnez au robot les instructions, et il essaie de construire le jouet. Mais parfois, le jouet ne fonctionne pas. Dans le monde de l'informatique, cela s'appelle la « conception matérielle » (hardware design), et les instructions sont écrites dans un langage spécial appelé Verilog. Pendant longtemps, des programmes informatiques intelligents connus sous le nom de Grands Modèles de Langage (LLM) sont devenus très doués pour lire ces instructions et écrire le code pour construire la machine. Cependant, lorsque la machine tombe en panne, ces programmes se retrouvent souvent bloqués. Ils peuvent voir que le jouet est cassé, mais ils ne parviennent pas à comprendre pourquoi, car ils ne sont pas autorisés à regarder de près les pièces mobiles à l'intérieur. Ils sont comme un mécanicien qui entend un cognement dans un moteur mais qui n'est pas autorisé à ouvrir le capot ou à utiliser une clé pour vérifier des engrenages spécifiques. Cet article, écrit par des chercheurs de l'Université du Maryland, s'attaque précisément à ce problème : comment donner à ces « mécaniciens » de l'IA la liberté d'enquêter sur les rouages internes de la machine, tout comme le ferait un expert humain.

Les chercheurs, Yu-Tung Liu et Cunxi Yu, ont remarqué que si l'IA peut écrire le code initial, elle a du mal à le réparer quand les choses tournent mal. Les tentatives précédentes pour aider l'IA à déboguer consistaient à lui donner une « forme d'onde » — une carte visuelle de la façon dont les signaux de la machine changent au fil du temps. Mais ces anciens systèmes étaient comme si l'on donnait à un détective une photo d'une scène de crime, mais en lui interdisant de choisir quels indices examiner ou sur quel moment de la journée se concentrer. L'IA était forcée de regarder une vue étroite et pré-sélectionnée, ce qui faisait souvent manquer la véritable cause de l'erreur. Les auteurs appellent cette limitation un « espace d'action incomplet ». Ils soutiennent que pour véritablement réparer le code, l'IA doit être capable de choisir quels signaux inspecter, quand les regarder et combien de temps poursuivre l'investigation, reflétant ainsi la façon dont un ingénieur humain réfléchit.

Pour résoudre cela, l'équipe a créé un nouveau système appelé VeriTrace. Voyez VeriTrace comme une équipe de travailleurs de l'IA spécialisés. Un travailleur écrit le code, un autre vérifie s'il fonctionne, et un troisième, appelé l'« Inspecteur », agit comme un détective curieux. Contrarement aux systèmes précédents, cet Inspecteur possède une liberté totale. Il peut dire : « Je pense que le problème se situe dans cet engrenage spécifique, mais seulement durant la deuxième seconde de fonctionnement », puis zoomer pour vérifier exactement cela. Si la première supposition est erronée, l'Inspecteur ne renonce pas ; il formule une nouvelle théorie, choisit une fenêtre temporelle différente et regarde à nouveau. Ce processus est appelé « Exploration Temporelle Agentique ». Cela permet à l'IA de construire une hypothèse, de la tester par rapport aux preuves et d'affiner sa compréhension étape par étape, tout comme un humain le ferait.

Les résultats de cette nouvelle approche sont assez impressionnants. Lors de tests sur un ensemble standard de 156 défis de codage appelé VerilogEval-V2, VeriTrace a obtenu un score parfait de 100 % Pass@1. Cela signifie que, dès la première tentative de son code final corrigé, il a réussi chaque problème sans exception. C'est la première fois qu'un système open-source atteint ce niveau de perfection sur ce benchmark spécifique. Même comparé à d'autres systèmes puissants utilisant le même cerveau d'IA sous-jacent (Claude Sonnet 4.0), VeriTrace les a surpassés de 5,1 %, prouvant que donner à l'IA la liberté d'explorer et d'enquêter est la clé pour combler l'écart final de précision.

Il est intéressant de noter que les chercheurs ont découvert que cette liberté ne rendait pas seulement l'IA plus intelligente ; elle la rendait aussi plus efficace. En ne demandant que les parties spécifiques d'informations dont elle avait besoin à chaque étape, plutôt que de déverser tout l'historique du fonctionnement de la machine dans sa mémoire, VeriTrace a réduit la quantité de données qu'il devait traiter de 18 %. Cela suggère que laisser l'IA poser les bonnes questions est non seulement meilleur pour trouver la réponse, mais permet aussi d'économiser beaucoup d'énergie de calcul. L'article conclut que bien que les modèles d'IA eux-mêmes soient puissants, la véritable percée vient de la manière dont nous les laissons utiliser leurs outils. En leur donnant l'agence d'explorer librement le temps et les signaux, nous pouvons les transformer de simples générateurs de code rigides en véritables résolveurs de problèmes.