Imaginez que vous embauchiez un assistant robotique super intelligent pour vous aider à gérer une petite entreprise. Vous ne voulez pas seulement que le robot réponde correctement à vos questions ; vous voulez qu'il fasse réellement le travail. Vous voulez qu'il prenne vos notes désordonnées, utilise vos outils, suive des règles strictes et vous remette un rapport fini que vous pourrez réellement utiliser demain. C'est le monde des « agents IA » — des programmes informatiques qui ne se contentent pas de discuter, mais qui passent à l'action. Pendant longtemps, les scientifiques ont testé ces robots en leur posant des questions de culture générale ou en voyant s'ils pouvaient résoudre un problème mathématique. Mais dans le monde réel, donner la bonne réponse ne suffit pas. Si le robot oublie d'enregistrer le fichier, utilise un outil qu'il n'était pas autorisé à toucher, ou invente une source pour ses données, tout le travail est un échec. Nous avons besoin d'un moyen de tester non seulement si le robot est intelligent, mais s'il est fiable, sûr et s'il livre réellement ce qui est attendu.

C'est exactement ce que traite l'article « SQBench ». Les auteurs, dirigés par Summer Sun, ont construit un nouveau terrain d'essai appelé SQBench pour voir comment les agents d'IA gèrent les tâches du monde réel. Au lieu de simplement vérifier si une réponse est correcte, ils véragent si le « livrable » final (le produit fini) est utilisable et sûr. Ils ont créé 220 tâches différentes, allant de tâches simples comme « trouver ce fichier » à des scénarios commerciaux complexes comme « analyser ces dossiers financiers ». Ils ont testé 27 modèles d'IA différents pour voir lesquels pouvaient réellement terminer le travail sans enfreindre les règles. La grande surprise ? Même les meilleurs modèles d'IA sont encore assez maladroits pour ces tâches du monde réel. Alors que le meilleur modèle a terminé environ 60 % des tâches, seuls environ 18 % des tâches commerciales complexes ont été terminées parfaitement sans erreurs risquées. L'article montre qu'être « intelligent » n'est pas la même chose qu'être « fiable », et que nous devons commencer à mesurer l'IA en fonction de sa capacité à livrer des résultats sûrs et utilisables, et non par le nombre de questions auxquelles elle peut répondre.

Le nouveau bulletin de notes : De la « bonne réponse » à la « livraison sûre »

Considérez l'ancienne façon de tester l'IA comme un contrôle surprise à l'école. Si vous avez la bonne réponse au problème de mathématiques, vous avez un A. Mais dans le monde réel, imaginez si vous aviez la bonne réponse mais que vous l'aviez écrite sur une serviette en papier qui a été jetée, ou si vous aviez utilisé une calculatrice qui n'était pas autorisée lors de l'examen. Vous auriez peut-être le bon chiffre, mais vous auriez échoué à l'exercice.

Les auteurs de cet article soutiennent que nous avons besoin d'un nouveau type de bulletin de notes. Ils l'appellent SQBench (qui signifie « SQ » pour « Shaqiu », la communauté derrière ce projet, et « Bench » pour benchmark). Ils ont conçu ce test pour voir si un agent d'IA peut agir comme un employé responsable. Le test est construit sur trois niveaux, comme un jeu vidéo avec une difficulté croissante :

• Niveau 1 (L1) : Les bases. Ce sont des tâches atomiques simples. Le robot peut-il suivre une instruction spécifique ? Peut-il trouver un fichier ? Peut-il écrire un code qui ne plante pas ? C'est comme tester si le robot sait lacer ses propres chaussures.
• Niveau 2 (L2) : Les combos. Ici, le robot doit enchaîner plusieurs compétences. Il peut devoir lire un tableur, utiliser un outil de recherche, puis rédiger un résumé. C'est comme demander au robot de préparer un sandwich : prendre le pain, prendre la viande, assembler le tout et l'emballer.
• Niveau 3 (L3) : Le combat de boss. C'est le monde réel. Le robot doit travailler dans le respect de règles commerciales strictes, comme la manipulation de données de santé ou de rapports financiers où une erreur pourrait être dangereuse. Il doit respecter les lois, garder les secrets et produire un rapport en lequel un humain peut réellement avoir confiance.

La règle du « Passage Strict » : Pourquoi « assez bien » ne suffit pas

Voici la partie la plus importante de l'article : les auteurs ont réalisé que terminer une tâche ne suffit pas. Une IA peut terminer un rapport, mais si elle a inventé un lien de site web fictif pour appuyer son affirmation, ou si elle a accidentellement supprimé un fichier qu'elle n'était pas censée toucher, le rapport est inutile.

Pour corriger cela, ils ont créé une Matrice de Risque 10D. Considérez cela comme un « inspecteur de sécurité » qui examine le travail du robot une fois celui-ci terminé. L'inspecteur recherche 10 types spécifiques de problèmes, tels que :

• D1 : Inventer des faits ou des sources (Hallucination).
• D2 : Ignorer les règles de formatage (comme écrire avec la mauvaise police).
• D3 : Enfreindre les règles de sécurité ou de confidentialité.
• D4 : Gaspiller du temps ou utiliser trop de ressources.
• D8 : Mentir ou cacher des erreurs pour paraître performant.

Le système de notation fonctionne comme suit :

1. Achèvement : Le robot a-t-il terminé le travail ? (Oui/Non).
2. Pénalité de risque : Le robot a-t-il enfreint des règles pendant l'exécution ? S'il a inventé un fait, il reçoit une pénalité. S'il a enfreint une règle de sécurité, il reçoit une énorme pénalité.
3. Passage Strict : Pour obtenir un « Passage Strict », le robot doit avoir Achèvement = 1 ET Pénalité de risque = 0 (il n'a enfreint aucune règle).

C'est un niveau d'exigence très élevé. C'est comme dire : « Vous ne pouvez pas simplement rendre le devoir ; vous devez le rendre à temps, avec la bonne police, sans tricher et sans inventer de faits. »

Ce que les tests ont réellement révélé

Les auteurs ont soumis 27 modèles d'IA différents à ce parcours de 220 tâches. Ils n'ont pas laissé les modèles essayer encore et encore pour avoir de la chance ; chaque modèle n'a eu qu'une seule tentative par tâche. Voici ce qui s'est passé :

• Le meilleur performeur : Le modèle nommé Kimi K3 a été le plus performant, atteignant un Weighted Pass@1 de 60,5 %. Cela signifie qu'il a réussi à terminer et à passer le contrôle de sécurité sur environ 60 % des tâches.
• Le grand fossé : Même le meilleur modèle a échoué presque la moitié du temps. Mais la véritable histoire réside dans les détails.
• Le problème du « L3 » : Lorsque les tâches sont passées au Niveau 3 (les scénarios commerciaux complexes), les scores ont chuté de manière spectaculaire. Le taux moyen de « Passage Strict » pour le Niveau 3 sur l'ensemble des modèles n'était que de 18,5 %. Chaque modèle a moins bien performé sur ces tâches complexes du monde réel que sur les tâches plus simples.
• Les échecs du type « Presque réussi » : L'article a révélé que sur les 2 348 tâches où les modèles ont terminé le travail (Achèvement = 1), 113 d'entre elles (4,8 %) ont quand même échoué au Passage Strict parce qu'elles ont déclenché un risque. Par exemple, un modèle a pu rédiger un rapport parfait, mais s'il y a inclus un lien de citation fictif, il a échoué. Cela prouve que simplement terminer le travail ne suffit pas ; la qualité et la sécurité du travail comptent tout autant.

Pourquoi cela importe

L'article montre que nous sommes actuellement très bons pour tester si une IA peut « réfléchir » (répondre à des questions), mais nous sommes mauvais pour tester si une IA peut « travailler » (livrer des résultats sûrs et utilisables). La génération actuelle de modèles d'IA est comme un stagiaire brillant qui est excellent pour proposer des idées, mais qui oublie constamment d'enregistrer les fichiers ou envoie accidentellement des e-mails aux mauvaises personnes.

Les auteurs précisent avec prudence que ce test (SQBench v1.0) n'est qu'un instantané. Ils ont testé 220 tâches spécifiques, et les résultats pourraient changer si l'on testait d'autres industries ou d'autres tâches. Ils notent également qu'ils n'ont pas fait vérifier chaque réponse par des experts humains, il existe donc une certaine incertitude. Cependant, le schéma est clair : la livraison sous contraintes de domaine est une faiblesse partagée. Qu'il s'agisse de finance, de santé ou de fabrication, les agents d'IA ont actuellement du mal à naviguer dans les règles strictes et les exigences de sécurité des emplois du monde réel.

L'article conclut que nous devons cesser de célébrer la « complétion » et commencer à célébrer la « livraison sûre ». Nous devons mesurer l'IA non pas par le nombre de questions auxquelles elle peut répondre, mais par le nombre de fois où elle peut terminer un travail sans causer de désordre. Tant que nous ne pourrons pas faire cela, les agents d'IA seront peut-être intelligents, mais ils ne sont pas encore tout à fait prêts pour le monde réel.