Dans le monde de l'intelligence artificielle, les grands modèles de langage sont souvent jugés sur une question unique et simple : peut-il donner la bonne réponse ? Lorsqu'un utilisateur demande la solution à un problème mathématique, une ligne de code ou un diagnostic médical, le test standard est de savoir si le modèle produit une réponse correcte. Cette approche traite la machine comme un étudiant passant un examen final, où seul le meilleur score compte. Cependant, dans de nombreuses situations réelles, une seule réponse ne suffit pas. Un scientifique concevant un nouveau médicament pourrait avoir besoin de voir dix structures chimiques différentes qui fonctionnent toutes, afin de choisir celle qui est la plus facile à fabriquer. Un ingénieur logiciel réparant une faille de sécurité pourrait vouloir plusieurs façons différentes de corriger le code pour voir laquelle est la plus sûre. Dans ces scénces, la valeur de la machine ne réside pas dans sa capacité à produire un résultat parfait unique, mais dans sa capacité à générer un ensemble riche d'options distinctes et utiles. Le défi pour les chercheurs a été de savoir comment mesurer cette capacité. Les tests traditionnels comptent souvent combien de fois un modèle a raison, ou choisissent simplement la meilleure réponse parmi une liste en ignorant les autres. Cela passe totalement à côté du sujet lorsque l'objectif est d'avoir une collection diversifiée de possibilités valides à choisir.

Une équipe de chercheurs du centre RIKEN pour les sciences computationnelles au Japon a développé une nouvelle façon d'aborder ce problème. Ils ont créé un terrain d'essai spécialisé, qu'ils appellent un benchmark, conçu spécifiquement pour voir comment bien une intelligence artificielle peut générer une variété de réponses utiles pour une tâche donnée. Au lieu de demander : « A-t-il donné la bonne réponse ? », leur méthode demande : « Combien de réponses différentes et véritablement utiles a-t-il trouvées ? ». Ils ont construit ce test en utilisant cinq types très différents de problèmes du monde réel, allant de la conception de molécules chimiques à la réparation de bugs logiciels et à la recherche de preuves médicales. Pour chaque problème, ils ont défini exactement ce qui compte comme un résultat « utile » et comment déterminer si deux résultats sont réellement différents. Par exemple, dans la conception de molécules, deux réponses peuvent sembler différentes en surface, mais si elles partagent la même structure chimique de base, elles comptent comme le même résultat utile. Les chercheurs ont ensuite soumis divers modèles à ces tâches, en leur demandant d'essayer plusieurs fois, et ont compté combien de solutions uniques et valides ils avaient accumulées.

Les résultats de cette étude révèlent une vérité surprenante sur le fonctionnement de ces machines. Les chercheurs ont constaté que les modèles qui sont les meilleurs pour produire une réponse unique de haute qualité ne sont pas nécessairement ceux qui produisent la meilleure collection de réponses diversifiées. En fait, le classement de quel modèle est le « meilleur » change en fonction du nombre de tentatives autorisées. Un modèle qui mène la danse lorsqu'on ne lui donne qu'une seule tentative peut perdre du terrain lorsqu'on lui en donne vingt, tandis qu'un autre modèle qui commence plus lentement peut finir par découvrir une gamme plus large de solutions utiles. Cela suggère que les paramètres utilisés pour faire fonctionner ces modèles comptent plus qu'on ne le pensait auparavant. Les chercheurs ont découvert qu'augmenter la « température », un paramètre qui rend la sortie du modèle plus aléatoire et variée, menait souvent à une collection beaucoup plus large de résultats utiles, même si cela diminuait parfois la qualité de n'importe quelle réponse individuelle. Inversement, une fonctionnalité appelée « réflexion » (thinking), qui encourage le modèle à raisonner étape par étape avant de répondre, améliorait la qualité des réponses individuelles mais n'aidait pas toujours le modèle à trouver plus de solutions distinctes.

Peut-être plus important encore, l'étude a montré que se contenter de regarder à quel point les réponses diffèrent en surface ne suffit pas pour dire si elles sont réellement utiles. Une façon courante de juger la diversité consiste à vérifier si les mots ou les caractères des réponses sont différents les uns des autres. Les chercheurs ont découvert que ce contrôle de surface est un mauvais prédicteur de la capacité du modèle à trouver de nouvelles solutions valides. Un modèle pourrait produire dix réponses qui semblent très différentes les unes des autres mais qui représentent toutes la même solution sous-jacente, échouant ainsi à fournir la variété dont un utilisateur a réellement besoin. En utilisant un système qui vérifie le contenu réel et le sens des réponses par rapport aux règles spécifiques de la tâche, les chercheurs ont pu mesurer la véritable « couverture » des résultats. Ils ont constaté que cette mesure plus profonde menait souvent à des conclusions différentes sur la performance des modèles et des paramètres.

L'équipe a testé quatre modèles de langage différents à travers ces cinq domaines : la conception de molécules, la réparation de dépôts logiciels, la détection de bugs dans le code, le diagnostic de cas médicaux et la recherche de preuves pour soutenir des questions complexes. Ils ont fait fonctionner chaque modèle avec différents réglages, comme varier le niveau de hasard et activer ou désactiver le processus de « réflexion ». Ils ont ensuite mesuré combien de résultats distincts et valides chaque modèle produisait à mesure que le nombre de tentatives augmentait. Les données ont montré que pour la plupart des tâches, le modèle qui performait le mieux au début n'était pas celui qui performait le mieux après de nombreuses tentatives. Par exemple, dans la tâche de conception de molécules, un modèle était le leader après une seule tentative, mais au moment où vingt tentatives étaient effectuées, un autre modèle avait découvert nettement plus de structures chimiques uniques. Ce schéma se vérifiait dans l'ensemble, indiquant que la meilleure stratégie pour générer une seule réponse est souvent différente de la meilleure stratégie pour générer un ensemble de réponses.

L'étude a également examiné si le fait de dire explicitement au modèle d'éviter de se répéter aiderait. Dans certains cas, les chercheurs ont essayé de forcer la diversité en demandant au modèle de générer de nouvelles idées qui sont différentes de ce qu'il vient de dire. Les chercheurs ont constaté que cette approche ne fonctionnait pas de manière fiable. Bien qu'elle ait aidé dans certaines tâches spécifiques comme la recherche de preuves, elle a en fait réduit le nombre de solutions utiles dans d'autres, comme la réparation de logiciels. Cela suggère que simplement demander de la variété ne garantit pas que le modèle trouvera de nouveaux terrains valides. Au lieu de cela, la façon dont le modèle est configuré, particulièrement les paramètres qui contrôlent son caractère aléatoire, joue un rôle plus critique dans la détermination de sa capacité à explorer un large éventail de possibilités utiles.

Ces découvertes changent la façon dont nous devrions évaluer l'intelligence artificielle. Pendant des années, l'accent a été mis sur l'obtention de la meilleure réponse unique. Mais alors que ces machines sont utilisées pour des tâches plus complexes où avoir des options est crucial, l'ancienne façon de mesurer le succès est insuffisante. Le travail des chercheurs démontre qu'un ensemble fini de réponses candidates est un objet d'étude significatif en soi. Ce n'est pas seulement une collection de tentatives menant à un vainqueur ; c'est un paysage de possibilités qui peut être cartographié et mesuré. En utilisant leur nouvelle méthode, qu'ils appellent couverture de tâche validée (validated task coverage), ils ont montré que nous pouvons évaluer directement la capacité d'un modèle à explorer ce paysage. Les résultats suggèrent que pour tirer le meilleur parti de ces outils, nous devrons peut-être cesser de chercher la meilleure réponse unique et commencer à valoriser l'étendue des options qu'ils peuvent fournir.

Les implications de cette recherche vont au-delà du simple choix du bon modèle. Elles suggèrent que la façon dont nous interagissons avec ces systèmes pourrait devoir changer. Si un utilisateur a besoin d'une variété de solutions, il pourrait avoir besoin d'ajuster les paramètres pour encourager l'exploration, même si cela signifie accepter que les réponses individuelles puissent être légèrement moins parfaites. L'étude fournit un moyen concret de tester et de comparer ces différentes approches, passant d'idées vagues de « créativité » ou de « diversité » à un décompte clair et mesurable de résultats utiles. Les chercheurs ont rendu leurs outils et leurs données accessibles au public, permettant à d'autres de tester de nouveaux modèles et paramètres par rapport à cette nouvelle norme. Cela ouvre la porte à une compréhension plus nuancée de ce que ces machines peuvent faire, déplaçant l'attention d'un point unique de succès vers toute la gamme de leur potentiel.

En fin de compte, l'article propose un changement de perspective discret mais significatif. Il soutient que la valeur d'une intelligence artificielle ne réside pas seulement dans sa capacité à avoir raison, mais dans sa capacité à être utile de multiples façons. En construisant un test qui mesure l'accumulation de résultats distincts et valides, les chercheurs ont fourni un nouveau prisme pour observer ces outils puissants. Ils ont montré que le chemin vers le meilleur ensemble de réponses n'est pas toujours le même que le chemin vers la meilleure réponse unique, et que les paramètres que nous choisissons peuvent faire une différence profonde dans la variété des solutions que nous recevons. Ce travail ne prétend pas avoir résolu tous les problèmes d'évaluation de l'IA, mais il fournit une méthode claire et reproductible pour poser une question qui a été négligée trop longtemps : combien de choses utiles cette machine peut-elle réellement trouver ?