Dans le monde de l'intelligence artificielle, une révolution silencieuse modifie la manière dont les experts jugent les machines qui écrivent du code, résolvent des problèmes et génèrent du texte. Pendant des années, l'industrie s'est concentrée sur une seule question : à quel point le modèle est-il intelligent ? Les chercheurs ont mesuré cela en observant la meilleure réponse possible qu'une machine peut produire ou son score moyen à un test. Cette approche suppose que si un modèle parvient à trouver la bonne réponse une fois, c'est un succès. Cependant, pour quiconque tente d'utiliser ces outils pour de véritables travaux d'ingénierie, cette métrique néglige le facteur le plus critique. Un outil qui fonctionne parfaitement la moitié du temps et échoue lamentablement l'autre moitié est inutile pour construire des systèmes fiables, même si ses meilleurs moments sont brillants. La nouvelle frontière ne consiste pas à savoir jusqu'à quelle hauteur la machine peut sauter, mais à savoir si elle retombe systématiquement sur ses pieds. Ce changement déplace l'attention de la capacité brute vers la précision, demandant non pas seulement si la machine peut faire le travail, mais si elle peut faire le même travail de la même manière chaque fois qu'on lui demande.

George Andrikopoulos, un chercheur indépendant basé à Londres, soutient que la façon actuelle de comparer les systèmes d'intelligence artificielle mesure la mauvaise chose. Il suggère que si les modèles les plus avancés sont devenus incroyablement précis — ce qui signifie que leur production moyenne atteint la cible — ils n'ont pas encore atteint la précision au sens strict. La précision, dans ce contexte, fait référence à la densité des résultats lorsqu'une même requête est effectuée de manière répétée. Imaginez demander à une machine de résoudre un problème d'ingénierie spécifique dix fois. Un système précis vous donnera une réponse correcte et cohérente neuf ou dix fois. Un système imprécis pourrait vous donner une réponse correcte cinq fois, mais les cinq autres fois, il pourrait produire quelque chose de bizarre, de cassé ou de complètement sans rapport. L'industrie célèbre actuellement le meilleur coup, mais les personnes qui construisent avec ces outils ont besoin de connaître le groupe. Si les tirs sont dispersés, l'outil est peu fiable, peu importe la qualité du centre du groupe.

Pour résoudre cela, Andrikopoulos a développé une méthode simple pour mesurer cette cohérence sans dépendre de systèmes de notation complexes et circulaires. Au lieu de demander à une autre intelligence artificielle de juger le travail, ce qui peut introduire ses propres erreurs, la méthode utilise des tâches qui ont un résultat binaire clair : le code compile-t-il, les tests passent-ils, ou le type de fichier est-il correct ? Ce sont des faits qui peuvent être vérifiés par un ordinateur sans aucune conjecture. Le processus consiste à prendre un petit ensemble de ces tâches vérifiables et à les exécuter de nombreuses fois sur une nouvelle instance du modèle à chaque fois. En comptant combien de fois le modèle réussit par rapport au nombre de fois où il échoue, les chercheurs peuvent voir la forme des résultats. Si le modèle réussit à chaque fois, ou échoue à chaque fois, il est précis. S'il réussit la moitié du temps et échoue l'autre moitié, il est dispersé et imprévisible.

L'article présente une règle de décision claire basée sur ces mesures. Si un modèle échoue systématiquement de la même manière, il s'agit d'un « groupe serré » qui est simplement décalé du centre. C'est un bon problème à avoir, car cela signifie qu'un opérateur humain peut écrire une règle spécifique pour corriger l'erreur, ce qui revient à « régler la mire » de la machine. Cependant, si le modèle échoue de nombreuses manières différentes, le groupe est dispersé. Dans ce cas, aucune rédaction de règles ne servira à rien, car les erreurs sont aléatoires. La seule solution pour un groupe dispersé est de changer le modèle lui-même ou d'ajuster la manière dont il génère ses réponses. Cette distinction est vitale car elle indique aux ingénieurs s'ils doivent passer du temps à écrire des instructions pour la machine ou s'ils doivent simplement changer de machine.

Un test en conditions réelles illustre la puissance de cette approche. Les chercheurs ont pris un ensemble spécifique de tâches de codage et les ont exécutées cinq fois sur un modèle de pointe sans instructions particulières. Le modèle a échoué à passer une tâche de validation spécifique à chaque fois. Comme il échouait exactement de la même manière à chaque fois, les chercheurs savaient qu'il s'agissait d'une erreur cohérente et non d'un bug aléatoire. Ils ont analysé l'échec et ont découvert que la machine commettait une erreur logique spécifique lors du traitement de nombres trop grands. Ils ont écrit une règle simple et unique pour corriger cette logique. Lorsqu'ils ont exécuté les mêmes cinq tâches avec la nouvelle règle en place, le modèle a réussi à chaque fois. Le taux de réussite est passé de zéro à cent pour cent. Cela a prouvé que la machine était assez précise pour être corrigée ; elle avait juste besoin de régler sa mire.

L'étude a également révélé une limite surprenante quant à la capacité d'améliorer ces systèmes grâce à des règles écrites. Les chercheurs ont tenté de créer un nouvel ensemble de tâches de test basées sur les règles mêmes qu'ils avaient écrites, espérant mesurer la valeur ajoutée par ces règles. Ils ont découvert que les modèles les plus avancés étaient déjà si capables qu'ils suivaient naturellement ces bonnes pratiques sans qu'on leur dise. Les modèles réussissaient ces tests « basés sur des règles » parfaitement, même sans les instructions supplémentaires. Cela signifie que pour les erreurs les plus courantes, les machines ont déjà appris la discipline par elles-mêmes. La véritable valeur d'un manuel de règles n'est donc pas d'enseigner à la machine ce qu'elle sait déjà, mais de trouver les rares failles cachées où la machine se disperse ou échoue systématiquement. Ces failles ne peuvent pas être prédites à l'avance ; elles doivent être trouvées en mesurant le travail réel de la machine.

En fin de compte, cette recherche change la conversation sur l'intelligence artificielle, passant d'un concours pour savoir qui est le plus intelligent à une évaluation pratique de qui est le plus fiable. L'industrie a passé des années à construire des classements qui évaluent les modèles selon leur performance de pointe, mais ces classements ne disent pas à l'utilisateur si l'outil fonctionnera pour son projet spécifique. En mesurant la compacité du groupe, les ingénieurs peuvent prendre des décisions éclairées sur les modèles à utiliser et où investir leur temps. Si un modèle est précis mais légèrement décalé, un humain peut le corriger avec une règle. S'il est dispersé, aucune règle ne pourra le sauver. L'avenir du travail avec ces machines ne dépend pas de la recherche de la réponse parfaite, mais de la compréhension du schéma des réponses et de la capacité à savoir quand ajuster la mire et quand changer de fusil.