Relay-Bench: Evaluating LLMs on Multi-Domain Reasoning Chains
Relay-Bench est un benchmark holistique, uniquement textuel, conçu pour évaluer les grands modèles de langage sur des chaînes de raisonnement multi-domaines en présentant des problèmes composites non saturés qui nécessitent l'intégration de diverses compétences telles que le codage, les mathématiques et la recherche sur le web au sein d'un même prompt, où le modèle de pointe GPT-5.5 (xHigh) atteint un score de 43,3 %.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où votre assistant intelligent préféré ne soit pas seulement un robot de culture générale ou un calculateur de code, mais un véritable magicien du multitâche. Dans le domaine en constante évolution de l'intelligence artificielle, les chercheurs construisent constamment des « benchmarks » — qui sont essentiellement des tests standardisés — pour voir à quel point ces cerveaux numériques sont réellement intelligents. Pendant longtemps, ces tests étaient comme des matières distinctes à l'école : un examen pour les mathématiques, un autre pour l'histoire et un troisième pour la programmation. Mais la vie réelle ne fonctionne pas ainsi. Lorsque vous demandez à un humain de planifier un voyage, il ne se contente pas de calculer des distances ; il vérifie la météo, lit des avis, réserve un hôtel et écrit peut-être même un e-mail amusant à un ami, tout cela en une seule fois. Ce document plonge dans un coin spécifique de la recherche en IA appelé les « chaînes de raisonnement » (reasoning chains), où l'objectif est de voir si un modèle peut jongler avec de nombreux types de tâches à la fois sans perdre le fil. La grande question qui préoccupe tout le monde est la suivante : ces modèles d'IA peuvent-ils gérer les problèmes complexes et désordonnés à plusieurs étapes du monde réel, ou se confonde-t-ils et abandonnent-ils quand les choses deviennent trop encombrées ?
Voici Relay-Bench, un nouveau test super exigeant conçu pour voir si les modèles d'IA peuvent courir une « course de relais » de l'esprit. Au lieu de demander à un modèle de résoudre un problème mathématique ou d'écrire un poème, les créateurs de ce test enchaînent toute une série de tâches différentes — comme résoudre une énigme mathématique, trouver un fait spécifique sur le web, écrire un peu de code et décoder un message secret — le tout à l'intérieur d'un seul et unique prompt massif. Voyez cela comme un niveau de jeu vidéo où vous devez sauter par-dessus un fossé, résoudre une énigme pour ouvrir une porte, puis combattre un boss, le tout sans appuyer sur le bouton « réinitialiser ». Les chercheurs ont construit 31 de ces défis complexes, dont certains sont si longs et encombrés d'informations factices qu'ils donnent l'impression de lire un roman juste pour trouver un seul chiffre. Ils ont également ajouté une couche de « code secret », où chaque mot des instructions est remplacé par un étrange code de trois lettres, forçant l'IA à décoder le message avant même de pouvoir commencer à résoudre les problèmes.
Lorsqu'ils ont soumis les trois meilleurs modèles d'IA de l'époque (GPT-5.5, Gemini 3.1 Pro et Claude Opus 4.7) à ce parcours du combattant, les résultats ont été un choc. Même le modèle le plus intelligent, GPT-5.5, n'a obtenu qu'environ 43,3 % de bonnes réponses. C'est moins de la moitié ! Les autres modèles ont obtenu des scores encore plus bas, l'un d'entre eux n'arrivant qu'à 16,7 %. Le document suggère que, bien que ces modèles d'IA deviennent très performants pour des tâches uniques, ils éprouvent des difficultés significatives lorsqu'on leur demande d'enchaîner plusieurs compétences différentes, surtout lorsque les instructions sont confuses ou que la tâche est très longue. En fait, le test était si difficile que de nombreux modèles ont simplement abandonné ou se sont retrouvés bloqués dans des boucles, incapables de terminer la course.
Les chercheurs ont également découvert que ces modèles « hallucinent » parfois, ce qui est une façon élégante de dire qu'ils inventent des réponses lorsqu'ils ne connaissent pas la solution. Un modèle, Claude Opus 4.7, s'est montré très prudent ; il a refusé de répondre à de nombreuses questions encodées, probablement parce que ses filtres de sécurité étaient trop stricts. Un autre modèle, Gemini 3.1, a tenté de deviner plus souvent mais a fini par donner plus de mauvaises réponses. L'étude souligne que les modèles d'IA actuels sont encore loin d'être les experts polyvalents que nous espérons. Ils sont comme des étudiants brillants qui peuvent réussir un examen de mathématiques, mais qui pourraient paniquer si on leur demandait de faire des maths tout en traduisant simultanément un poème et en cherchant une recette. Les auteurs suggèrent qu'il faudra peut-être un an ou deux avant que les modèles d'IA ne deviennent assez performants pour réussir systématiquement ce genre de test de « course de relais », et ils avertissent qu'à mesure que les modèles deviennent plus intelligents, ces tests devront devenir encore plus difficiles pour rester à la hauteur.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.