A Rigorous Turing Test: a Foundation for Evaluating Artificial General Intelligence

Imaginez un monde où vous ne pouvez pas dire si vous parlez à une vraie personne ou à un robot super intelligent simplement en lisant leurs messages. C'est le cœur d'une idée célèbre appelée le « Test de Turing », un concept qui suscite des débats parmi les scientifiques, les philosophes et les esprits curieux depuis des décennies. Voyez cela comme le jeu ultime de l'imposteur. Dans ce jeu, un juge humain discute avec deux joueurs cachés via un écran. L'un des joueurs est un humain, et l'autre est une machine. Le rôle du juge est de deviner lequel est lequel. Si la machine parvient à piéger le juge en lui faisant croire qu'elle est humaine, elle réussit le test. Il ne s'agit pas seulement d'un tour de passe-passe ; c'est une question sérieuse de savoir si les machines peuvent réellement « penser » comme nous. À mesure que l'intelligence artificielle devient plus performante pour écrire des histoires, résoudre des problèmes mathématiques et discuter comme un ami, les gens se demandent : avons-nous enfin construit une machine capable de nous tromper ? Si c'est le cas, cela change tout dans notre façon de percevoir la technologie, le droit, et même ce que signifie être humain.

Entrez alors en scène une équipe de chercheurs qui a décidé de trancher ce débat avec une expérience très stricte et très rigoureuse. Ils voulaient voir si une IA de haut niveau, connue sous le nom de GPT-4-Turbo, pouvait réellement réussir le Test de Turing. Mais voici le rebondissement : ils n'ont pas seulement joué au jeu ; ils l'ont joué selon les règles originales et strictes écrites par le créateur du test, Alan Turing, en 1950. De nombreuses études précédentes prétendaient que l'IA avait réussi le test, mais les chercheurs soupçonnaient que ces jeux utilisaient des raccourcis, comme écourter la conversation après seulement cinq minutes. Ils voulaient voir ce qui se passerait lorsqu'ils supprimeraient la limite de temps et laisseraient la conversation couler naturellement, tout comme une véritable discussion entre amis.

Les résultats ont été surprenants et ont agi comme un rappel à la réalité face à l'engouement pour l'IA. Dans leur expérience rigoureuse, les juges humains ont été capables de repérer le robot plus souvent qu'ils ne l'ont fait pour un score parfait, mais pas aussi facilement que pour un score parfait. Sur 37 parties où l'IA a tenté de prétendre être humaine, les juges ont correctement identifié l'ordinateur dans 16 d'entre elles. Cela représente un taux de réussite de 43 % pour les humains, ce qui signifie que l'IA a réussi à tromper les juges dans la majorité des parties (57 %). Cependant, les chercheurs ont constaté que la performance des juges était statistiquement significative par rapport à un choix aléatoire, pourtant l'IA a tout de même réussi à tromper les juges dans la plupart des essais. L'étude suggère qu'en dépit de l'aspect impressionnant de l'IA, elle n'a pas encore tout à fait maîtrisé l'art d'être humaine, du moins dans ces conditions strictes, car elle a réussi à tromper les juges plus souvent qu'elle n'a été démasquée.

L'un des aspects les plus intéressants de l'étude concernait la durée des parties. Les expériences précédentes forçaient souvent les juges à prendre une décision en seulement cinq minutes. Les chercheurs ont constaté que lorsqu'ils laissaient les juges prendre leur temps, les parties duraient beaucoup plus longtemps. En moyenne, les parties « Humain contre Robot » duraient environ 14 minutes, tandis que les parties « Homme contre Femme » duraient encore plus longtemps, environ 24 minutes. Cela nous indique que la limite de cinq minutes utilisée dans d'autres études était peut-être trop courte, forçant les juges à deviner rapidement avant qu'ils ne puissent vraiment comprendre qui était qui. Lorsqu'on leur donnait suffisamment de temps, les juges étaient assez perspicaces pour attraper le robot plus souvent, bien que l'IA ait tout de même tenu tête dans la plupart des conversations.

Les chercheurs ont également examiné si l'IA pouvait piéger les gens en jouant le rôle d'un type de personne spécifique, comme un jeune adolescent, ce que certaines études antérieures avaient tenté de faire. Même avec ces ruses, l'IA n'a pas réussi à tromper les juges aussi souvent que lors des tests plus courts, malgré leurs conversations longues et non pressées. L'étude conclut que les affirmations selon lesquelles l'IA a déjà passé le Test de Turing sont probablement prématurées. Ce n'est pas que l'IA est stupide ; c'est juste que lorsque vous donnez aux humains suffisamment de temps pour réfléchir et discuter, le « masque » du robot commence à se fissurer, même s'il ne tombe pas complètement.

Alors, qu'est-ce que cela signifie pour l'avenir ? Les chercheurs pensent que le Test de Turing reste un outil vital pour vérifier si les machines sont véritablement intelligentes. Ils suggèrent que nous ne devrions pas déclarer la victoire de l'IA trop vite. Au lieu de cela, nous devons continuer à tester, continuer à affiner nos règles et continuer à poser les questions difficiles. Comme l'a noté l'un des chercheurs, le test pourrait rester une partie centrale de notre compréhension de l'intelligence des machines pendant des années à venir. Jusqu'à ce qu'une IA puisse systématiquement tromper un juge humain lors d'une conversation longue et détendue sans aucune pression temporelle, la question « Les machines peuvent-elles penser ? » reste ouverte, et le robot est toujours l'imposteur dans la pièce.