Beyond Epistemia: Epistemic Schizologia and Large Language Models as Techno-Semiotic Machines

La Grande Illusion de la Connaissance : Quand les mots paraissent intelligents mais ne savent rien

Imaginez que vous déambulez dans une immense bibliothèque antique où les livres sont écrits par un scribe mystérieux et invisible. Ce scribe a lu tous les livres de la bibliothèque et peut instantanément écrire une nouvelle page qui ressemble exactement à un vrai livre d'histoire, un manuel scientifique ou un contrat juridique. Il utilise les bons mots, la bonne grammaire et même le bon ton. Mais voici le piège : le scribe ne sait pas réellement ce qu'il écrit. Il n'a pas de cerveau, il n'a pas vu le monde et il ne se soucie pas de savoir si ce qu'il écrit est vrai ou faux. Il sait simplement quels mots suivent habituellement d'autres mots.

C'est le monde des Modèles de Langage de Grande Taille (LLM), ces programmes informatiques super-intelligents qui sont derrière les outils comme celui que vous utilisez peut-être en ce moment même. Les scientifiques et les philosophes s'inquiètent d'un problème spécifique appelé « Épistémia ». Voyez cela comme une « illusion de connaissance ». Cela se produit lorsque l'écriture du scribe est si fluide et convaincante que nous arrêtons de nous demander : « Est-ce vrai ? » pour commencer à penser : « Wow, cela doit être vrai ! ». Nous avons l'impression de posséder la réponse, mais nous n'avons pas réellement fait le travail difficile de vérifier les faits ou de réfléchir de manière critique.

Le document que vous allez lire plonge au cœur de ce problème. Il pose la question : Pourquoi cela arrive-t-il ? Est-ce parce que l'ordinateur est « cassé » par rapport à un humain ? Ou est-ce que le problème vient en réalité de la façon dont nous utilisons l'ordinateur ? Les auteurs soutiennent que la manière habituelle de comparer les humains et les ordinateurs est injuste. Ils suggèrent une nouvelle façon de voir les choses, qu'ils appellent « Schizologie Épistémique » (une façon élégante de dire « la division de la connaissance »). Ils croient que le véritable danger n'est pas seulement que l'ordinateur soit stupide, mais que nous ayons construit un système où l'ordinateur nous donne une réponse d'apparence parfaite, et que nous oublions de reconnecter cette réponse au monde réel de l'évidence et de la responsabilité.

---

La grande idée du document : Ce n'est pas la faute du robot, c'est la danse

Les auteurs, Federico Cabitza et Gianluca Colombo, commencent par accepter un avertissement d'autres chercheurs (Quattrociocchi et ses collègues). Ils admettent que l'IA peut nous tromper. Lorsqu'une IA donne une réponse fluide et confiante, nous avons l'impression d'avoir réfléchi, alors que ce n'est pas le cas. Les auteurs appellent cet état l'Épistémia : le sentiment de posséder la connaissance sans avoir accompli le travail de jugement.

Cependant, les auteurs affirment que les autres chercheurs voient le problème de la mauvaise manière. Ils comparent un être humain adulte (qui possède un corps, une histoire de vie, des amis et une conscience) à un programme informatique solitaire (qui n'est qu'une machine mathématique). Les auteurs disent que c'est comme comparer un footballeur professionnel à un simple ballon de football. Bien sûr que le joueur est meilleur ! Mais cela ne nous dit pas comment le jeu est réellement pratiqué.

Au lieu de cela, les auteurs proposent une nouvelle idée : la Schizologie Épistémique.
Imaginez une « schizologie » comme une déchirure ou une division dans un morceau de tissu. Dans ce cas, le tissu est la « connaissance ».

• Le côté A de la déchirure : L'IA produit une phrase magnifique et plausible. Elle ressemble à de la connaissance. Elle possède le vocabiment et la structure appropriés.
• Le côté B de la déchirure : Le processus réel et désordonné de vérification des faits, de débat avec les experts, de recherche de preuves et de prise de responsabilité pour avoir raison ou tort.

Le problème, disent les auteurs, est que l'IA a créé une machine capable de produire parfaitement le Côté A, mais elle n'a aucun moyen de réaliser le Côté B. Pire encore, la façon dont nous utilisons ces machines masque souvent cette division. Nous obtenons une réponse parfaite, et nous oublions que la partie « vérification » est absente.

L'analogie de la « Machine Techno-Sémiotique »

Pour expliquer ce qu'est réellement une IA, les auteurs utilisent une métaphore intéressante. Ils l'appellent une Machine Techno-Sémiotique.
Voyez cela comme un immense métier à tisser magique.

• Le Fil : Le métier est alimenté par un énorme tas de fils constitués de tout ce que les humains ont jamais écrit (livres, sites web, articles).
• Le Motif : Le métier ne « comprend » pas les fils. Il apprend simplement que les fils rouges vont généralement avec les fils bleus, et que « chat » va généralement avec « souris ».
• Le Résultat : Quand vous lui demandez de tisser quelque chose, il recrache une nouvelle pièce de tissu. Elle ressemble exactement à une tapisserie faite par l'homme. Elle possède les bons motifs et les bonnes couleurs.

Mais voici la clé : le métier ne sait pas ce que l'image signifie. Il ne sait pas si l'image est l'histoire d'un héros ou un avertissement contre un monstre. Il sait juste comment tisser les fils ensemble pour qu'ils aient l'air corrects.

Les auteurs soutiennent que le danger n'est pas que le métier soit « faux ». Le danger est que nous traitions la tapisserie que le métier produit comme s'il s'agissait d'une histoire terminée et vraie, sans vérifier les fils qu'il a utilisés.

Le piège de la « Clôture Eikotique »

Le document introduit un autre concept amusant appelé Clôture Eikotique.
« Eikos » est un vieux mot grec pour « plausible » ou « probable ».
Imaginez que vous lisiez une histoire de mystère. Le détective dit : « Le majordome l'a fait parce qu'il était en colère. » Cela semble plausible.
Maintenant, imaginez que l'histoire s'arrête là. Le livre se ferme. Vous vous sentez satisfait. Vous pensez : « Affaire classée ! »
Mais et si le détective n'avait jamais trouvé l'arme du crime ? Et si le détective n'avait jamais vérifié l'alibi ? Et si le majordome était en fait innocent ?

La Clôture Eikotique survient lorsque l'IA vous donne une réponse « plausible » et que l'interface (l'écran, la boîte de chat) agit comme la fermeture du livre. Elle donne l'impression que la réponse est finie, finale et complète. Elle trompe votre cerveau en lui faisant croire que le « travail » est terminé. Les auteurs disent qu'il s'agit d'un choix de conception. L'IA ne se contente pas de recracher des mots ; elle recrache des mots d'une manière qui ressemble à un verdict final. Cela nous pousse à cesser de poser des questions.

Pourquoi la comparaison « Humain vs Robot » est erronée

Les auteurs sont très clairs sur ce à quoi ils s'opposent. Ils s'opposent à l'idée que nous devons rendre le robot « plus humain ».

• Ils disent que nous ne devrions pas essayer de donner au robot une « conscience » ou des « croyances ». C'est impossible et cela passe à côté du sujet.
• Ils disent que nous ne devrions pas blâmer le robot d'être « stupide » tout en louant les humains pour être « intelligents ». Les humains sont aussi assez mauvais pour vérifier les faits ! Nous nous fatiguons, nous devenons paresseux et nous faisons des erreurs.
• Ils soutiennent que la connaissance humaine a toujours dépendu d'outils. Nous utilisons des stylos, des bibliothèques et des ordinateurs pour réfléchir. Le problème n'est pas que l'IA est un outil ; le problème est que nous l'utilisons d'une manière qui brise la chaîne de confiance.

La Solution : Réparer la Danse, pas le Danseur

Alors, que suggèrent les auteurs ? Ils disent que nous devons cesser d'essayer de réparer le robot et commencer à réparer la pratique (la façon dont nous travaillons ensemble).

Ils proposent cinq « engagements » pour la manière dont nous devons concevoir ces systèmes :

1. Montrer la Généalogie (L'Arbre Généalogique) : Ne donnez pas seulement la réponse. Montrez l'« arbre généalogique » de la réponse. D'où viennent les mots ? Quels livres l'IA a-t-elle lus ? Si elle a fait une supposition, montrez la supposition. Nous devons être capables de remonter la réponse jusqu'au monde réel.
2. Garder l'Option « Non » : Parfois, la bonne réponse est « Je ne sais pas » ou « Ceci est controversé ». L'IA ne devrait pas toujours essayer de donner une réponse parfaite et fluide. Elle devrait être autorisée à dire : « Hé, il y a un désaccord ici », ou « Il me manque des faits ». Cette « friction » est bonne car elle nous fait réfléchir.
3. Partager la Faute (et le Mérite) : Si une erreur se produit, qui est responsable ? Ce n'est pas seulement le robot. C'est la personne qui a posé la question, l'entreprise qui a construit le robot et la personne qui utilise la réponse. Nous devons savoir qui est aux commandes.
4. Garder l'Humain aux Commandes : Nous ne devrions pas simplement cliquer sur « approuver » pour tout. Nous devons être capables de vérifier le travail, de demander des versions différentes et de comprendre pourquoi l'IA a dit ce qu'elle a dit.
5. Tester l'Équipe, pas seulement le Robot : Nous ne devrions pas seulement demander : « Le robot est-il intelligent ? ». Nous devrions demander : « L'équipe Humain + Robot fonctionne-t-elle bien ensemble ? ». Prennent-ils de meilleures décisions ? Capturent-ils les erreurs ?

L'essentiel

Le document conclut que le problème n'est pas que l'IA est un « faux humain ». Le problème est que nous avons créé une division (schizologia) entre l' apparence de la connaissance et le travail de la connaissance.

L'IA est comme un grand chef capable de cuisiner un repas qui ressemble et goûte exactement comme un dîner gastronomique, mais le chef n'a jamais goûté de nourriture, n'a jamais vu une ferme et ne sait pas si les ingrédients sont frais. Si nous nous contentons de manger le repas et de dire « Délicieux ! » sans vérifier la cuisine, nous pourrions tomber malades.

Les auteurs disent que nous devons cesser d'essayer de faire « goûter » la nourriture au chef. Au lieu de cela, nous devons construire une cuisine où les ingrédients sont visibles, où le processus de cuisson est ouvert et où la personne qui mange le repas sait comment vérifier s'il est sûr. Nous devons reconnecter les belles paroles que l'IA écrit avec le travail réel et désordonné de prouver qu'elles sont vraies.

En bref : Ne faites pas confiance à la voix fluide. Faites confiance au processus. Le document suggère que si nous concevons nos systèmes de manière à maintenir la « division » visible — afin que nous puissions toujours voir d'où vient la réponse et qui en est responsable — nous pourrons utiliser ces machines puissantes sans perdre la raison.