Pour comprendre comment un programme informatique conçoit la vérité, nous devons d'abord comprendre comment il traite le mot « non ». Dans l'étude de l'intelligence artificielle, les chercheurs demandent souvent à un modèle de juger une affirmation, telle que « Le ciel est bleu ». Si le modèle dit « faux », nous savons qu'il croit que le ciel n'est pas bleu. Mais que se passe-t-il si le modèle dit « faux » à l'affirmation « Le ciel est bleu » et dit également « faux » à l'affirmation « Le ciel n'est pas bleu » ? Cela crée un casse-tête logique. Le modèle ne dit pas simplement que le ciel est d'une autre couleur ; il rejette à la fois l'affirmation et son contraire. En logique, cet état est appelé un « vide » (gap), suggérant que le modèle considère l'affirmation comme n'ayant aucune valeur de vérité, peut-être parce que la question elle-même est défectueuse. Cette méthode consistant à poser deux questions distinctes — une sur une affirmation et une sur sa négation — est appelée évaluation bilatérale. Elle est conçue pour révéler si un esprit artificiel peut gérer les contradictions ou s'il est simplement confus par la structure du langage.

Les enjeux de cette question sont élevés en raison de célèbres énigmes philosophiques, comme le « paradoxe du menteur », une phrase qui dit : « Cette phrase est fausse ». Si la phrase est vraie, alors elle doit être fausse. Si elle est fausse, alors elle doit être vraie. Pendant des décennies, les philosophes ont débattu pour savoir si de telles phrases sont impossibles à résoudre, ou si elles sont à la fois vraies et fausses en même temps. À mesure que les systèmes d'intelligence artificielle deviennent plus capables, les chercheurs ont commencé à les utiliser pour tester ces idées anciennes, espérant voir si les machines adoptent naturellement l'une de ces positions logiques complexes. Cependant, une nouvelle étude suggère que lorsque nous examinons de près la manière dont ces machines répondent, nous voyons souvent un bug dans leur capacité à traiter le mot « ne... pas », plutôt qu'une profonde intuition philosophique.

Maikel Leyva, un chercheur issu d'universités du Chili et de l'Équateur, s'est donné pour mission de tester six modèles de langage différents pour voir s'ils raisonnent réellement de ces manières complexes. L'étude a commencé par un plan simple mais rigoureux : avant d'interroger les modèles sur des énigmes philosophiques difficiles, le chercheur leur a d'abord posé des questions sur des faits qui sont indéniablement vrais ou faux. Il a présenté 150 affirmations claires, telles que « La somme de 11 et 35 est 46 » et « La capitale de la France est Paris », ainsi que leurs négations. Il a ensuite demandé à chaque modèle, dans des conversations séparées, si l'affirmation originale était vraie et si l'affirmation niée était vraie. Si un modèle fonctionne correctement, il devrait dire « vrai » à l'une et « faux » à l'autre. S'il dit « faux » aux deux, il a créé un « vide ». S'il dit « vrai » aux deux, il a créé un « surplus » (glut), ou une contradiction.

Les résultats de ce test initial ont été stupéfaits. Sur les six modèles testés, quatre d'entre eux ont échoué à un contrôle basique de leur propre logique. Face à des problèmes mathématiques simples, ces modèles niaient fréquemment à la fois la somme correcte et la somme incorrecte. Par exemple, un modèle a nié que 11 plus 35 égale 46, et a également nié que 11 plus 35 n'égale pas 46. Cela s'est produit pour plus de la moitié des questions mathématiques pour certains modèles. Le chercheur a constaté que cet échec n'était pas dû à un manque de connaissances ; les modèles commettaient ces erreurs même lorsque les mathématiques étaient correctes. Au lieu de cela, les modèles semblaient lutter avec l'acte même de la négation. Ils ne découvraient pas un vide logique dans la nature de l'arithmétique ; ils échouaient simplement à traiter le mot « ne... pas ».

Pour donner un sens à ces découvertes, le chercheur a établi une règle stricte, ou « porte d'entrée » (gate), pour interpréter les résultats. Les réponses d'un modèle ne pouvaient être considérées comme un véritable vide logique que si celui-ci réussissait d'abord le test des faits simples et connus. Si un modèle commettait trop d'erreurs sur les questions faciles, ses réponses aux questions difficiles ne pouvaient être dignes de confiance. Lorsque cette règle a été appliquée, le tableau a radicalement changé. Quatre des modèles ont été disqualifiés parce qu'ils avaient échoué à la porte d'entrée. Un cinquième modèle, bien qu'il ne commette pas beaucoup d'erreurs de logique, a refusé de répondre ou a donné des réponses incompréhensibles dans plus de 30 % des cas, rendant ses résultats impossibles à mesurer. Il ne restait donc qu'un seul modèle, un système plus petit nommé Gemini 3.1 Flash Lite, suffisamment fiable pour être étudié davantage.

Avec ce seul modèle calibré, le chercheur est revenu au célèbre paradoxe du menteur. Avant la calibration, une lecture non calibrée des données d'un grand modèle open-source avait suggéré que la machine traitait le paradoxe comme un vide logique, refusant de lui assigner une valeur de vérité. Cela laissait penser que la machine suivait la logique d'un philosophe nommé Kripke, qui soutenait que de telles phrases n'ont aucune valeur de vérité. Cependant, une fois la calibration appliquée, cette conclusion a disparu. Le seul modèle digne de confiance ne traitait pas la phrase du menteur comme un vide. Au lieu de cela, il a répondu que la phrase n'est pas vraie et qu'elle est fausse, donnant ainsi un verdict standard de « faux ». Il ne considérait pas la phrase comme étant à la fois vraie et fausse, ni comme n'ayant aucune valeur. Il rejetait simplement l'affirmation.

L'étude conclut que la promesse d'utiliser l'intelligence artificielle pour résoudre des énigmes logiques ancestrales est actuellement limitée par les propres faiblesses des machines. Les « vides » et les « surplus » que les chercheurs espéraient trouver dans le comportement de ces modèles étaient souvent de simples erreurs dans la manière dont les modèles gèrent la négation. Le seul modèle ayant passé le test strict n'a pas offert de nouvelle solution philosophique au paradoxe du menteur ; il a offert une réponse standard à deux faces. Le chercheien ne prouve pas que les machines ne peuvent pas penser de manière complexe, mais il prouve que nous ne pouvons pas le présumer. Pour savoir ce qu'une machine pense réellement, nous devons d'abord être certains qu'elle comprend la différence entre une affirmation et son contraire. Tant que nous ne pourrons pas calibrer les modèles pour qu'ils gèrent la logique simple du « ne... pas », toutes les conclusions profondes que nous tirerons de leurs réponses sur des énigoles complexes resteront non prouvées.