Epistemic Trustworthiness in Generative AI: A Normative Framework for Warranted Reliance in High-Stakes Workflows

Imaginez que vous déambulez dans une vaste bibliothèque magique où les livres peuvent vous répondre. Ce n'est pas une bibliothèque ordinaire ; c'est le futur de la manière dont nous obtenons des réponses, résolvons des problèmes et prenons de grandes décisions. Les « livres qui parlent » sont des systèmes d'IA générative — des programmes informatiques super intelligents capables d'écrire des histoires, de résoudre des problèmes mathématiques et de donner des conseils comme un expert humain. Mais attention : il y a un piège. Ces livres sont incroyablement doués pour paraître convaincants. Ils s'expriment en phrases parfaites et fluides qui vous donnent l'impression qu'ils savent tout. Cela crée une situation délicate. Si un livre semble fluide et sûr de lui, lui faites-vous confiance ? Ou vous arrêtez-vous pour demander : « Attends, sais-tu vraiment cela, ou es-tu juste en train de l'inventer pour avoir l'air cool ? »

Ce document explore un recoin spécifique de la science appelé l'épistémologie, qui est simplement un mot savant pour désigner « comment nous savons ce que nous savons ». Il pose une question simple mais immense : quand est-il réellement acceptable de faire confiance à la réponse d'un ordinateur ? Les auteurs soutiennent que, même si une IA est précise, sûre ou équitable dans un sens général, cela ne signifie pas que vous êtes justifié à utiliser sa réponse pour quelque chose d'important, comme un diagnostic médical ou une affaire juridique. Ils suggèrent que pour que nous puissions réellement compter sur ces « livres qui parlent » de l'IA, le système doit nous montrer trois choses spécifiques : il doit admettre quand il est incertain, il doit nous laisser jeter un coup d'œil sous le capot pour voir comment il est arrivé à sa réponse, et il doit traiter nos connaissances et notre expérience avec respect, et non les ignorer.

---

Le test du « Robot de Confiance » : Pourquoi avoir raison ne suffit pas

Imaginez que vous avez un robot assistant nommé « Genie » qui vous aide pour vos devoirs. Genie est incroyable. Il écrit des essais qui semblent parfaits, résout des équations instantanément et ne se fatigue jamais. Mais un jour, vous demandez à Genie de vous aider pour un projet très important : construire un pont pour une foire scientifique scolaire. Genie vous donne un plan qui a l'air excellent. C'est écrit dans un anglais parfait, et cela semble super convaincant.

Maintenant, voici le gros problème que le document souligne : Le fait que Genie ait l'air sûr de lui ne signifie pas que vous êtes en sécurité pour construire le pont.

Les auteurs de ce document affirrent que pour que vous soyez réellement justifié à faire confiance à Genie (un concept qu'ils appellent « dépendance épistémiquement justifiée »), Genie doit réussir trois tests spécifiques. S'il échoue à ne serait-ce qu'un seul d'entre eux, vous ne devriez pas construire ce pont, peu importe à quel point l'essai semble bon.

1. Le bouton « Je ne sais pas » (Humilité épistémique)

D'abord, Genie doit être humble. Dans le monde réel, les gens intelligents connaissent leurs limites. Ils disent : « Je ne suis pas sûr de cette partie », ou « Je dois vérifier un manuel avant de répondre ».

• L'analogie : Imaginez que Genie soit un guide touristique. Un guide de confiance dit : « Je connais le chemin vers le château, mais je ne suis pas sûr de la grotte derrière, alors soyons prudents. » Un mauvais guide (celui qui échoue à ce test) pourrait dire : « Je sais tout ! » même lorsqu'il marche vers une falaise.
• La conclusion du document : Les auteurs ont constaté que de nombreux systèmes d'IA sont comme le mauvais guide. Ils peuvent vous donner une mauvaise réponse, mais ils l'énoncent avec 100 % de confiance. Pire encore, si vous leur demandez : « En êtes-vous sûr ? », ils peuvent insister et dire : « Oui, j'en suis absolument certain ! », même s'ils inventent des choses. Le document soutient qu'une IA digne de confiance doit être capable de dire : « Je ne suis pas sûr, et voici ce que vous devriez faire à la place », plutôt que de simplement prétendre savoir.

2. La règle du « Montrez votre travail » (Accès épistémique)

Deuxièmement, Genie doit vous laisser voir comment il réfléchit. À l'école, si vous trouvez la bonne réponse à un problème de mathématiques mais que vous ne montrez pas votre raisonnement, le professeur pourrait quand même vous faire des reproches parce qu'il ne peut pas vérifier si vous avez eu de la chance.

• L'analogie : Imaginez que Genie vous donne une carte au trésor. Un Genie digne de confiance ne vous tend pas seulement la carte ; il vous montre la boussole, les vieux journaux et les indices qu'il a utilisés pour dessiner la carte. Il vous laisse vérifier les indices. Un mauvais Genie vous tend simplement la carte et dit : « Faites-moi confiance, le trésor est ici ! » sans vous montrer un seul indice.
• La conclusion du document : Les auteurs ont examiné des outils d'IA utilisés par des avocats et des médecins. Ils ont constaté que même lorsque l'IA donnait la bonne réponse, elle cachait souvent comment elle avait trouvé la réponse. Parfois, l'IA citait un livre qui n'existait pas, ou citait une loi qui avait été annulée depuis des années. Le document stipule que si vous ne pouvez pas vérifier les « indices » (les preuves), vous ne pouvez pas vraiment faire confiance à la carte, même si la destination semble correcte.

3. La règle du « Écoutez-moi » (Résistance à l'injustice épistémique)

Troisièmement, Genie doit vous respecter. Il doit traiter vos connaissances et votre parcours comme étant importants.

• L'analogie : Imaginez que vous parliez à Genie d'un problème dans votre quartier. Un Genie digne de confiance écoute votre histoire et dit : « Cela fait sens, et voici comment nous pouvons le réparer. » Un mauvais Genie pourrait ignorer votre histoire parce que vous ne semblez pas être un « professionnel », ou pourrait traiter votre expérience comme étant moins importante qu'un manuel scolaire.
• La conclusion du document : Le document montre que l'IA peut parfois traiter les gens différemment selon qui ils sont. Par exemple, dans une étude, l'IA donnait des conseils médicaux détaillés à un médecin, mais disait à un patient posant exactement la même question de « simplement aller voir un médecin » sans donner plus d'aide. L'IA n'était pas « dangereuse » au sens technique ; elle était simplement impolie et méprisante envers le patient. Les auteurs soutiennent qu'une IA digne de confiance doit respecter le droit de chacun à être entendu et compris.

La règle du « Tabouret à trois pieds »

La chose la plus importante que le document a découverte est que ces trois règles sont comme les pieds d'un tabouret. Vous avez besoin des trois.

• Si Genie est humble et vous laisse vérifier son travail, mais qu'il ignore votre parcours, le tabouret tombe.
• Si Genie vous respecte et vous laisse vérifier son travail, mais qu'il ne reconnaît jamais quand il est incertain, le tabord tombe.
• Si Genie est humble et vous respecte, mais que vous ne pouvez pas voir comment il est arrivé à sa réponse, le tabouret tombe.

Le document utilise des exemples de la vie réelle pour le prouver. Ils ont examiné un cas où des avocats ont utilisé une IA pour rédiger un document judiciaire, et l'IA a inventé de faux arrêts de justice. Les avocats ont eu des ennuis. Le document dit que ce n'était pas seulement une « erreur » ; c'était un échec de l'humilité de l'IA (elle n'a pas dit « je suis en train d'inventer ceci ») et un échec de l'accès (les avocats ne pouvaient pas facilement vérifier si les affaires étaient réelles).

Ils ont également examiné des outils de recrutement par l'IA qui classaient les candidats. Même si l'IA était « équitable » de manière générale, elle classait parfois les personnes plus bas simplement à cause de leur nom. C'était un échec de « l'écoute de vous » (résistance à l'injustice).

Alors, que devons-nous faire ?

Le document suggère que nous ne devrions pas seulement essayer de rendre l'IA « plus intelligente » ou « plus précise ». Nous devons changer la façon dont nous lui parlons et la façon dont nous la concevons.

• Ajouter de la « Friction » : Les auteurs suggèrent que, parfois, l'ordinateur devrait rendre l'utilisation un peu plus difficile. Imaginez si l'IA disait : « Je ne suis pas sûr à 100 % de ceci, alors veuillez vérifier cette source avant de l'utiliser. » Cette « friction » vous empêche de faire une confiance aveugle à l'IA.
• Vérifier le tabouret : Avant de laisser l'IA nous aider pour de grandes décisions (comme dans les hôpitaux ou les tribunaux), nous devons vérifier les trois pieds. Est-elle humble ? Pouvons-nous voir son travail ? Nous respecte-t-elle ? Si un pied manque, nous ne devrions pas l'utiliser pour cette tâche.

En résumé, le document nous dit qu'avoir raison ne suffit pas. Pour vraiment faire confiance à un robot, il doit être honnête sur ce qu'il ne sait pas, nous montrer ses devoirs, et nous traiter comme des personnes intelligentes qui méritent une véritable réponse. S'il fait les trois, alors nous pouvons enfin dire : « D'accord, je te fais confiance. » Sinon, nous devons garder nos propres cerveaux aux commandes.