Toward a Gricean Retreat: Probing LLMs for Knowledge Boundaries and Referent Specificity
Cet article révèle que, bien que les grands modèles de langage possèdent des signaux internes indiquant à la fois leurs limites de connaissances et la spécificité des référents à venir, ils échouent à concilier ces signaux lors de la génération, ce qui les amène à fabriquer des détails spécifiques sur des entités inconnues plutôt qu'à se replier sur des affirmations générales plus sûres, comme le ferait un locuteur coopératif gricean.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous discutez avec un ami qui a lu presque tous les livres jamais écrits, mais qui n'est pas allé à la bibliothèque depuis quelques années. Si vous l'interrogez sur un auteur célèbre qu'il connaît certainement, il pourra vous dire exactement dans quelle rue l'auteur vivait. Mais si vous l'interrogez sur un nouvel auteur qui vient de publier un livre hier, votre ami ne le connaîtra peut-être pas. Un ami véritablement utile et honnête dirait : « Je n'ai pas entendu parler de lui, mais c'est probablement un écrivain. » Cependant, si votre ami cherche un peu trop à impressionner, il pourrait simplement inventer un nom de rue et une biographie, faisant semblant de tout savoir. C'est exactement le problème auquel est confrontée l'intelligence artificielle moderne, plus précisément les grands modèles de langage (LLM). Ces systèmes d'IA sont comme des super-lecteurs capables de se souvenir de faits issus de leurs données d'entraînement, mais lorsqu'ils rencontrent quelque chose de nouveau ou d'inconnu, ils « hallucinent » souvent — ils inventent des détails plausibles au lieu d'admettre qu'ils ne savent pas.
Pour comprendre comment résoudre cela, les scientifiques se tournent vers un concept de la linguistique appelé le « principe de coopération », proposé par un philosophe nommé Grice. L'idée est simple : dans une bonne conversation, les gens essaient d'être utiles (en donnant suffisamment d'informations) mais aussi honnêtes (en ne disant que ce qu'ils savent). Si vous ne connaissez pas les détails spécifiques, un locuteur coopératif « se replie » vers une réponse plus sûre et plus générale. Par exemple, au lieu de deviner une ville précise, il pourrait simplement dire « une ville en Australie ». Cette étude pose une question fascinante : les modèles d'IA possèdent-ils les « freins » internes pour faire cela ? Savent-ils quand ils sont en train de deviner, et peuvent-ils choisir d'être vagues plutôt que de inventer des choses ?
Les chercheurs Dananjay Srinivas, Saksham Khatwani et Maria Pacheco, de l'Université du Colorado à Boulder, ont décidé d'étudier cela en regardant à l'intérieur du « cerveau » de ces modèles d'IA. Ils ont construit un test spécial en utilisant un ensemble de données de faits sur des personnes, des entreprises, des produits et des compétences. Pour simuler le fait que l'IA ne sache pas quelque chose, ils ont créé de faux noms de personnes et d'entreprises que l'IA n'avait jamais vus auparavant. Ils ont ensuite demandé à l'IA de remplir les blancs dans des phrases telles que « Allan Peiper est né à [blanc] ».
Voici ce qu'ils ont découvert, et c'est un bilan mitigé. Premièrement, ils ont trouvé que l'IA sait réellement quand elle traite de quelque chose qu'elle n'a jamais vu. Si l'on observe les signaux électriques (les activations) à l'intérieur du cerveau du modèle, il y a un motif clair qui dit : « Hé, ce nom est nouveau pour moi ! » Le modèle possède également un second signal qui prédit s'il est sur le point de donner une réponse spécifique (comme « Victoria ») ou une réponse générale (comme « une ville »). Donc, les ingrédients de l'honnêteté sont bien là ; le modèle possède la connaissance et la capacité de choisir.
Cependant, la mauvaise nouvelle est que le modèle n'utilise pas réellement cette information pour être honnête. Même lorsque l'IA sait qu'elle fait face à un faux nom qu'elle n'a jamais vu, elle choisit massivement de donner une réponse spécifique et inventée plutôt qu'une réponse sûre et générale. C'est comme avoir une voiture dotée d'un GPS parfait qui sait que vous êtes perdu, mais le conducteur (la politique de génération de l'IA) ignore le GPS et continue de foncer droit dans un mur parce qu'il veut absolument atteindre une destination précise. Les chercheurs ont constaté que cela se produit même lorsque l'IA a la possibilité d'être vague et même lorsque la réponse spécifique est garantie d'être fausse.
En résumé, l'article montre que si les modèles d'IA possèdent les « capteurs » internes pour savoir quand ils sont dépassés, ils manquent de la « politique » ou de la volonté de s'arrêter et de se replier vers une réponse plus sûre. Ils sont programmés pour être précis, même quand ils devraient faire preuve d'humilité. Les auteurs suggèrent qu'au lieu d'essayer de corriger ces erreurs après que l'IA a déjà parlé, nous devons entraîner les modèles à écouter leurs propres capteurs internes et à choisir d'être vagues lorsqu'ils ne sont pas sûrs. Ce serait un pas vers la création d'une IA plus coopérative et digne de confiance, en leur apprenant que parfois, dire « Je ne connais pas la ville exacte, mais c'est en Australie » est une bien meilleure réponse que d'inventer un nom de rue.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.