Whether LLMs Can Navigate Beliefs and Facts Depends on How You Phrase It
Cet article révèle que la capacité des grands modèles de langage à naviguer entre les croyances de l'utilisateur et les faits est hautement sensible à la formulation, car leur tendance par défaut à vérifier la véracité des affirmations les amène souvent à outrepasser les croyances énoncées, particulièrement lorsque des verbes épistémiques spécifiques sont utilisés.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le bourdonnement discret d'une conversation quotidienne, les humains tissent constamment ensemble ce qu'ils savent être vrai et ce qu'ils croient simplement être vrai. Nous pourrions dire : « Je pense que la réponse est trois », ou « Je suppose que c'est exact », mélangeant une conviction personnelle avec une affirmation sur le monde. Ces expressions de croyance ne sont pas de simples formules de politesse ; elles font partie intégrante de notre façon de communiquer, portant souvent un poids qui est distinct des faits bruts. Pour la nouvelle génération d'intelligence artificielle, connue sous le nom de grands modèles de langage, naviguer dans cette distinction devient de plus en plus critique. Alors que ces systèmes passent des laboratoires de recherche à nos poches et à nos bureaux pour agir en tant qu'assistants, on attend d'eux qu'ils traitent nos pensées personnelles avec le même soin qu'ils traitent les données objectives. Le défi réside dans une difficulté subtile mais profonde : lorsqu'une personne énonce une croyance qui s'avère factuellement incorrecte, la machine comprend-elle qu'on lui demande de confirmer la croyance elle-même, ou est-elle distraite par l'erreur contenue dans l'énoncé ?
Une étude récente menée par des chercheurs du KAIST et de l'Université des sciences et technologies de Taïwan examine précisément cette friction. Ils ont cherché à voir si ces systèmes intelligents pouvaient séparer l'acte de reconnaître la pensée d'un utilisateur de l'acte de vérifier la vérité de cette pensée. Pour ce faire, ils ne se sont pas appuyés sur un seul type de question, mais ont exploré un large paysage d'expressions humaines. Ils ont testé dix grands modèles de langage différents en utilisant dix-huit façons distinctes de formuler une croyance, allant du confiant « Je suis certain » au hésitant « Je me souviens vaguement », et même au sceptique « Je doute sérieusement ». La configuration était simple : les chercheurs présentaient aux modèles un énoncé tel que « Je crois que le ciel est vert », suivi de la question : « Est-ce que je crois que le ciel est vert ? ». La bonne réponse, quel que soit le fait que le ciel ne soit pas vert, est toujours « Oui », car la question porte sur l'état d'esprit de l'utilisateur, et non sur la couleur du ciel.
Les résultats ont révélé une incohérence surprenante dans la manière dont ces modèles réfléchissent. La capacité à confirmer correctement la croyance d'un utilisateur n'était pas une compétence fixe ; elle variait considérablement selon les mots spécifiques utilisés pour exprimer cette croyance. Lorsque les modèles étaient interrogés sur des croyances formulées avec « Je me souviens vaguement », ils performaient bien, identifiant correctement la croyance même lorsque le fait sous-jacent était faux. Cependant, lorsque la formulation passait à « Je doute sérieusement », les modèles commençaient à échouer, répondant souvent « Non » à la question de savoir si l'utilisateur éprouvait ce doute. Dans certains cas, l'écart de performance entre les affirmations factuelles et les affirmations fausses était aussi large que cinquante points de pourcentage, tandis que dans d'autres, les modèles performaient en réalité mieux sur les énoncés faux que sur les vrais. Cela suggère que les modèles ne sont pas simplement en train d'échouer à comprendre le concept de croyance ; plutôt, leur succès ou leur échec dépend entièrement du déclencheur linguistique utilisé pour l'introduire.
Les chercheurs ont creusé davantage pour comprendre pourquoi cela se produit et ont découvert que les modèles souffrent d'une forme de confusion de tâche. Face à une affirmation fausse, les modèles ont tendance à basculer par défaut en mode vérification des faits. Au lieu de répondre à la question « Croyez-vous ceci ? », ils se demandent silencieusement « Est-ce vrai ? » et répondent ensuite en fonction de la vérité de l'affirmation, supplantant ainsi la croyance déclarée par l'utilisateur. Ce comportement a été confirmé en examinant les étapes de raisonnement interne suivies par les modèles. Dans de nombreux cas où les modèles se trompaient, ils passaient explicitement du temps à vérifier les faits de l'affirmation. Lorsque les chercheurs ont ajouté une instruction simple demandant aux modèles de ne pas vérifier les faits, le taux d'erreur sur les affirmations fausses a chuté de manière significative, et les modèles sont devenus bien meilleurs pour simplement reconnaître la croyance. Cela indique que les modèles possèdent la capacité de suivre les croyances, mais qu'ils sont souvent déstabilisés par leur propre forte volonté de corriger la désinformation.
Pour voir s'il s'agissait d'un problème mécanique profond, les chercheurs ont regardé à l'intérieur des mécanismes d'attention des modèles, observant quelles parties du texte le système focalisait pendant la génération d'une réponse. Ils ont découvert que lorsqu'un modèle échouait à confirmer une fausse croyance, il prêtait une attention nettement plus grande à l'affirmation fausse elle-même que lorsqu'il réussissait. Dans un test final, ils ont artificiellement supprimé cette attention portée à l'affirmation lors du processus de génération de la réponse. Dans un modèle spécifique, cette intervention a réussi à améliorer la précision de la confirmation de la croyance sans nuire à sa capacité de répondre à d'autres types de questions. Cela suggère que le problème n'est pas un manque fondamental de compréhension, mais plutôt une tendance spécifique à se focaliser trop lourdement sur le contenu de l'affirmation lorsque ce contenu est faux.
En fin de compte, l'étude clarifie que la lutte pour distinguer la croyance du fait n'est pas une faiblesse uniforme dans toutes les situations. C'est un comportement nuancé qui dépend fortement de la manière dont la question est posée et de la façon dont le modèle interprète son rôle. Bien que ces systèmes soient généralement conçus pour être utiles et précis, leur instinct de vérification des faits peut parfois interférer avec leur capacité à écouter ce qu'un utilisateur pense réellement. Les chercheurs concluent que la voie à suivre consiste à développer des méthodes permettant à ces modèles de reconnaître la perspective d'un utilisateur sans chercher immédiatement à la corriger, garantissant ainsi qu'ils puissent servir d'auditeurs fidèles, même lorsque la conversation dévie vers le domaine de l'incorrect.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.