Epistemic Familiarity is Associated With Belief Stability in Large Language Models
Cet article introduit le cadre P-StaT pour démontrer que les grands modèles de langage font preuve d'une plus grande stabilité de croyance lorsqu'ils traitent des énoncés fictionnels familiers par rapport à des énoncés synthétiques non familiers, révélant que la familiarité épistémique est un facteur clé pour atténuer l'instabilité de croyance induite par la sémantique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous enseigniez à un robot super intelligent la différence entre un fait, un mensonge et une histoire inventée. Vous pourriez penser qu'une fois que le robot aura appris les règles de la « vérité », il s'y tiendra peu importe la façon dont vous posez la question. Mais dans le monde des Grands Modèles de Langage (LLM) — les cerveaux d'IA puissants derrière les chatbots et les outils de recherche — les choses sont un peu plus instables. Ces modèles sont comme de gigantesques bibliothèques ayant lu presque tout ce qui existe sur Internet, mais ils ne « savent » pas les choses comme les humains ; ils prédisent quels mots devraient suivre en se basant sur des motifs. Une question clé pour les scientifiques est la suivante : si l'on change légèrement le contexte ou la manière de formuler une question, la croyance du robot en un fait reste-t-elle stable, ou vacille-t-elle et s'effondre-t-elle ? C'est l'étude de la « stabilité épistémique ». Si un robot croit qu'une ville existe aujourd'hui, mais change d'avis simplement parce que vous avez mentionné une histoire de fiction à proximité, c'est un problème. Nous nous en soucions parce que ces modèles sont de plus en plus utilisés pour nous donner des informations, et nous devons savoir si leurs croyances sont inébranlables ou si elles sont facilement ébranlées par un peu de confusion.
Entrez dans une nouvelle étude de Samantha Dies et de son équipe, qui ont décidé de secouer le monde du robot pour voir ce qui en sortirait. Ils ont construit un cadre appelé P-StaT (qui signifie Perturbation Stability of Truth — Stabilité de la Vérité face aux Perturbations). Considérez P-StaT comme un « test de résistance des croyances ». Les chercheurs ont pris 21 modèles d'IA différents et leur ont donné un ensemble d'énoncés à juger. Certains énoncés étaient des faits réels (comme « Surat est en Inde »), certains étaient des mensonges évidents, et la partie délicate concernait les énoncés « Ni l'un ni l'autre » — des affirmations qui ne sont ni vraies ni fausses dans le monde réel.
L'équipe a divisé ces énoncés « Ni l'un ni l'autre » en deux camps. Le premier camp était composé d'énoncés de Fiction Familier. Ce sont des choses inventées qui semblent appartenir à un livre d'histoires ou à un film, comme « La ville de Bikini Bottom se trouve dans l'océan Pacifique ». Même si Bikini Bottom n'est pas réelle, l'IA l'a probablement vue dans ses données d'entraînement car c'est un dessin animé populaire. Le second camp était composé d'énoncés Synthétiques Non Familier. Ce sont des combinaisons de mots totalement nouvelles et bizarres que l'IA n'a probablement jamais vues auparavant, comme « La ville d'Eustapor est en Oklanienne ». Ils sont conçnés pour être de parfaits inconnus du modèle.
Les chercheurs ont ensuite joué au jeu du « et si ». Ils ont dit à l'IA : « D'accord, prétends que ces choses inventées sont réellement vraies », et ont observé si l'IA commençait soudainement à douter de ses faits réels. C'est comme dire à une personne : « Imagine que les dragons soient réels », puis lui demander : « Alors, est-ce que le ciel est bleu ? » Si la personne répond : « Je ne suis pas sûr, peut-être que le ciel est vert à cause des dragons », son système de croyance est instable.
Les résultats ont été fascinants. Lorsque l'IA était exposée aux énoncés Synthétiques Non Familiers (les nouveaux, les bizarres), elle devenait très hésitante. Dans les tests comportementaux (où l'IA discutait simplement), les modèles ont rétracté leurs croyances sur des faits réels plus de 50 % du temps. C'est comme un pile ou face ! Si vous lanciez une pièce 100 fois, vous vous attendriez à environ 50 piles ; ici, l'IA a perdu sa confiance dans les faits réels plus souvent que non grâce à quelque chose de totalement nouveau.
Cependant, lorsque l'IA était exposée aux énoncés de Fiction Familier (les villes de dessins animés et les monstres de films), elle restait beaucoup plus calme. Elle savait que Bikini Bottom était un dessin animé, donc elle ne laissait pas cette idée perturber ses connaissances sur les vraies villes. L'étude suggère que l'instabilité de l'IA n'est pas seulement due au fait que les mots sont bizarres ; c'est la façon dont le contexte est non familier qui compte. Les modèles semblent avoir une « zone de confort » composée de choses qu'ils ont déjà vues, et lorsqu'on les pousse vers l'inconnu, leur emprise sur la vérité glisse.
Les chercheurs ont également examiné quels types de faits l'IA était la plus susceptible d'abandonner lorsqu'elle était confuse. Ils ont découvert que l'IA n'oubliait pas les choses de manière aléatoire. Elle avait tendance à abandonner les croyances sur des choses qui étaient déjà un peu floues à la base — comme des termes médicaux techniques, une géographie obscure ou des énoncés présentant une certaine ambiguïté. C'est comme si le système de croyance de l'IA était un château de cartes : quand vous soufflez une brise légère de fiction familière, le château tient debout. Mais quand vous soufflez un ouragan de non-sens non familier, les cartes qui étaient déjà légèrement bancales (les plus complexes, les plus techniques) sont les premières à tomber.
En résumé, ce document suggère que la familiarité épistémique — la mesure dans laquelle une IA connaît un sujet — est un facteur majeur de la stabilité de ses croyances. Si une IA est amenée à raisonner sur des choses qu'elle n'a jamais vues auparavant, elle est beaucoup plus susceptible d'halluciner ou de changer d'avis sur des choses qu'elle connaît réellement. Les auteurs ne disent pas que l'IA est défectueuse, mais ils montrent que la « stabilité » est une nouvelle façon de mesurer la fiabilité d'une IA, parallèlement aux tests habituels d'« exactitude ». Il s'avère que, pour ces cerveaux numériques, connaître les règles du jeu est tout aussi important que connaître les faits du jeu.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.