Epistemic Familiarity is Associated With Belief Stability in Large Language Models
Dieses Paper führt das P-StaT-Framework ein, um zu demonstrieren, dass große Sprachmodelle eine höhere Glaubensstabilität aufweisen, wenn sie vertraute fiktive Aussagen verarbeiten, im Vergleich zu unbekannten synthetischen Aussagen, was offenbart, dass epistemische Vertrautheit ein entscheidender Faktor bei der Milderung semantisch induzierter Glaubensinstabilität ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter bei, den Unterschied zwischen einer Tatsache, einer Lüge und einer erfundenen Geschichte zu erkennen. Sie würden vielleicht denken, dass der Roboter, sobald er die Regeln der „Wahrheit“ gelernt hat, sich an sie hält, egal wie man ihn fragt. Aber in der Welt der Large Language Models (LLMs) – der leistungsstarken KI-Gehirne hinter Chatbots und Suchwerkzeugen – ist die Sache etwas wackeliger. Diese Modelle sind wie riesige Bibliotheken, die fast alles im Internet gelesen haben, aber sie „wissen“ Dinge nicht so, wie Menschen es tun; sie sagen voraus, welche Wörter basierend auf Mustern als Nächstes kommen sollten. Eine Schlüsselfrage für Wissenschaftler ist: Wenn man den Kontext oder die Art und Weise, wie eine Frage gestellt wird, leicht verändert, bleibt der Glaube des Roboters an eine Tatsache stabil, oder gerät er ins Wanken und bricht zusammen? Dies ist die Untersuchung der „epistemischen Stabilität“. Wenn ein Roboter heute glaubt, dass eine Stadt existiert, aber seine Meinung nur ändert, weil man eine fiktive Geschichte in der Nähe erwähnt hat, dann ist das ein Problem. Wir kümmern uns darum, weil diese Modelle zunehmend eingesetzt werden, um uns Informationen zu liefern, und wir müssen wissen, ob ihre Überzeugungen felsenfest sind oder ob sie durch ein wenig Verwirrung leicht erschüttert werden können.
Hier kommt eine neue Studie von Samantha Dies und ihrem Team ins Spiel, die beschlossen, die Welt des Roboters zu erschüttern, um zu sehen, was herausfällt. Sie entwickelten ein Framework namens P-StaT (was für Perturbation Stability of Truth steht). Betrachten Sie P-StaT als einen „Belastungstest für Überzeugungen“. Die Forscher nahmen 21 verschiedene KI-Modelle und gaben ihnen eine Reihe von Aussagen, die sie beurteilen sollten. Einige Aussagen waren wahre Fakten (wie „Surat liegt in Indien“), einige waren offensichtliche Lügen und der knifflige Teil waren die „Weder-Noch“-Aussagen – Behauptungen, die in der realen Welt weder wahr noch falsch sind.
Das Team teilte diese „Weder-Noch“-Aussagen in zwei Lager auf. Das erste Lager bestand aus vertrauten fiktiven Aussagen (Familiar Fictional). Dies sind erfundene Dinge, die klingen, als gehörten sie in ein Märchenbuch oder einen Film, wie zum Beispiel: „Die Stadt Bikini Bottom liegt im Pazifik“. Auch wenn Bikini Bottom nicht real ist, hat die KI es wahrscheinlich in ihren Trainingsdaten gesehen, weil es eine populäre Zeichentrickserie ist. Das zweite Lager waren die unbekannten synthetischen Aussagen (Unfamiliar Synthetic). Dies sind völlig neue, seltsame Wortkombinationen, die die KI höchstwahrscheinlich noch nie zuvor gesehen hat, wie zum Beispiel: „Die Stadt Eustapor liegt in Oklanian“. Diese sind darauf ausgelegt, dem Modell völlig fremd zu sein.
Die Forscher spielten ein „Was wäre wenn“-Spiel. Sie sagten der KI: „Okay, tu so, als wären diese erfundenen Dinge tatsächlich wahr“, und beobachteten, ob die KI plötzlich anfangen würde, ihre Überzeugungen über echte Fakten zu bezweifeln. Es ist, als würde man einer Person sagen: „Stell dir vor, Drachen wären real“, und sie dann fragen: „Ist der Himmel also blau?“ Wenn die Person plötzlich sagt: „Ich bin mir nicht sicher, vielleicht ist der Himmel grün, weil es Drachen gibt, dann ist das die Folge“, dann ist ihr Glaubenssystem instabil.
Die Ergebnisse waren faszinierend. Als die KI mit den unbekannten synthetischen Aussagen (den völlig neuen, seltsamen Dingen) konfrontiert wurde, wurde sie sehr wackelig. In den Verhaltenstests (bei denen die KI einfach nur chattete) zog die KI ihre Überzeugungen über reale Fakten öfter als 50 % der Zeit zurück. Das ist wie ein Münzwurf! Wenn Sie eine Münze 100 Mal werfen würden, würden Sie etwa 50 Mal Kopf erwarten; hier verlor die KI öfter denn je ihr Vertrauen in echte Fakten, nur weil sie durch etwas völlig Neues verwirrt war.
Wenn die KI jedoch mit den vertrauten fiktiven Aussagen (den Zeichentrickstädten und Monsterfiguren) konfrontiert wurde, blieb sie viel ruhiger. Sie wusste, dass Bikini Bottom eine Zeichentrickfigur ist, und ließ diese Idee nicht ihr Wissen über reale Städte durcheinanderbringen. Die Studie legt nahe, dass die Instabilität der KI nicht nur davon abhängt, dass die Wörter seltsam sind; es geht darum, wie unbekannt der Kontext sich anfühlt. Die Modelle scheinen eine „Komfortzone“ für Dinge zu haben, die sie schon einmal gesehen haben, und wenn man sie in das Unbekannte drängt, lässt ihr Griff auf die Wahrheit nach.
Die Forscher untersuchten auch, welche Arten von Fakten die KI am ehesten aufgab, wenn sie verwirrt war. Sie fanden heraus, dass die KI ihre Überzeugungen nicht einfach zufällig verlor. Sie neigte dazu, Überzeugungen über Dinge aufzugeben, die ohnehin schon etwas vage oder unklar waren – wie technische medizinische Begriffe, obskure Geografie oder Aussagen, die ein wenig mehrdeutig waren. Es ist, als wäre das Glaubenssystem der KI ein Kartenhaus: Wenn man einen sanften Wind aus vertrauter Fiktion bläst, steht das Haus. Aber wenn man einen Hurrikan aus unbekanntem Unsinn bläst, sind die Karten, die ohnehin schon etwas wackelig waren (die schwierigen, technischen), die ersten, die zu Boden fallen.
Zusammenfassend lässt diese Arbeit darauf schließen, dass epistemische Vertrautheit – wie gut eine KI ein Thema kennt – ein entscheidender Faktor dafür ist, wie stabil ihre Überzeugungen sind. Wenn eine KI aufgefordert wird, über Dinge zu argumentieren, die sie noch nie gesehen hat, ist sie viel eher geneigt, zu halluzinieren oder ihre Meinung über Dinge zu ändern, die sie eigentlich weiß. Die Autoren sagen nicht, dass die KI kaputt ist, aber sie zeigen uns, dass „Stabilität“ ein neuer Weg ist, um die Zuverlässigkeit einer KI zu messen, neben den üblichen „Genauigkeits“-Tests. Es stellt sich heraus, dass für diese digitalen Gehirne das Kennen der Regeln des Spiels genauso wichtig ist wie das Wissen über die Fakten des Spiels.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.