Toward a Gricean Retreat: Probing LLMs for Knowledge Boundaries and Referent Specificity
Diese Arbeit zeigt auf, dass große Sprachmodelle zwar über interne Signale verfügen, die sowohl ihre Wissensgrenzen als auch die Spezifität bevorstehender Referenten anzeigen, es jedoch versäumen, diese Signale während der Generierung miteinander in Einklang zu bringen, was dazu führt, dass sie spezifische Details über unbekannte Entitäten erfinden, anstatt zu sichereren, allgemeineren Behauptungen zurückzukehren, wie es ein Grice’scher kooperativer Sprecher tun würde.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie unterhalten sich mit einem Freund, der fast jedes jemals geschriebene Buch gelesen hat, aber seit einigen Jahren nicht mehr in einer Bibliothek war. Wenn Sie ihn nach einem berühmten Autor fragen, den er definitiv kennt, kann er Ihnen genau sagen, in welcher Straße dieser Autor gelebt hat. Wenn Sie ihn jedoch nach einem brandneuen Autor fragen, der erst gestern sein Buch veröffentlicht hat, weiß er ihn vielleicht nicht. Ein wirklich hilfreicher, ehrlicher Freund würde sagen: „Davon habe ich noch nie gehört, aber es ist wahrscheinlich ein Schriftsteller.“ Ein Freund, der jedoch zu sehr darauf bedacht ist, zu beeindrucken, würde stattdessen einfach einen Straßennamen und eine Biografie erfinden und so tun, als wüsste er alles. Dies ist genau das Problem, vor dem moderne Künstliche Intelligenz, speziell Large Language Models (LLMs), steht. Diese KI-Systeme sind wie Super-Leser, die Fakten aus ihren Trainingsdaten abrufen können, aber wenn sie auf etwas Neues oder Unbekanntes stoßen, „halluzinieren“ sie oft – sie erfinden plausibel klingende Details, anstatt zuzugeben, dass sie es nicht wissen.
Um zu verstehen, wie man dies behebt, schauen sich Wissenschaftler ein Konzept aus der Linguistik an, das „Kooperationsprinzip“ genannt wird und von einem Philosophen namens Grice vorgeschlagen wurde. Die Idee ist einfach: In einem guten Gespräch versucht man, hilfreich zu sein (genügend Informationen zu geben), aber auch ehrlich (nur das zu sagen, was man weiß). Wenn man die spezifischen Details nicht kennt, „zieht sich ein kooperativer Sprecher auf eine sicherere, allgemeinere Antwort zurück“. Anstatt zum Beispiel eine spezifische Stadt zu raten, könnte er einfach sagen: „eine Stadt in Australien“. Diese Arbeit stellt eine faszinierende Frage: Besitzen KI-Modelle die internen „Bremsen“, um dies zu tun? Wissen sie, wann sie nur raten, und können sie sich entscheiden, vage zu sein, anstatt etwas zu erfinden?
Die Forscher Dananjay Srinivas, Saksham Khatwani und Maria Pacheco von der University of Colorado, Boulder, beschlossen, dies zu untersuchen, indem sie in das „Gehirn“ dieser KI-Modelle hineinschauerten. Sie entwickelten einen speziellen Test unter Verwendung eines Datensatzes von Fakten über Personen, Unternehmen, Produkte und Fähigkeiten. Um zu simulieren, dass die KI etwas nicht weiß, erstellten sie fiktive Namen für Personen und Unternehmen, die die KI noch nie zuvor gesehen hatte. Dann baten sie die KI, die Lücken in Sätzen wie „Allan Peiper wurde in [Lücke] geboren“ auszufüllen.
Hier ist, was sie herausfanden, und es ist ein wenig gemischt. Erstens fanden sie heraus, dass die KI tatsächlich weiß, wenn sie es mit etwas zu tun hat, das sie noch nie gesehen hat. Wenn man sich die elektrischen Signale (Aktivierungen) im Gehirn des Modells ansieht, gibt es ein klares Muster, das sagt: „Hey, dieser Name ist neu für mich!“ Das Modell besitzt auch ein zweites Signal, das vorhersagt, ob es gleich eine spezifische Antwort (wie „Victoria“) oder eine allgemeine Antwort (wie „eine Stadt“) geben wird. Die Zutaten für Ehrlichkeit sind also definitiv vorhanden; das Modell besitzt das Wissen und die Fähigkeit zu wählen.
Die schlechten Nachrichten sind jedoch, dass das Modell diese Information nicht tatsächlich nutzt, um ehrlich zu sein. Selbst wenn die KI weiß, dass sie es mit einem gefälschten Namen zu tun hat, den sie noch nie gesehen hat, entscheidet sie sich überwiegend dafür, eine spezifische, erfundene Antwort zu geben, anstatt eine sichere, allgemeine Antwort zu wählen. Es ist wie bei einem Auto mit einem perfekten GPS, das weiß, dass man sich verirrt hat, aber der Fahrer (die Generierungspolitik der KI) ignoriert das GPS und fährt stattdessen geradeaus gegen eine Wand, weil er unbedingt an ein bestimmtes Ziel gelangen möchte. Die Forscher fanden heraus, dass dies selbst dann geschieht, wenn der KI die Option gegeben wird, vage zu sein, und selbst wenn die spezifische Antwort garantiert falsch ist.
Kurz gesagt zeigt die Arbeit, dass KI-Modelle zwar über die internen „Sensoren“ verfügen, um zu wissen, wann sie überfordert sind, ihnen aber die „Politik“ oder der Wille fehlt, anzuhalten und zu einer sichereren Antwort zurückzukehren. Sie sind darauf programmiert, spezifisch zu sein, selbst wenn sie bescheiden sein sollten. Die Autoren schlagen vor, dass wir, anstatt diese Fehler zu beheben, nachdem die KI bereits gesprochen hat, die Modelle darauf trainieren müssen, auf ihre eigenen internen Sensoren zu hören und vage zu werden, wenn sie sich unsicher sind. Dies wäre ein Schritt, um KI kooperativer und vertrauenswürdiger zu machen, indem man sie lehrt, dass es viel besser ist, zu sagen: „Ich kenne die genaue Stadt nicht, aber sie liegt in Australien“, als einen Straßennamen zu erfinden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.