Information Discernment in Large Language Models
Dieses Paper führt das Learn2Discern-Framework ein, um aufzuzeigen, dass große Sprachmodelle konsistent daran scheitern, Informationen angemessen basierend auf der Zuverlässigkeit oder Wahrhaftigkeit der Quelle zu gewichten, ein kritischer Mangel, den Nutzerstudien bestätigen, welcher das Vertrauen untergräbt und trotz zunehmender Modellgröße bestehen bleibt, wenngleich er durch einfache Interventionen zur Inferenzzeit gemildert werden kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. Sie haben Ihre eigene Theorie darüber, was passiert ist, aber dann erhalten Sie Hinweise aus der Öffentlichkeit. Einige Hinweise kommen von einem erfahrenen, ehrlichen Polizeibeamten; andere von einem bekannten Lügner, der nur Unruhe stiften will. Einige Hinweise helfen Ihnen, der Wahrheit näher zu kommen, während andere Sie in die völlig falsche Richtung führen. Die große Frage ist: Weiß Ihr Detektivgehirn, wie es diese Hinweise abwägt? Hören Sie mehr auf den ehrlichen Polizisten oder lassen Sie sich von der lautesten Stimme ablenken? Ändern Sie Ihre Meinung, wenn ein Hinweis Ihnen hilft, oder klammern Sie sich stur an Ihre ursprüngliche Vermutung, selbst wenn diese falsch ist?
Genau das ist die Art von Rätsel, mit dem Wissenschaftler moderne „Large Language Models“ (LLMs) beschäftigen. Dies sind die superintelligenten Computerprogramme, die Chatbots und Suchmaschinen antreiben. Sie werden mit einer gewaltigen Menge an Daten aus dem Internet trainiert, aber sie müssen auch neue Informationen nachschlagen, um Fragen zu beantworten, die sie noch nicht kennen. Das Problem ist, dass das Internet ein lärmendes Pflaster ist. Es ist voll von zuverlässigen Nachrichtenseiten, aber auch voll von Fake News, Gerüchten und populären, aber falschen Ideen. Wenn ein Computerprogramm nicht zwischen einer vertrauenswürdigen Quelle und einem populären Lügner oder zwischen einem hilfreichen Hinweis und einem irreführenden Hinweis unterscheiden kann, könnte es anfangen, Fehlinformationen an Millionen von Menschen zu verbreiten. Dieses Paper taucht tief in die Frage ein, ob diese digitalen Detektive tatsächlich gut darin sind, die Wahrheit vom Rauschen zu trennen.
Die Forscher, ein Team von der University of Michigan, entwickelten eine neue Methode, um diese Fähigkeit zu testen, die sie „Informationsdiskernierung“ nennen. Sie setzten ein riesiges Experiment mit 13 verschiedenen KI-Modellen und fast 670.000 Versuchen auf. Sie stellten den Modellen Fragen mit bekannten Antworten, gaben ihnen eine „Prior“-Überzeugung (das, was das Modell vorher dachte) und fütterten sie dann mit einer neuen Behauptung von einer spezifischen Quelle. Manchmal war die Quelle hochgradig zuverlässig, manchmal eine Randerscheinung im Internet. Manchmal lag die neue Behauptung näher an der Wahrheit, und manchmal war sie völlig falsch. Sie wollten sehen, ob die Modelle ihre Antworten eher für die guten Quellen und die hilfreichen Behauptungen anpassen würden.
Die Ergebnisse waren ein wenig schockierend. Das Paper stellte fest, dass diese KI-Modelle insgesamt schrecklich in dieser Art von Diskernierung sind. Sie schneiden fast nicht besser ab als beim bloßen Raten, wenn es darum geht, zu entscheiden, welchen Quellen man vertrauen sollte. Tatsächlich war es doppelt so wahrscheinlich, dass die Modelle einer Quelle zuhörten, nur weil sie populär war (wie eine Website mit vielen Besuchern), statt weil sie zuverlässig war (wie ein faktengeprüftes Nachrichtenportal). Es ist, als ob der Detektiv den Polizisten ignoriert und stattdessen der Person mit dem größten Megafon zuhört. Darüber hinaus schien es den Modellen egal zu sein, ob eine neue Information ihnen half, der Wahrheit näher zu kommen, oder sie weiter von ihr wegführte; sie passten ihre Überzeugungen in etwa gleichermaßen an, egal in welche Richtung.
Das Team prüfte auch, ob es die Modelle größer oder neuer zu machen die Sache verbessern würde. Sie fanden heraus, dass neuere und größere Modelle etwas besser darin wurden, die Wahrheit in Behauptungen zu erkennen, aber sie konnten immer noch nicht lernen, zwischen zuverlässigen und unzuverlässigen Quellen zu unterscheiden. Dies deutet darauf darauf hin, dass es die KI nicht automatisch lehrt, ein kritischer Denker darüber zu sein, woher Informationen stammen, nur indem man sie „schlauer“ macht oder länger trainiert. Es gab jedoch einen Lichtblick: Die Forscher entdeckten, dass einfache Tricks, wie zum Beispiel das Modell anzuweisen, die Zuverlässigkeit der Quelle zu bewerten, bevor es antwortet, die Leistung erheblich verbessern konnten.
Um sicherzustellen, dass dies nicht nur ein Informatikproblem war, befragten die Forscher auch 299 echte menschliche Nutzer zu ihrer Meinung. Sie fanden heraus, dass Menschen diese Fähigkeiten absolut wichtig sind. Wenn den Nutzern mitgeteilt wurde, dass ein Chatbot zuverlässige Quellen ignoriert oder seine Meinung ändert, obwohl er bereits richtig lag, sagten sie, dass sie dem Bot weniger vertrauen und ihn seltener nutzen würden. Dies bestätigt, dass die Fähigkeit zur Diskernierung nicht nur eine technische Kennzahl ist, sondern eine Kernanforderung für den Aufbau von KI, auf die Menschen sich tatsächlich verlassen können.
Kurz gesagt zeigt das Paper, dass unsere derzeitigen KI-Modelle zwar großartig darin sind, Informationen abzurufen, aber derzeit ziemlich blind sind, wenn es darum geht, die Qualität dieser Informationen zu beurteilen. Sie folgen eher der Popularität als der Wahrheit und haben Schwierigkeiten, ihre Überzeugungen korrekt anzupassen. Aber die gute Nachricht ist: Mit ein paar einfachen Anweisungen können wir ihnen helfen, das Licht ein wenig besser zu sehen, was sie zu sichereren und nützlicheren Werkzeugen für alle macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.