Finetuning with Scientific Data Increases Hallucinations: A Multi-domain Factuality Evaluation of LLMs
Dieses Paper führt SciFactCheck ein, einen domänenübergreifenden Benchmark, der aufzeigt, dass wissenschaftliches Fine-Tuning bei großen Sprachmodellen paradoxerweise Halluzinationen und Assertivität erhöht, während es deren interne Konfidenz verringert, wodurch aktuelle domänenspezifische Fine-Tuning-Ansätze zur Verbesserung der Faktizität infrage gestellt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen brillanten, belesenen Bibliothekar, der ein bisschen über alles Bescheid weiß. Dieser Bibliothekar ist Ihr Standard-Large-Language-Model (LLM). Er ist großartig im Chatten, aber manchmal erfindet er Dinge, wenn er sich bei den Fakten unsicher ist. Das nennt man „Halluzinieren“.
Stellen Sie sich nun vor, Sie schicken diesen Bibliothekar an eine spezialisierte Universität, um ausschließlich Naturwissenschaften zu studieren. Sie geben ihm tausende von Lehrbüchern, Forschungsarbeiten und Fachzeitschriften. Sie erwarten, dass er als „Wissenschaftsexperte“ zurückkehrt, der sogar noch zuverlässiger ist als zuvor.
Dieses Paper ist ein Zeugnis für dieses Experiment, und die Nachrichten sind überraschend schlecht.
Hier ist, was die Forscher herausgefunden haben, unter Verwendung einfacher Analogien:
1. Der „Spezialist“ wurde schlechter in der Wahrheit
Die Forscher erstellten einen massiven Test namens SCIFACTCHECK. Sie baten 18 verschiedene KI-Modelle (einige allgemeine, einige „wissenschaftlich trainierte“), kurze Absätze über 2.500 verschiedene wissenschaftliche Themen zu schreiben, von Ingenieurwesen bis Philosophie.
Das Ergebnis: Die „wissenschaftlichen“ Modelle machten tatsächlich mehr Fehler als die allgemeinen.
- Die Analogie: Es ist, als würde man einen allgemeinen Koch in eine Kochschule schicken, um nur etwas über Gewürze zu lernen. Man würde erwarten, dass er besser im Kochen wird, aber stattdessen vergaß er plötzlich, wie man Wasser kocht, und überwürzte jedes Gericht. Das spezialisierte Training schien die Modelle zu verwirren, was sie weniger zuverlässig auf grundlegenden Fakten machte als ihre allgemeinen Verwandten.
2. Die drei Arten des „Lügens“
Die Studie untersuchte nicht nur „falsche“ Antworten; sie untersuchte, wie sie falsch waren. Sie fanden drei spezifische Arten, wie die Modelle halluzinierten:
- Die „unverifizierbare“ Lüge (Unverifiability): Das Modell erfindet einen Fakt, der zwar echt klingt, aber in keinem Buch oder Papier zu finden ist.
- Analogie: Der Bibliothekar sagt: „Im Jahr 1995 regierte eine geheime Gesellschaft von Katzen das Internet.“ Das klingt spezifisch, aber es existiert kein Beleg dafür.
- Die „überhebliche“ Lüge (Overclaim): Das Modell nimmt eine kleine Wahrheit und bläst sie zu einer riesigen, absoluten Gewissheit auf.
- Analogie: Eine Studie besagt: „Dieses Medikament könnte einigen Patienten helfen.“ Das Modell sagt: „Dieses Medikament heilt jeden.“ Es übertreibt den Umfang und die Gewissheit.
- Die „gefälschte Zitier“-Lüge (Attribution): Das Modell erfindet eine Quelle, um seine Behauptung zu stützen.
- Analogie: Der Bibliothekar sagt: „Laut dem berühmten Artikel im ‚Journal of Space Physics‘ von Dr. Smith...“, aber dieser Artikel und dieser Doktor existierten nie.
3. Das „Selbstbewusst, aber ahnungslos“-Paradoxon
Eine der seltsamsten Erkenntnisse betraf das „Gefühl“ der Modelle bezüglich ihrer eigenen Antworten.
- Der Befund: Die wissenschaftlich trainierten Modelle verwendeten eine selbstbewusstere Sprache (Wörter wie „definitiv“, „bewiesen“, „immer“), aber waren intern weniger sicher (ihr Computer-„Bauchgefühl“ war wackelig).
- Die Analogie: Stellen Sie sich einen Schüler vor, der die Antwort auf eine Matheaufgabe nicht kennt. Anstatt zu sagen: „Ich bin mir nicht sicher“, steht er auf, hebt die Hand und ruft die Antwort mit 100-prozentiger Überzeugung heraus. Er hat den Stil eines selbstbewussten Wissenschaftlers gelernt, aber nicht die Substanz. Sie sind „laut und falsch“.
4. Das „Faktenchecker“-Problem
Schließlich versuchten die Forscher, die Modelle durch Computer bewerten zu lassen, und baten dann menschliche Experten, sie ebenfalls zu bewerten.
- Das Ergebnis: Die Computer-Bewertungssysteme und die menschlichen Experten waren sich nicht immer einig. Selbst die Menschen hatten Schwierigkeiten zu vereinbaren, was als „wissenschaftlicher Fakt“, der überprüft werden konnte, galt.
- Die Analogie: Es ist, als ließe man eine Gruppe von Preisrichtern eine Gymnastikroutine bewerten, aber sie können sich nicht einmal auf die Regeln des Sports einigen. In manchen Bereichen (wie Mathematik) sind sich alle über die Regeln einig. In anderen (wie Philosophie oder Sozialwissenschaften) ist es sehr schwer zu definieren, was „überprüfbar“ ist.
Das Fazament
Das Paper kommt zu dem Schluss, dass es nicht ausreicht, eine KI einfach nur mit wissenschaftlichen Büchern zu trainieren, um sie zu einem vertrauenswürdigen Wissenschaftsexperten zu machen. Tatsächlich kann es sogar gefährlicher sein, weil sie selbstbewusster klingt, während sie weniger präzise ist. Wir brauchen bessere Werkzeuge, um wissenschaftliche Behauptungen zu verifizieren, und wir können nicht einfach davon ausgehen, dass eine „spezialisierte“ KI automatisch besser ist als eine „allgemeine“ KI.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.