Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale
Diese Arbeit zeigt auf, dass große Sprachmodelle zwar über ein internes, auf Aktivierungen basierendes Signal verfügen, das zwischen bekannten und erfundenen Entitäten über verschiedene Skalen hinweg präzise unterscheidet, dieses „Bewusstsein“ sich jedoch nicht in verhaltensbezogener Zuverlässigkeit niederschlägt, da Modelle häufig Halluzinationen über bekannte Entitäten produzieren und fast nie eine Antwort verweigern, was eine grundlegende Diskrepanz zwischen der Vertrautheit mit einer Entität und der faktischen Korrektheit offenbart.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Frage
Stellen Sie sich vor, Sie stellen einem sehr intelligenten, belesenen Roboter (einer KI) eine Frage. Sie wollen wissen: „Fühlt“ sich der Roboter innerlich anders an, wenn er über etwas spricht, das er tatsächlich weiß, im Vergleich zu dem, wenn er sich etwas ausdenkt?
Die Forscher wollten herausfinden, ob sie in das Gehirn des Roboters (seine internen Computersignale) hineinsehen können, bevor er seinen Satz überhaupt beendet hat, um zu erkennen, ob er selbstbewusst ist oder ob er gleich eine Halluzination (eine Lüge) produzieren wird.
Das Experiment: Der „Polnische Roboter“
Das Team testete eine Familie von polnischen KI-Modellen namens Bielik. Sie ließen die Roboter Fragen zu vier Arten von Dingen beantworten:
- Athleten (Berühmte wie Lewandowski, weniger bekannte und gefälschte).
- Städte (Warschau, kleine Dörfer, Fantasienamen).
- Schriftsteller und Musiker.
Sie erstellten für jede Kategorie drei Arten von Fragen:
- Bekannt: Berühmte Dinge, die der Roboter definitiv kennt.
- Unbekannt (Obscure): Reale Dinge, von denen der Roboter wahrscheinlich noch nie gehört hat.
- Gefälscht: Erfundene Namen, die echt klingen (wie „Roman Lewandowicz“).
Die Entdeckung: Das „Gehirnglühen“
Die Forscher untersuchten die interne elektrische Aktivität des Roboters (genannt Aktivierungen) direkt nachdem er die Frage gelesen hatte, aber bevor er anfing, die Antwort zu tippen. Sie nutzten zwei einfache mathematische Werkzeuge, um zu messen, wie „verstreut“ oder „fokussiert“ die Gehirnaktivität war.
Die Analogie: Die Bibliothek vs. die verwirrte Menge
- Wenn der Roboter die Antwort weiß: Stellen Sie sich einen Bibliothekar vor, der direkt zu einem ganz bestimmten Regal geht, ein spezifisches Buch herausnimmt und es zum Tresen bringt. Die Aktivität ist fokussiert und konzentriert.
- Wenn der Roboter es nicht weiß (oder etwas erfindet): Stellen Sie sich eine verwirrte Menge vor, die in der Bibliothek herumrennt, wahllos Regale berührt und in alle Richtungen schreit. Die Aktivität ist verstreut und chaotisch.
Das Ergebnis:
Die mathematischen Werkzeuge konnten den Unterschied zwischen dem „fokussierten Bibliothekar“ und der „verwirrten Menge“ mit einer Genauigkeit von 95 % bis 100 % feststellen.
- Dies funktionierte bei Robotern aller Größen (von kleinen 1,5-Milliarden-Parameter-Modellen bis hin zu großen 11-Milliarden-Modellen).
- Es funktionierte für alle Arten von Themen (Athleten, Städte usw.).
- Es funktionierte sofort, mit nur einem Blick auf das Gehirn, ohne zusätzliche Tests.
Der Haken:
Der Roboter weiß in seinem Gehirn, dass er die Antwort nicht weiß, aber er sagt es nicht. Er redet einfach trotzdem weiter.
Die zwei unterschiedlichen „Wachstumskurven“
Dies ist der überraschendste Teil der Arbeit. Die Forsker fanden heraus, dass zwei Dinge mit unterschiedlicher Geschwindigkeit passieren, während die Roboter größer werden:
Das Wissen „Ich weiß es nicht“ (Das Gehirnsignal):
- Selbst der kleinste Roboter (1,5B) besaß ein perfektes „Ich weiß es nicht“-Signal in seinem Gehirn. Er wusste sofort, wenn er nach einer erfundenen Person gefragt wurde.
- Den Roboter größer zu machen, änderte daran kaum etwas; er war bereits auf dem Höchstniveau.
Tatsächlich die richtige Antwort geben (Das Verhalten):
- Der kleinste Roboter war schrecklich darin, korrekte Fakten zu liefern. Er rät und liegt dabei falsch.
- Wenn die Roboter größer wurden, wurden sie viel besser darin, korrekte Fakten zu liefern. Der größte Roboter (11B) war viel genauer.
Die Analogie:
Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt.
- Kleiner Schüler: Weiß, dass er nur rät (sein Gehirn ist nervös), aber er schreibt trotzdem eine falsche Antwort auf.
- Großer Schüler: Weiß, dass er nur rät (sein Gehirn ist nervös), und er hat genug gelernt, um tatsächlich die richtige Antwort aufzuschreiben.
- Die Lücke: Das Gehirn des kleinen Schülers wusste, dass er nur rät, aber sein Mund sprach trotzdem Unsinn. Das Gehirn des großen Schülers wusste es auch, aber sein Mund lieferte schließlich die richtigen Fakten.
Das „Verweigerungs-Problem“
Die Forscher prüften, ob die Roboter jemals sagen würden: „Ich weiß es nicht“ und die Antwort verweigern würden.
- Von 2.520 Antworten verweigerten die Roboter nur zweimal die Antwort.
- Obwohl ihre Gehirne mit 99 %iger Sicherheit „Das ist gefälscht!“ schrien, redeten ihre Münder trotzdem weiter und erfanden Geschichten.
- Nur der größte Roboter verweigerte jemals, und selbst dann war es sehr selten.
Was das bedeutet (in einfachen Worten)
- Wir können Lügen erkennen: Wir können einen einfachen „Lügendetektor“ für KI bauen, der die Gehirnaktivität prüft, bevor sie spricht. Wenn die Gehirnaktivität „verstreut“ aussieht, wird die KI wahrscheinlich etwas erfinden.
- Es geht nicht um die Größe: Die Fähigkeit, zu wissen, dass man nur rät, ist bereits in kleinen Modellen vorhanden. Die Fähigkeit, die Fakten tatsächlich zu wissen, erfordert viel mehr Größe und Training.
- Die KI ist eigensinnig: Die KI weiß, dass sie nur rät, aber sie hört nicht auf. Es ist, als wäre man ein Mensch, der weiß, dass er beim Poker blufft, aber trotzdem weiterspielt, weil man darauf programmiert ist, immer eine Antwort zu geben.
Zusammenfassung
Die Arbeit beweist, dass KI-Modelle ein klares internes Signal haben, das sagt: „Das habe ich noch nie gesehen.“ Dieses Signal ist perfekt und funktioniert sofort. Die Modelle sind jedoch sehr schlecht darin, auf dieses Signal zu hören und aufzuhören, Dinge zu erfinden. Sie wissen, dass sie es nicht wissen, aber sie reden trotzdem weiter.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.