Quantifying non deterministic drift in large language models
Diese Arbeit quantifiziert empirisch den basalen Verhaltensdrift in großen Sprachmodellen, indem sie aufzeigt, dass die Variabilität der Ausgaben selbst bei einer Temperatur von Null über verschiedene Modelle und Prompt-Typen hinweg bestehen bleibt, und damit einen systematischen Referenzpunkt für die Bewertung zukünftiger Minderungsstrategien etabliert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr klugen, kreativen Roboter-Assistenten. Sie stellen ihm exakt dieselbe Frage: „Wie ist das Wetter?“ und sagen ihm: „Sei so präzise und langweilig wie möglich.“ Sie würden erwarten, dass er jedes Mal exakt dieselbe Antwort gibt, oder?
Diese Arbeit von Claire Nicholson untersucht, was passiert, wenn man genau das bei modernen KI-Robotern (genannt Large Language Models oder LLMs) versucht. Die überraschende Erkenntnis ist: Selbst wenn man den Roboter anweist, vollkommen konsistent zu sein, ist er es oft nicht.
Hier ist eine einfache Aufschlüsselung dessen, was die Studie herausgefunden hat, unter Verwendung alltäglicher Analogien:
1. Der „Geist in der Maschine“ (Nicht-Determinismus)
Die Forscher behandelten zwei verschiedene KI-Modelle wie identische Zwillinge:
- Der Cloud-Roboter: Ein Modell namens
gpt-4o-mini, das auf einer großen Serverfarm lebt (wie eine Restaurantküche, die man nicht sehen kann). - Der lokale Roboter: Ein Modell namens
llama3.1-8b, das auf einem einzelnen Computer in einem Labor läuft (wie ein Koch, der in Ihrer eigenen Küche kocht).
Sie stellten diesen Robotern immer wieder dieselben Fragen und stellten die Einstellungen auf „maximale Konsistenz“ (Temperatur 0.0).
- Das Ergebnis: Der Cloud-Roboter gab etwa 1 von 4 Mal eine andere Antwort. Der lokale Roboter war konsistenter, änderte seine Antwort aber dennoch etwa 1 von 10 Mal.
Die Analogie: Stellen Sie sich vor, Sie bitten einen Bäcker, einen Schokoladenkuchen nach genau demselben Rezept und denselben Zutaten zu backen. Sie würden erwarten, dass der Kuchen jedes Mal identisch aussieht. Aber in dieser Studie hat der Bäcker (die KI) manchmal eine Prise mehr Salz hinzugefügt oder die Streusel anders angeordnet, obwohl Sie ihn angewiesen hatten, das Rezept perfekt zu befolgen.
2. Warum passiert das?
Die Arbeit legt zwei Hauptgründe für diese „Drift“ nahe:
- Das Modell selbst: Größere, komplexere Modelle scheinen „zappliger“ und weniger konsistent zu sein als kleinere Modelle.
- Die Küche (Infrastruktur): Für den Cloud-Roboter kann die Art und Weise, wie die Anfrage durch das Internet reist, wie der Computer die Daten verarbeitet oder sogar wie der Server organisiert ist, das Ergebnis verändern. Es ist, als ob der Ofen des Bäckers eine leichte Temperaturschwankung hätte oder die Rührschüssel jedes Mal eine leicht andere Größe hätte, selbst wenn das Rezept dasselbe war.
3. Der „Temperatur“-Regler
Die Forscher testeten auch, was passiert, wenn sie die „Temperatur“ (eine Einstellung, die eine KI kreativer und zufälliger macht) hochdrehten.
- Niedrige Temperatur (0.0): Der Roboter versucht, langweilig und konsistent zu sein, macht aber dennoch gelegentlich Fehler.
- Hohe Temperatur (0.7): Der Roboter dreht völlig durch. In diesem Modus war jede einzelne Antwort anders. Es war, als würde man den Bäcker bitten, einen Kuchen zu backen, aber ihm gleichzeitig sagen: „Sei kreativ.“ Plötzlich sah jeder Kuchen völlig anders aus.
4. Die „Wortanzahl“ und der „Ähnlichkeits“-Check
Wie haben sie das gemessen? Sie haben nicht nur die Antworten gelesen, sondern Mathematik verwendet, um sie zu vergleichen.
- Einzigartiger Anteil (Unique Fraction): Sie zählten, wie oft der Roboter eine völlig neue Antwort gab.
- Jaccard-Ähnlichkeit: Dies ist eine schicke Art zu fragen: „Wie viele Wörter sind gleich?“
- Als der Roboter „langweilig“ war (0.0), waren die Antworten etwa 90 % ähnlich.
- Als der Roboter „kreativ“ war (0.7), waren die Antworten weniger als 50 % ähnlich.
5. Was das für Sie bedeutet (Das „Varianz-Budget“)
Die Arbeit sagt Ihnen nicht, wie Sie dieses Problem lösen können. Stattdessen sagt sie: „Sie müssen wissen, dass dies geschieht, bevor Sie versuchen, es zu beheben.“
Denken Sie an ein „Varianz-Budget“.
- Wenn Sie ein System bauen, das Finanzzahlen generiert, könnten Sie sagen: „Ich kann nur eine Abweichung von 5 % im Output tolerieren.“
- Wenn die KI stärker driftet, wissen Sie, dass Sie eingreifen müssen.
- Aber zuerst müssen Sie wissen, wie die „normale“ Drift aussieht, ohne dass Hilfe geleistet wird. Diese Arbeit liefert diese Basiskarte.
Zusammenfassung
Diese Studie ist ein „Messbericht“. Sie hat nicht versucht, einen neuen Weg zu erfinden, um die Roboter daran zu hindern, ihre Meinung zu ändern. Stattdessen hat sie genau gemessen, wie sehr sie ihre Meinung ändern, wenn man sie sich selbst überlassen lässt.
Die wichtigste Erkenntung: Selbst wenn Sie glauben, einen Roboter darauf festgesetzt zu haben, zu 100 % vorhersehbar zu sein, wackelt er eigentlich ein wenig herum. Wenn Sie sich auf eine einzige Antwort einer KI verlassen, übersehen Sie möglicherweise, dass sie beim nächsten Mal etwas leicht anderes hätte sagen können. Um das vollständige Bild zu erhalten, müssen Sie die gleiche Frage vielleicht mehrmals stellen und den Durchschnitt betrachten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.