Stellen Sie sich vor, Sie sind ein Chefkoch, der versucht, ein riesiges, komplexes Rezeptbuch so zu schrumpfen, dass es in ein winziges Taschennotizbuch passt. Sie wollen das Buch klein genug haben, um es überallhin mitnehmen zu können, aber Sie müssen trotzdem exakt dieselben köstlichen Mahlzeiten kochen können. In der Welt der Künstlichen Intelligenz wird dieses „Schrumpfen“ als Kompression bezeichnet. Große Sprachmodelle (die superintelligenten KI-Gehirne, die Code schreiben, Geschichten erzählen und mit uns chatten) sind riesig, daher verwenden Ingenieure Tricks wie Quantisierung (das Vereinfachen der Zahlen im Inneren), Pruning (das Herausschneiden ungenutzter Verbindungen) und Low-Rank-Faktorisierung (das Finden eines einfacheren mathematischen Skeletts), um sie kleiner und schneller zu machen.

Aber woher wissen Sie, ob das geschrumpfte Buch immer noch funktioniert? Sie können nicht jedes einzelne Gericht probieren, das es kocht. Stattdessen verwenden Sie „Qualitätswächter“. Sie prüfen, ob die KI noch grundlegende Grammatik versteht (Perplexität), ob sie Trivia-Fragen korrekt beantworten kann (wie MMLU) und ob ihre internen „Gedanken“ dem ursprünglichen riesigen Gehirn noch ähnlich sehen, wenn man sie mit zufälligen Fragen provoziert. Diese Prüfungen sind schnell und erfordern keine neuen Daten. Die große Frage ist: Reichen diese Wächter aus, um zu beweisen, dass die KI sicher genug ist, um in die reale Welt geschickt zu werden, um Aufgaben zu erledigen? Dieses Paper untersucht eine beängstigende Möglichkeit: Was, wenn die KI alle Tests besteht, aber anfängt, eigene Regeln zu erfinden, wenn sie versucht, einem Verfahren zu folgen?

---

Der große „Erfindungs“-Raubüberfall

Die Autoren dieses Papers entdeckten einen verborgenen blinden Fleck in der Art und Weise, wie wir komprimierte KI testen. Sie fanden heraus, dass ein KI-Modell jeden einzelnen Standard-Sicherheitstest bestehen, auf dem Papier perfekt aussehen und dann, wenn man es bittet, als Agent (ein digitaler Arbeiter, der einer strikten Anweisung folgt) zu agieren, anfängt, Schritte zu erfinden, die nie in der Anweisung standen.

Denken Sie an einen Schüler, der eine Mathearbeit mit Bravour besteht, aber wenn man ihn bittet, ein Rezept zum Backen eines Kuchens zu befolgen, beschließt, „eine Prise Glitzer“ hinzuzufügen, weil er denkt, dass das cool klingt. Der Schüler ist nicht durch die Mathearbeit gefallen; er ist lediglich an der spezifischen Aufgabe gescheitert, Anweisungen exakt zu befolgen.

Die Forscher testeten dies an drei verschiedenen Familien von KI-Modellen (Mistral, Qwen und Llama). Sie nahmen Modelle, die „sanft komprimiert“ worden waren, unter Verwendung einer Methode namens SVD (eine Art Low-Rank-Faktorisierung). Diese Modelle waren so gut komprimiert, dass sie den „Perplexitäts-Wächter“ bestanden (ihr Konfusionslevel war nur 1,069 bis 1,17 Mal höher als das des Originals, was innerhalb der sicheren Grenze von 1,15 liegt) und den „Fidelity-Wächter“ (ihre internen Gedanken stimmten mit dem Originals überein).

Doch als sie diese Modelle baten, als Agenten zu agieren und eine Standardarbeitsanweisung (SOP) zu befolgen – wie etwa eine Checkliste für die Reparatur eines Servers oder die Bearbeitung einer Bestellung –, begannen die Modelle zu konfabulieren. Sie fügten zusätzliche Schritte hinzu, die nicht existierten.

• Beim Mistral-7B Modell erfand die komprimierte Version durchschnittlich +1,729 zusätzliche Schritte pro Abfrage.
• Beim Qwen3-8B Modell erfand es +0,208 zusätzliche Schritte.
• Beim Llama-3.1-8B Modell blieb die „sanft komprimierte“ Version auf dem Rauschflur (es erfand nur +0,056 Schritte), was bedeutete, dass der Test für diesen spezifischen Build nicht diagnostisch war. Das interne Spektrum des Modells hatte einfach nicht genug „Low-Rank-Headroom“, um den Erfindungs-Effekt auszulösen, während es innerhalb des Sicherheitswächters blieb. Der Fehler trat erst auf, als das Llama-Modell aggressiver komprimiert wurde und damit über den Standard-Sicherheitswächter hinausging.

Das Beängstigende daran? Die Modelle, die dies taten, waren jene, die den „Fidelity“-Test bestanden hatten. Der Test sagte: „Hey, dein Gehirn sieht genau wie das Original aus!“ Aber die Realität war: „Eigentlich halluziniert dein Gehirn gerade neue Regeln.“

Der Übeltäter: Kohärenz, nicht Schaden

Warum passierte das? Die Autoren fanden heraus, dass es nicht daran lag, wie viel das Modell beschädigt wurde (die „Magnitude“ des Fehlers). Sie verglichen die „SVD“-Kompression mit Magnitude Pruning (dem Herausschneiden der kleinsten Zahlen).

Als sie die beiden Methoden so abglichen, dass sie die exakt gleiche Menge an Verwirrung (Perplexität) verursachten, waren die Ergebnisse völlig unterschiedlich:

• Das SVD-Modell (welches einen „kohärenten“ Fehler erzeugt, wie eine glatte, strukturierte Verzerrung) scheiterte am Test und erfand Schritte.
• Das Pruning-Modell (welches einen „unordentlichen“, inkohärenten Fehler erzeugt, wie zufälliges Rauschen) bestand den Test und erfand fast nichts (etwa -0,146 Schritte, was effektiv Null ist).

Die Autoren erkannten, dass das Problem nicht die Größe des Fehlers ist, sondern seine Form. Sie nennen dies den „Coherence × Rate“-Mechanismus.

• Kohärenz: Der Fehler ist strukturiert und glatt (wie ein Low-Rank SVD).
• Rate: Wie viel des Modells betroffen ist.

Wenn man einen glatten, strukturierten Fehler hat, der gerade groß genug ist, um unter dem Radar der Standardtests durchzuschlüpfen, beginnt die KI, neue Verfahrensschritte zu „halluzinieren“. Es ist, als ob die glatte Verzerrung die KI dazu verleitet, einen Shortcut zu glauben, der gar nicht existiert. Der „Schaden“ (Perplexität) sagte dies nicht voraus; die „Glätte“ des Schadens tat es.

Der „Kanarienvogel“ und der neue Detektor

Um dies zu beweisen, bauten die Forscher einen speziellen Test, den sie einen „Canary“ nennen. Er ist wie ein Kanarienvogel in einer Kohlemine. Sie gaben der KI eine gefälschte SOP mit 10 Schritten und einem bedingten 11. Schritt und baten sie dann, die Schritte aufzulisten. Wenn die KI einen Schritt auflistete, der nicht in der Anweisung stand, fiel sie durch.

Sie fanden heraus, dass dieselben KI-Gewichte, die den Standard-„Fidelity-Test“ gewannen (bewiesen, dass sie wie das Original aussah), beim „Canary-Test“ verloren (bewiesen, dass sie Schritte erfanden). Dies ist eine „Dissoziation“: Die Standardtests sind blind für diese spezifische Art von Versagen.

Aber die Autoren haben nicht nur das Problem gefunden; sie haben auch einen datenfreien Detektor gebaut, um dies vor dem Einsatz zu erfangen. Sie erkannten, dass sie zwei Dinge messen können, ohne neue Daten zu benötigen:

1. Coherent Fraction (Kohärenter Anteil): Wie viel des Fehlers ist „glatt“ und strukturiert?
2. Error Rate (Fehlerrate): Wie groß ist der Fehler insgesamt?

Sie entwickelten ein einfaches „Gate“ (eine Pass/Fail-Prüfung):

• Wenn Coherent Fraction > 0,007 UND Error Rate > 0,01, dann ist das Modell ein FAIL.
• Wenn es nicht beide Kriterien erfüllt, ist es ein PASS.

Dieses Gate identifizierte alle im Test versagenden Modelle korrekt. Zum Beispiel hatte das Mistral-Modell, das Schritte erfand, einen kohärenten Anteil von 0,0080 und eine Fehlerrate von 0,0159, was den Alarm auslöste. Das Pruning-Modell, das sicher war, hatte einen kohärenten Anteil von 0,0054, rutschte somit unter dem Radar der „Kohärenz“-Prüfung durch und bestand den Test.

Das Faz-it

Das Paper kommt zu dem Schluss, dass Perplexität, MMLU und datenfreie Fidelity-Checks nicht ausreichen, um zu zertifizieren, dass eine KI für agentisches Arbeiten sicher ist. Nur weil eine KI die „Standard-Schulprüfungen“ besteht, heißt das nicht, dass sie nicht Regeln erfindet, wenn sie im Job arbeitet.

Die Autoren schlagen vor, dass wir vor dem Einsatz einer komprimierten KI als Agent (um Aufgaben auszuführen, Verfahren zu folgen) diesen neuen „Kohärenz-Screen“ durchführen müssen. Wenn ein Modell durch „sanfte Kompression“ (Low-Rank-Methoden wie SVD) verändert wurde und dieses neue Gate triggert, wird es höchstwahrscheinlich Schritte erfinden und bei der Befolgung von Anweisungen scheitern, selbst wenn es in jedem anderen Test perfekt aussieht.

Kurz gesagt: Vertrauen Sie der KI nicht nur deshalb, weil sie die Prüfung bestanden hat. Prüfen Sie, ob sie „glatt“ kaputt ist, denn genau dann fängt sie an, Dinge zu erfinden.