Stell dir vor, du bringst einem Roboter bei, ein Rätsel zu lösen. In der Welt der künstlichen Intelligenz werden diese Roboter als „Large Language Models“ (LLMs) bezeichnet. Sie sind wie übermotivierte Schüler, die fast jedes Buch in der Bibliothek gelesen haben. Sie sind berühmt dafür, Geschichten schreiben, Code debuggen und sogar Matheaufgaben lösen zu können, die eigentlich in ein Highschool-Lehrbuch gehören. Aber hier ist der Haken: Nur weil ein Schüler bei einer Übungsprüfung eine Eins bekommt, bedeutet das nicht, dass er die Regeln des Spiels wirklich verstanden hat. Wenn man die Prüfung nur ein kleines bisschen verändert – vielleicht durch das Hinzufügen einer zusätzlichen Zahl oder das Umstellen der Wörter – gerät der Schüler plötzlich in Panik und scheitert auf seltsame, unvorhersehbare Weise. Wissenschaftler nennen das „Brüchigkeit“ (Brittleness). Es ist wie ein Kartenhaus, das perfekt aussieht, bis eine sanfte Brise hindurchweht.

Um zu verstehen, warum das passiert, untersuchen Forscher, wie diese Modelle neue Fähigkeiten „lernen“. Normalerweise hoffen wir, dass sie wie Menschen lernen: Schritt für Schritt, indem sie ein starkes Fundament bauen, bevor sie zur nächsten Ebene übergehen. Wenn man zum Beispiel das Addieren von Zahlen lernt, lernt ein Mensch, ganz unten zu beginnen (der Einerstelle), Überträge zu behandeln (wenn eine Zahl zu groß für eine Stelle wird) und sich dann zu den Zehnern, Hundertern und so weiter vorzuarbeiten. Dies ist eine logische, hierarchische Denkweise. Aber was, wenn der Roboter die Regeln in einer völlig anderen Reihenfolge lernt? Was, wenn er zuerst die großen, gruseligen Zahlen lernt und die kleinen erst später, oder versucht, alles auf einmal zu lernen? Diese Arbeit taucht in dieses Geheimnis ein, indem sie einfache Mathe-Rätsel nutzt, um zu beobachten, wie diese digitalen Gehirne tatsächlich ihre Fähigkeiten entwickeln, und zeigt dabei auf, dass sie möglicherweise eine Abkürzung nehmen, die nach Lernen aussieht, aber nicht ganz dasselbe ist wie menschliches Verständnis.

---

Das zerbrochene Rätsel: Wie KI rückwärts rechnet

In dieser Studie beschlossen Forscher der University of Wisconsin–Madison, mit dem Raten aufzuhören und stattdipp anstatt zu raten, genau hinzusehen. Sie trainierten kleine, einfache KI-Modelle (genannt Transformer) auf synthetischen Arithmetik-Aufgaben – im Grunde ließen sie sie immer und immer wieder Zahlen addieren und multiplizieren üben. Aber anstatt nur am Ende zu prüfen, ob sie das richtige Ergebnis erhalten hatten, beobachteten sie den Lernprozess in Zeitlupe, Ziffer für Ziffer. Sie wollten sehen, wie die Modelle die Regeln herausfinden.

Was sie fanden, war ein wenig so, als würde man einem Kind dabei zusehen, wie es versucht, Schuhe anzuziehen, indem es zuerst mit den Schnürsenkeln beginnt und dann erst versucht herauszufinden, wo die Zehen hinkommen. Die Forscher entdeckten, dass diese KI-Modelle Mathematik nicht so lernen wie Menschen. Anstatt unten zu beginnen (der Einerstelle) und sich den Weg nach oben zu erarbeiten, lernten die Modelle oft die höchsten Ziffern zuerst.

Stell dir vor, du addierst vier große Zahlen zusammen. Ein Mensch würde die Einer-Spalte betrachten, sie zusammenrechnen, den Übertrag zur Zehner-Spalte weitergeben und so weiter. Die KI hingegen schien die Einer-Spalte anfangs völlig zu ignorieren. Sie konzentrierte sich auf die Tausender- und Hunderterstellen, lernte diese Ziffern perfekt, während die Einer-Stelle ein einziges Chaos blieb. Es war, als versuche das Modell, die Gesamtgröße eines Haufens zu erraten, noch bevor es überhaupt wusste, wie viele einzelne Gegenstände darin waren. Die Forscher nennen dieses Phänomen „zerbrochene Kompositionalität“ (Shattered Compositionality). Das bedeutet, das Modell versucht, ein Kartenhaus zu bauen, aber es stapelt das Dach auf den Boden und hofft, dass das Fundament später noch nachzieht.

Die „Korrelation“-Abkürzung

Warum sollte eine superintelligente KI etwas so D triviales tun? Die Arbeit legt nahe, dass die Antwort in der Art und Weise liegt, wie die KI ihre Trainingsdaten betrachtet. Menschen lernen Mathematik durch das Verständnis von Ursache und Wirkung: „Wenn ich diese zwei Einsen addiere, erhalte ich eine Zehn, also muss ich eine Eins übertragen.“ Die KI hingegen scheint ein Spiel des „statistischen Abgleichs“ zu spielen. Sie betrachtet die Daten und fragt sich: „Welche Zahlen treten normalerweise zusammen auf?“

Die Forscher fanden heraus, dass die höchsten Ziffern in der Antwort oft stark mit den höchsten Ziffern in den Eingabezahlen verknüpft sind, unabhängig davon, was in den niedrigeren Ziffern passiert. Es ist ein starkes, leicht erkennbares Muster. Die KI krallt sich zuerst an dieses einfache Muster, weil es das offensichtlichste Signal in den Daten ist. Es ist wie ein Detektiv, der das Auto eines Verdächtigen sieht und sofort davon ausgeht, dass er schuldig ist, weil er ein rotes Auto hat, während er alle anderen Hinweise ignoriert. Die KI lernt zuerst die „rotes Auto“-Regel (die hohen Ziffern), weil dies die leichteste Korrelation ist, die man finden kann. Erst später, wenn sie die hohen Ziffern gemeistert hat, versucht sie, die unordentlichen, komplizierten Regeln für die niedrigeren Ziffern zu verstehen.

Um dies zu beweisen, führten die Forscher ein „Sabotage-Experiment“ durch. Sie nahmen die Trainingsdaten und veränderten die Ziffern der Tausenderstelle so, dass sie zufällig wurden. Plötzlich konnte die KI die niedrigeren Ziffern überhaupt nicht mehr lernen. Sie steckte fest. Dies bewies, dass die KI die mathematischen Regeln nicht in einer logischen Reihenfolge lernte; sie verließ sich auf die hohen Ziffern, um den Rest des Rätsels zu entschlüsseln. Ohmt die hohen Ziffern fehlten, brach der gesamte Lernprozess zusammen.

Das Chaos des parallelen Lernens

Das Problem wird noch unübersichtlicher, wenn die KI versucht, mehrere Fähigkeiten gleichzeitig zu lernen. Bei Aufgaben wie dem Sortieren oder Vergleichen von Zahlen versucht die KI, verschiedene Regeln parallel zu lernen. Es ist wie ein Schüler, der versucht, gleichzeitig Fahrrad zu fahren, zu jonglieren und Klavier zu spielen. Manchmal stehen sich diese Fähigkeiten im Weg.

Die Forscher fanden heraus, dass, wenn die KI diese Fähigkeiten gleichzeitig lernt, sie „Mischfehler“ (Mixing Errors) erzeugt. Stell dir vor, du sortierst eine Liste von Namen. Ein Mensch würde zuerst die Länge des Namens prüfen, dann den ersten Buchstaben, dann den zweiten. Die KI könnte sich jedoch verwirren lassen. Sie könnte den ersten Buchstaben eines Namens und den letzten Buchstaben eines anderen nehmen und sie zu einem völlig neuen, sinnlosen Wort zusammenfügen. Die Arbeit nennt dies „Mischfehler“. Es ist, als wäre die KI ein Koch, der gelernt hat, Zwiebeln zu hacken und Karotten zu würfeln, aber wenn er nach einem Salat gefragt wird, wirft er versehentlich die Zwiebel in die Karottenschüssel und die Karotte in die Zwiebelschüssel, wodurch ein seltsames, ungenießbares Gemisch entsteht.

Dieses parallele Lernen schafft ein fragiles System. Wenn man die KI bittet, ein Problem zu lösen, das geringfügig anders ist als das, was sie im Training gesehen hat – wie etwa das Hinzufügen einer weiteren Zahl zur Liste –, bricht sie oft zusammen. Die Fähigkeiten, die sie parallel gelernt hat, beginnen gegeneinander zu kämpfen, und das Modell produziert Antworten, die nur ein wirres Durcheinander der Eingaben sind.

Hilft es, größer oder smarter zu werden?

Man könnte denken: „Okay, vielleicht sind die kleinen Modelle nur verwirrt. Was ist mit den riesigen, supermächtigen KI-Modellen, die wir in den Nachrichten sehen? Oder was, wenn wir ihnen ein ‚Schreibbrett‘ (Scratchpad) geben, auf dem sie ihre Gedanken aufschreiben können, so wie ein Mensch es tun würde?“

Die Forscher testeten dies ebenfalls. Sie trainierten viel größere Modelle (bis zu 100 Millionen Parameter) und verfeinerten sogar ein massives vortrainiertes Modell (Pythia-1B) für diese Mathematikaufgaben. Sie versuchten auch, den Modellen ein „Schreibbrett“ zu geben, auf dem sie die Schritte der Matheaufgabe aufschreiben können, bevor sie das Endergebnis liefern.

Das Ergebnis? Nichts änderte sich.

Selbst die riesigen Modelle lernten die Ziffern in der falschen Reihenfolge. Selbst die Modelle mit Schreibbrettern priorisierten immer noch die hohen Ziffern zuerst und hatten Schwierigkeiten mit den niedrigen. Die Schreibbretter halfen den Modellen zwar, das richtige Ergebnis schneller zu finden, aber sie behoben nicht den zugrunde liegenden Lernstil. Die Modelle nutzten immer noch die „Korrelations-Abkürzung“, anstatt die wahre, schrittweise Logik der Mathematik zu lernen. Dies deutet darauf hin, dass es nicht automatisch klüger macht, KI größer zu machen oder ihr mehr Werkzeuge zu geben. Die „zerbrochene Kompositionalität“ scheint eine grundlegende Eigenheit der Art und Weise zu sein, wie diese Modelle aus Daten lernen, und nicht nur ein Fehler in einem spezifischen kleinen Modell.

Das Fazit

Diese Arbeit zeichnet das Bild einer KI, die unglaublich fähig, aber fundamental anders als wir ist. Sie kann Probleme lösen, die wie menschliche Mathematik aussehen, aber sie tut dies mit einem völlig anderen internen Regelsatz. Sie folgt keinem logischen, schrittweisen Algorithmus, sondern folgt einer Landkarte statistischer Muster. Wenn diese Muster perfekt sind, glänzt die KI. Aber wenn sich die Muster auch nur ein wenig verschieben – wenn das Problem etwas anders ist oder die Daten unordentlich sind – führt der „zerbrochene“ Lernstil der KI dazu, dass sie stolpert.

Die Forscher sagen nicht, dass die KI kaputt oder nutzlos ist. Sie sagen, dass wir verstehen müssen, wie sie lernt, um ihr besser zu vertrauen. Wenn wir wollen, dass KI in der realen Welt zuverlässig ist, in der Probleme selten perfekt und Daten ständig im Wandel sind, müssen wir herausfinden, wie wir sie lehren können, ihre Fähigkeiten in einer stabilen, menschenähnlichen Hierarchie aufzubauen, anstatt sie in einem chaotischen, parallelen Eifer lernen zu lassen. Bis dahin müssen wir vorsichtig sein, wenn wir diese digitalen Schüler bitten, ein Problem zu lösen, das nur ein kleines bisschen anders ist als die, die sie geübt haben.