🤖 machine learning

A mathematical theory of balancing relational generalization and memorization

Dieser Beitrag stellt eine neuartige Aufgabe des „transitiven Schlussfolgerns mit Ausnahmen" vor, um zu untersuchen, wie Lernsysteme relationale Generalisierung und Memorierung ausbalancieren, und liefert eine analytische Theorie der Kernel-Ridge-Regression, die spezifische Repräsentationssensitivitäten und systematische Fehler vorhersagt, die anschließend in feinabgestimmten Sprachmodellen validiert werden.

Ursprüngliche Autoren: Luke Cheng, Samuel Lippl

Veröffentlicht 2026-05-25

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Luke Cheng, Samuel Lippl

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Regeln vs. Ausnahmen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Spiel zu spielen. Sie lehren ihm eine einfache Regel: „Wenn du eine Dame hast, bist du normalerweise stärker als wenn du einen Springer hast."

Der Roboter lernt diese Regel schnell. Nun zeigen Sie ihm eine neue Situation: „Ich habe eine Dame, du hast einen Springer." Der Roboter sagt korrekt voraus: „Du gewinnst!" Dies ist Generalisierung. Der Roboter hat das Muster gelernt und kann es auf neue Dinge anwenden, die er noch nie gesehen hat.

Aber hier liegt der Haken: Das echte Leben ist chaotisch. Manchmal gibt es eine Ausnahme zur Regel. Vielleicht gewinnt man in einer bestimmten Ecke des Schachbretts tatsächlich, indem man seine Dame opfert. Oder vielleicht bedeutet im Deutschen das Wort „Gift" „Vergiftung" und nicht „Geschenk".

Die große Frage, die dieses Paper stellt, lautet: Wie balanciert ein lernendes System (wie ein menschliches Gehirn oder eine KI) das Erlernen der allgemeinen Regel aus, während es gleichzeitig die spezifischen Ausnahmen merkt?

Wenn Sie sich zu sehr auf die Regel konzentrieren, verpassen Sie die Ausnahmen. Wenn Sie sich zu sehr auf die Ausnahmen konzentrieren, vergessen Sie die Regel und können keine neuen Situationen bewältigen.

Das neue Spiel: „Transitive Inferenz mit Ausnahmen"

Um dies zu untersuchen, erfanden die Autoren einen neuen Test namens „Transitive Inferenz mit Ausnahmen".

Stellen Sie es sich wie eine Sportliga mit 9 Mannschaften (von A bis I) vor.

Die Regel: Normalerweise gewinnt Mannschaft A gegen Mannschaft B, B gegen C, C gegen D und so weiter. Dies erzeugt eine klare Leiter.
Die Ausnahme: Aber wir führen einen Fehler ein. Nehmen wir an, Mannschaft D (die normalerweise schwach ist) schlägt plötzlich Mannschaft G (die normalerweise stark ist). Dies bricht die Leiter.

Der Test fragt die KI:

Auswendiglernen: Können Sie sich merken, dass D gegen G gewinnt (die Ausnahme)?
Generalisierung: Wenn Sie wissen, dass A > B > C und E > F > G, können Sie raten, dass A > F? (Dies folgt der Leiter).
Der schwierige Teil: Können Sie raten, dass B > F, obwohl B und F auf verschiedenen Seiten des „Fehlers" liegen?

Die Theorie: Das „Zwei-Gehirn"-Modell

Die Autoren verwendeten ein mathematisches Modell (eine vereinfachte Version davon, wie neuronale Netze lernen), um herauszufinden, was im „Gehirn" der KI passiert. Sie stellten fest, dass die KI effektiv zwei verschiedene Strategien gleichzeitig nutzt, wie ein Team aus zwei Personen:

Das „Ranglisten"-Gehirn (Der Regelbefolger): Dieser Teil versucht, jedem Element eine Zahl zuzuweisen (1 bis 9), um eine glatte Leiter zu erstellen. Es liebt Ordnung. Es möchte, dass A die 9 ist, B die 8 usw.
Das „Nachschlagen"-Gehirn (Der Ausnahme-Memorierer): Dieser Teil ist wie ein Haftnotizettel. Es interessiert sich nicht für die Leiter; es merkt sich einfach spezifische Paare. „Oh, D schlägt G? Ich schreibe das auf einen Haftnotizettel."

Die magische Balance:
Das Paper zeigt, dass die KI eine spezifische Mischung dieser beiden Gehirne benötigt, um erfolgreich zu sein.

Wenn das „Nachschlagen"-Gehirn zu schwach ist, vergisst die KI die Ausnahme (D verliert gegen G, weil die Leiter sagt, G sei stärker).
Wenn das „Ranglisten"-Gehirn zu schwach ist, wird die KI durch die Ausnahme verwirrt und bricht die gesamte Leiter, sodass sie nicht mehr raten kann, dass A gegen F gewinnt.

Die überraschende Wendung: Regularisierung ist ein zweischneidiges Schwert

Im maschinellen Lernen verwenden wir oft ein Werkzeug namens Regularisierung (denken Sie daran als „Disziplin-Trainer"), um zu verhindern, dass sich die KI die Trainingsdaten zu perfekt einprägt, in der Hoffnung, dass sie sich besser generalisiert.

Das Paper fand ein überraschendes Ergebnis: In diesem spezifischen Spiel schadet „Disziplin" der KI tatsächlich.

Ohne den Trainer: Die KI kann die Ausnahme perfekt auswendig lernen (D schlägt G) und trotzdem die Leiter größtenteils intakt halten.
Mit dem Trainer (Starke Regularisierung): Der Trainer sagt der KI: „Hör auf, spezifische Paare auswendig zu lernen!" Die KI hört zu, aber dadurch zwingt sie das „Ranglisten"-Gehirn, die Leiter zu verbiegen, um die Ausnahme zu passen. Dies führt dazu, dass die Leiter sich verformt. Plötzlich macht die KI systematische Fehler bei neuen Fragen (wie zum Beispiel zu denken, B verliert gegen F), weil die Leiter nun kaputt ist.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine gerade Linie (die Regel) zu zeichnen, aber Sie müssen in der Mitte einen kleinen Buckel (die Ausnahme) zeichnen.

Wenn Sie den Buckel frei zeichnen dürfen, bleibt der Rest der Linie gerade.
Wenn Sie gezwungen sind, die Linie „glatt" zu halten (Regularisierung), könnten Sie am Ende die gesamte Linie kippen, damit der Buckel passt, wodurch die Enden der Linie in die falsche Richtung zeigen.

Testen an echter KI (Sprachmodelle)

Die Autoren testeten ihre Theorie an echten, modernen KI-Modellen (wie denen, die Chatbots antreiben). Sie passten diese Modelle an die Beispiele mit Sportmannschaften und Pokerhänden an.

Die Ergebnisse:

Erfolg: Die KI-Modelle waren hervorragend darin, die allgemeine Leiter zu lernen (A > B > C).
Der Fehler: Genau wie die Theorie vorhersagte, gerieten einige Modelle in Verwirrung, als sie versuchten, die Ausnahme zu handhaben.
Die Vorhersage: Die Theorie sagte korrekt voraus, dass, wenn Sie die „Disziplin" (Regularisierung) zu stark machen, die KI beginnt, spezifische, vorhersehbare Fehler bei den Querschnittsfragen zu machen (wie B gegen F). Die echten KI-Modelle taten genau dies.

Das Fazit

Dieses Paper beweist, dass lernende Systeme in der Lage sind, Regeln und Ausnahmen auszubalancieren, aber es ist ein Seiltanz.

Zu viel Fokus auf Regeln: Sie verpassen die Ausnahmen.
Zu viel Fokus auf Ausnahmen: Sie brechen die Regeln.
Zu viel „Disziplin" (Regularisierung): Sie könnten versehentlich die Regeln brechen, während Sie versuchen, die Ausnahmen zu ignorieren.

Die Autoren kommen zu dem Schluss, dass wir, um bessere KI zu bauen (und um zu verstehen, wie Menschen lernen), Aufgaben entwerfen müssen, die speziell dieses Gleichgewicht testen, anstatt nur zu prüfen, ob ein Modell einer einfachen Regel folgen kann. Wir müssen der KI beibringen, wie man die Momente „Gift bedeutet Vergiftung" des echten Lebens bewältigt.

Technische Zusammenfassung: Eine mathematische Theorie des Ausgleichs zwischen relationaler Generalisierung und Memorierung

Problemstellung

Lernsysteme, einschließlich Menschen, Tiere und maschinelle Lernmodelle, müssen gleichzeitig allgemeine Regeln erlernen, um eine relationale Generalisierung zu ermöglichen, und spezifische Ausnahmen zu diesen Regeln memorieren. Obwohl eine umfangreiche Literatur zur kompositionalen Generalisierung und zur Memorierung im Isolationszustand existiert, fehlt es an Aufgabenparadigmen und theoretischen Rahmenwerken, um zu verstehen, wie Systeme diesen gegensätzlichen Anforderungen gerecht werden, wenn beide erforderlich sind. Insbesondere bleibt unklar, wie Lernsysteme geordnete Relationen handhaben, die weitgehend transitiv sind, aber intransitive Ausnahmen enthalten (z. B. $A > B > C$ , aber eine Ausnahme $C > A$ ). Bestehende Paradigmen wie der transitive Schluss (Transitive Inference, TI) testen die reine Generalisierung, während das transversale Muster (Transverse Patterning, TP) die reine Memorierung intransitiver Schleifen testet; keines davon erfasst jedoch die Komplexität realer Szenarien, in denen Regeln und Ausnahmen koexistieren.

Methodik

Die Autoren stellen ein neues Aufgabenparadigma und ein theoretisches Rahmenwerk vor, um diesen Ausgleich zu analysieren:

Aufgabenparadigma: Transitive Schlussfolgerung mit Ausnahmen (TIwE)
- Die Aufgabe umfasst eine Menge von Elementen $I_1, \dots, I_n$ mit einer zugrunde liegenden transitiven Rangfolge.
- Eine „Ausnahme" wird eingeführt: ein intransitives Paar $I_p > I_q$ , wobei $p > q$ gilt (was die globale Ordnung verletzt) und $|p-q| > 1$ .
- Dies erzeugt zwei transitive Abschnitte ( $O^{(1)}$ und $O^{(2)}$ ), die durch einen intransitiven Abschnitt ( $L$ ) getrennt sind.
- Die Evaluation konzentriert sich auf vier Metriken: Memorierung transitiver Paare, Memorierung intransitiver Paare, Generalisierung innerhalb von Abschnitten und Generalisierung über Abschnitte hinweg (z. B. das Inferieren von $I_1 > I_n$ trotz der Ausnahme in der Mitte).
Theoretisches Modell: Kernel-Ridge-Regression
- Die Autoren analysieren ein Random-Features-Modell $\phi(x) = \sigma(Wx)$ im Grenzfall unendlicher Breite, das gegen die Kernel-Ridge-Regression konvergiert.
- Sie gehen von einer austauschbaren Repräsentation aus, bei der der Kernel $K(x, x')$ nur von der Überlappung zwischen den Elementen abhängt (identische, überlappende oder disjunkte Paare), formalisiert durch die Parameter $\kappa_s, \kappa_o, \kappa_d$ .
- Das Modell wird durch zwei Schlüsselparameter charakterisiert:
  - Konjunktivitätsfaktor ( $\alpha$ ): Misst den Grad der nichtlinearen Verflechtung zwischen Elementen in der Repräsentation ( $\alpha=0$ ist vollständig kompositional/additiv; $\alpha=1$ ist vollständig konjunktiv).
  - Effektive Regularisierung ( $\tilde{c}$ ): Skaliert die Stärke der $L_2$ -Regularisierung.
Analytische Herleitung
- Die Autoren lösen das duale Problem der Ridge-Regression analytisch, um die Vorhersagen des Modells abzuleiten.
- Sie zerlegen die Lösung in ein emergentes Rangfolgesystem ( $r_j$ ) und eine konjunktive Antwort ( $t_{j,k}$ ), die nur auf Trainingsdaten aktiviert wird.
- Es wird gezeigt, dass das Rangfolgesystem eine Störung des Standard-TI-Rangfolgesystems darstellt, die durch das Vorhandensein der Ausnahme modifiziert wird.

Wichtige Beiträge und Ergebnisse

1. Theoretische Charakterisierung des Ausgleichs

Die Arbeit leitet eine geschlossene Lösung (Satz 1) her, die zeigt, dass Kernel-Modelle Generalisierung und Memorierung natürlich durch einen Trade-off zwischen dem Rangfolgesystem und dem konjunktiven Auslesen ausbalancieren:

Generalisierung: Das Modell lernt ein Rangfolgesystem $r_j$ , das innerhalb transitiver Abschnitte monoton abnimmt. Das Vorhandensein einer Ausnahme führt jedoch zu Nicht-Monotonie im Rangfolgesystem um die intransitive Schleife herum.
Memorierung: Das Modell verwendet einen konjunktiven Term $t_{j,k}$ , um Fehler auf dem Trainingsdatensatz zu korrigieren, und memorisiert spezifisch die Ausnahme.
Der Trade-off: Erfolgreiche Generalisierung (insbesondere Generalisierung über Abschnitte hinweg) und erfolgreiche Memorierung stehen in Spannung zueinander.
- Repräsentationsgeometrie ( $\alpha$ ): Kompositionellere Repräsentationen (niedriges $\alpha$ ) begünstigen die Generalisierung, haben aber Schwierigkeiten, Ausnahmen zu memorieren. Konjunktivere Repräsentationen (hohes $\alpha$ ) memorieren Ausnahmen leicht, können jedoch aufgrund der Nicht-Monotonie des Rangfolgesystems bei der Generalisierung über Abschnitte hinweg versagen.
- Regularisierung ( $\tilde{c}$ ): Stärkere Regularisierung (kleineres $\tilde{c}$ ) zwingt das Modell, sich stärker auf das Rangfolgesystem zu verlassen, um die Normen der Gewichte zu minimieren, was zu systematischen Fehlern bei der Generalisierung führt (falsches Vorhersagen von $I_{q-1} < I_{p+1}$ ) und die Memorierung der Ausnahme reduziert. Umgekehrt ermöglicht schwächere Regularisierung eine bessere Memorierung, birgt jedoch das Risiko von Overfitting.

2. Mechanistische Erklärung von Fehlermodi

Die Autoren erklären, dass die Nicht-Monotonie des emergenten Rangfolgesystems die Ursache für systematische Fehler ist.

Um die Gewichts-Norm (Regularisierung) zu minimieren, muss das Modell zwischen einem „flachen" Rangfolgesystem (gut für Generalisierung) und einem „korrigierten" Rangfolgesystem (erforderlich, um die Ausnahme anzupassen) Kompromisse eingehen.
Dieser Kompromiss führt zu einem Rangfolgesystem, das in der Nähe der Ausnahme verzerrt ist und Fehler auf Aufgaben zur Generalisierung über Abschnitte hinweg fortsetzt.
Entscheidend ist, dass die Arbeit feststellt, dass L2-Regularisierung, die typischerweise für die Generalisierung innerhalb der Verteilung vorteilhaft ist, in dieser spezifischen Aufgabe für die Generalisierung außerhalb der Verteilung kontraproduktiv sein kann und systematische Fehler induziert, die bei einem Standard-TI nicht auftreten würden.

3. Empirische Validierung in vortrainierten Sprachmodellen (PLMs)

Die theoretischen Erkenntnisse wurden durch das Fine-Tuning von PLMs (Llama3.2, Qwen3.5) auf TIwE-Aufgaben unter Verwendung von Hierarchien von Sportmannschaften und Pokerhand-Rankings validiert.

Generalisierung: Modelle generalisierten erfolgreich innerhalb von Abschnitten, zeigten jedoch inkonsistente Leistungen bei der Generalisierung über Abschnitte hinweg und machten häufig systematische Fehler, die von der Theorie vorhergesagt wurden (die Genauigkeit fiel unter das Zufallsniveau).
Memorierung: Modelle konnten die Ausnahme memorieren, aber die Leistung war empfindlich gegenüber der Regularisierung. Stärkere Regularisierung reduzierte die Genauigkeit bei den Ausnahme-Paaren.
Aufgabenparameter: Eine Erhöhung der Länge transitiver Abschnitte machte die Generalisierung über Abschnitte hinweg signifikant schwieriger, während eine Erhöhung der Länge der intransitiven Schleife einen schwächeren Effekt hatte, was den theoretischen Vorhersagen entspricht.
Fine-Tuning-Strategien: Vollständiges Fine-Tuning und lineares Abtasten (Linear Probing) schnitten im Allgemeinen besser ab als LoRA, und das Verhalten des linearen Abtastens entsprach eng den Vorhersagen des Kernel-Modells hinsichtlich der Auswirkungen der Regularisierung.

Bedeutung und Behauptungen

Die Arbeit behauptet, den ersten analytischen Rahmen zu liefern, um zu verstehen, wie Lernsysteme relationale Generalisierung mit der Memorierung von Ausnahmen ausbalancieren. Ihre Bedeutung liegt in:

Identifizierung eines neuen Fehlermodus: Sie zeigt, dass Aufgaben, die einen Ausgleich zwischen Regeln und Ausnahmen erfordern, grundsätzlich schwieriger sind als reine Regel-Lern-Aufgaben, da sie einen Trade-off zwischen Repräsentationsgeometrie und Regularisierung einführen, der zu systematischen, nicht-zufälligen Fehlern führen kann.
Neubewertung der Regularisierung: Sie hebt hervor, dass Standard-Regularisierungstechniken (wie L2) die Generalisierung außerhalb der Verteilung in kompositionalen Aufgaben mit Ausnahmen behindern können, im Gegensatz zu ihrer üblichen Rolle.
Benchmarking: Sie schlägt „Transitive Schlussfolgerung mit Ausnahmen" als notwendiges neues Paradigma vor, um die Grenzen der kompositionalen Generalisierung sowohl in biologischen als auch in künstlichen Systemen zu untersuchen.
Theoretische Fundierung: Indem gezeigt wird, dass einfache Kernel-Modelle das nuancierte Verhalten großer Sprachmodelle bei diesen Aufgaben erfassen können, wird nahegelegt, dass die Einschränkungen von PLMs beim Umgang mit Ausnahmen aus fundamentalen geometrischen Beschränkungen in ihren Lern-Dynamiken resultieren können und nicht nur aus architektonischer Komplexität.

Die Autoren schließen, dass die explizite Modellierung des Effekts von Ausnahmen entscheidend für die Entwicklung von Lernsystemen ist, die zu robustem Schlussfolgern in der realen Welt fähig sind, und dass zukünftige Arbeiten sich auf Aufgabenparadigmen konzentrieren sollten, die diese Komplexität erfassen.