🤖 machine learning

MoRe: Modular Representations for Principled Continual Representation Learning on Squantial Data

MoRe ist ein modulares Framework für kontinuierliches Lernen auf sequenziellen Daten, das Wissen in identifizierbare hierarchische Module zerlegt, um eine prinzipiengeleitete Anpassung und Wiederverwendung zu ermöglichen, während bestehende Darstellungen ohne architektonische Änderungen erhalten bleiben.

Ursprüngliche Autoren: Jiaqi Sun, Boyang Sun, Mohamad Rasmy, Xiangchen Song, Kun Zhang

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiaqi Sun, Boyang Sun, Mohamad Rasmy, Xiangchen Song, Kun Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Dilemma des „katastrophalen Vergessens"

Stellen Sie sich vor, Sie sind ein Schüler, der versucht, ein neues Fach wie fortgeschrittenes Kalkül zu lernen, ohne zu vergessen, wie man Grundrechenarten anwendet. In der Welt der KI nennt man dies kontinuierliches Lernen (Continual Learning).

Die meisten aktuellen KI-Modelle sind wie Schüler, die, wenn sie einen neuen mathematischen Trick lernen, versehentlich ihre alten Notizen löschen. Sie überschreiben ihr Gehirn, um Platz für neue Informationen zu schaffen, wodurch sie alles, was sie vorher wussten, „vergessen". Dies wird als katastrophales Vergessen bezeichnet.

Bestehende Lösungen versuchen, dies zu beheben, indem sie entweder:

Teile des Gehirns einfrieren (damit sich nichts ändert, aber die KI dann keine neuen Dinge lernen kann).
Alte Erinnerungen wiedergeben (wie das Lernen von Karteikarten alter Lektionen jedes Mal, wenn man etwas Neues lernt).
Neue Räume zum Haus hinzufügen (der KI mehr Platz geben, aber oft auf eine unordentliche, unorganisierte Weise).

Die Autoren argumentieren, dass diese Methoden wie der Versuch sind, eine Bibliothek zu organisieren, indem man einfach Bücher in neue Regale schiebt, ohne zu verstehen, worum es in den Büchern eigentlich geht. Sie sind „heuristisch" (basierend auf Regeln und Vermutungen) statt „prinzipiell" (basierend auf der tatsächlichen Natur der Information).

Die Lösung: MoRe (Modulare Repräsentationen)

Die Autoren schlagen ein neues Framework namens MoRe vor. Anstatt das Gehirn der KI als einen riesigen, unordentlichen Klumpen von Parametern zu behandeln, betrachtet MoRe es wie ein Lego-Set mit einer spezifischen Anleitung.

Die Kernidee ist, dass Wissen nicht nur ein Haufen von Fakten ist; es hat eine natürliche Hierarchie.

Fundamentale Module: Dies sind die „Basissteine". Sie repräsentieren universelle Wahrheiten (wie Schwerkraft, Logik oder die grundlegende Satzstruktur). Diese sollten sich selten ändern.
Spezifische Module: Dies sind die „spezialisierten Konstruktionen". Sie repräsentieren nischige Details (wie die Reparatur eines bestimmten Automodells oder den Slang einer bestimmten Stadt). Diese ändern sich oft.

Das Ziel von MoRe ist es, automatisch herauszufinden, welche Teile des KI-Gehirns „Basissteine" und welche „spezialisierte Konstruktionen" sind, damit es die spezifischen Teile aktualisieren kann, ohne die fundamentalen zu beschädigen.

Wie es funktioniert: Der „Zeitreise"-Hinweis

Wie weiß die KI, welcher Lego-Stein fundamental und welcher spezifisch ist? Das Paper verwendet einen cleveren Trick, der Zeit beinhaltet.

Stellen Sie sich vor, Sie schauen einen Film. Die Handlung (die spezifische Geschichte) hängt von den Gesetzen der Physik (den fundamentalen Regeln) ab. Die Gesetze der Physik ändern sich nicht basierend auf der Handlung, aber die Handlung ändert sich basierend auf den Gesetzen der Physik.

MoRe betrachtet sequenzielle Daten (Daten, die über die Zeit auftreten, wie Sätze in einem Buch oder Aktienkurse). Es verlässt sich auf eine spezifische Regel:

Fundamentales Wissen beeinflusst spezifisches Wissen mit einer leichten Zeitverzögerung.
Spezifisches Wissen beeinflusst nicht fundamentales Wissen.

Stellen Sie es sich wie einen Fluss vor. Die Quelle (fundamental) fließt flussabwärts zum Delta (spezifisch). Das Wasser am Delta fließt nicht flussaufwärts zurück, um die Quelle zu verändern. Durch die Analyse dieser einseitigen, zeitverzögerten Verbindungen kann MoRe mathematisch beweisen (ein Konzept namens Identifizierbarkeit), genau welche Teile der Daten die „Quelle" und welche das „Delta" sind.

Der Prozess: Zwei-Schritt-Anpassung

Wenn die KI auf neue Daten trifft, trainiert MoRe nicht einfach alles neu. Es folgt einem Zwei-Schritt-Prozess:

Die Phase „Schauen, bevor man springt":
Die KI versucht, die neuen Daten mit ihren bestehenden Lego-Blöcken zu verstehen. Sie fragt: „Passt mein aktuelles Verständnis der 'Basissteine' noch zu dieser neuen Situation?"
- Wenn die Antwort Ja ist, werden diese Blöcke wiederverwendet.
- Wenn die Antwort Nein ist (die neuen Daten haben ein Muster, das die KI noch nicht gesehen hat), wird ein „fehlendes Teil" markiert.
Die Phase „Selektiver Bau":
Anstatt das ganze Haus neu zu bauen, tut MoRe Folgendes:
- Ausrichten: Es passt die bestehenden Blöcke leicht an, um sie in den neuen Kontext zu integrieren (wie das Drehen eines Lego-Teils, damit es in einen neuen Winkel passt).
- Erweitern: Es baut nur neue Blöcke für die spezifischen neuen Muster, die es vorher nicht erklären konnte.
- Einfrieren: Es verriegelt die fundamentalen Blöcke an Ort und Stelle, damit sie nicht beschädigt werden.

Die Ergebnisse: Was das Paper herausfand

Die Autoren testeten dies auf zwei Arten:

Synthetische Experimente (Das „kontrollierte Labor"):
Sie erstellten gefälschte Daten mit bekannten Regeln. MoRe erkannte erfolgreich die verborgene Hierarchie (welche Teile fundamental waren, welche spezifisch) und lernte neue Aufgaben, ohne die alten zu vergessen. Es war viel besser darin, „Stabilität" (nicht vergessen) und „Plastizität" (neue Dinge lernen) auszubalancieren als andere Methoden.
Realwelt-Experimente (Die „LLM-Aktivierungen"):
Sie wandten MoRe auf die internen „Gedanken" (Aktivierungen) großer Sprachmodelle (LLMs) an, die echte Texte (wie Wikipedia oder Matheaufgaben) lasen.
- Entdeckung: MoRe organisierte das Wissen der KI natürlich in eine Hierarchie. Die „unteren" Schichten lernten allgemeine Konzepte (wie „dies ist eine Matheaufgabe"), während die „oberen" Schichten spezifische Details lernten (wie „dies handelt von Algebra").
- Effizienz: Bei Tests zur Vorhersage der Schwierigkeit von Matheaufgaben ermöglichte das organisierte Wissen von MoRe, dass es mit weit weniger Beispielen lernte als Standardmethoden.

Das Fazit

MoRe legt nahe, dass das Geheimnis des lebenslangen Lernens nicht darin besteht, einfach „mehr zu versuchen" oder „mehr zu merken". Es geht darum, die Struktur der Daten selbst zu verstehen.

Indem man erkennt, dass einige Wissen fundamental ist (wie die Regeln der Grammatik) und einige spezifisch (wie ein neues Slangwort), und indem man den Fluss der Zeit nutzt, um sie zu unterscheiden, baut MoRe eine KI, die mit der Zeit klüger werden kann, ohne ihren Verstand zu verlieren. Es verwandelt den chaotischen Lernprozess in eine strukturierte, prinzipielle Zusammenstellung von Wissensblöcken.

Technische Zusammenfassung: MoRe: Modulare Repräsentationen für prinzipielles kontinuierliches Repräsentationslernen auf sequenziellen Daten

1. Problemdefinition

Die Arbeit adressiert die Herausforderung des kontinuierlichen Lernens (Continual Learning, CL), insbesondere das Problem des katastrophalen Vergessens, wenn Modelle sequenziell an neue Daten angepasst werden. Die Autoren argumentieren, dass bestehende CL-Methoden (sowohl überwachte als auch unüberwachte) weitgehend auf heuristischen Strategien beruhen – wie Parameterbeschränkungen, Replay, Distillation oder architektonische Isolation –, um zu entscheiden, was zu bewahren und was zu aktualisieren ist. Diese Ansätze behandeln die Entscheidung „was zu aktualisieren ist" oft als Problem auf Aufgaben- oder Parameterebene und nicht als repräsentationales Problem.

Das Kernproblem, das identifiziert wurde, besteht darin, dass Aufgaben unterschiedliche, jedoch strukturierte Repräsentationen erfordern, die selektiv aktualisiert werden können, ohne bestehendes Wissen zu stören. Allerdings fehlt es aktuellen Methoden an einem prinzipiellen Kriterium, das in der intrinsischen Struktur der Daten verankert ist, um zu bestimmen, welche Teile einer Repräsentation wiederverwendet und welche ersetzt werden sollten. Die Arbeit postuliert, dass für sequenzielle Daten zeitverzögerte Abhängigkeiten ein natürliches Signal bieten, um die intrinsische Organisation der Daten aufzudecken und zu zeigen, wie fundamentale Repräsentationen spezifische hervorrufen.

2. Methodik: MoRe-Rahmenwerk

Die Autoren schlagen MoRe (Modulare Repräsentationen) vor, ein Rahmenwerk für prinzipielles kontinuierliches Repräsentationslernen. Im Gegensatz zu Methoden, die Modularität auf Architekturebene zuweisen (z. B. separate Netzwerke pro Aufgabe), identifiziert MoRe Modularität innerhalb der Repräsentation selbst.

2.1 Generatives Modell und Annahmen

MoRe geht davon aus, dass die Daten durch einen hierarchischen Prozess erzeugt werden, bei dem latente Variablen $Z_t$ in $d$ Schichten organisiert sind ( $Z^1_t, \dots, Z^d_t$ ):

Hierarchie: Höhere Schichten kodieren fundamentale, domänenagnostisches Wissen (z. B. physikalische Prinzipien), während niedrigere Schichten spezialisierte, domänenspezifische Informationen erfassen.
Unidirektionale zeitverzögerte Abhängigkeiten: Quer-Schicht-Effekte fließen unidirektional von fundamentalen zu spezifischen Schichten mit einer Zeitverzögerung (z. B. hängt $Z^i_t$ von $Z^j_{t-\tau}$ ab, wobei $j < i$ ). Instantane Quer-Schicht-Abhängigkeiten sind verboten.
Intra-Schicht-Abhängigkeiten: Abhängigkeiten innerhalb derselben Schicht sind uneingeschränkt.

2.2 Theoretische Garantien (Identifizierbarkeit)

Ein zentraler Beitrag ist der Nachweis, dass diese spezifische generative Struktur die Identifizierbarkeit des latenten Prozesses ermöglicht:

Satz 1 (Identifizierbarkeit latenter Variablen): Unter den Bedingungen einer glatten Dichte und ausreichender Variabilität stellen instantane Beziehungen sicher, dass latente Variablen nur innerhalb derselben Schicht gemischt werden können, nicht jedoch über Schichten hinweg.
Satz 2 (Identifizierbarkeit der hierarchischen Ordnung): Die unidirektionalen, zeitverzögerten Quer-Schicht-Effekte schränken die zulässigen Permutationen der Schichten ein. Die Hierarchie ist bis auf eine „kompatible Ordnung" (eine Ordnung, die echte zeitverzögerte Effekte nicht umkehrt) identifizierbar.
Korollar 1: In Kombination sind der gesamte latente Prozess bis auf Intra-Schicht-Unbestimmtheiten und eine kompatible hierarchische Ordnung identifizierbar. Dies verwandelt Module von heuristischen Konstrukten in wohldefinierte Objekte und ermöglicht prinzipielle Entscheidungen über Wiederverwendung und Erweiterung.

2.3 Anpassungsalgorithmus

MoRe verwendet ein zweiphasiges Anpassungsverfahren für neue Datensätze $D_k$ :

Anpassung und Bewertung (Nur Inferenz):
- Neue Daten werden unter Verwendung des vorherigen Encoders $f_{k-1}$ in das bestehende Koordinatensystem projiziert.
- Selbstkonsistenz-Bewertung: Jedes bestehende Modul wird ( $a_j$ ) bewertet, basierend darauf, ob seine angenommene generative Struktur (temporale Autokorrelation und bedingte Unabhängigkeit von Residuen anderer Module) in den neuen Daten erhalten bleibt.
- Residuenanalyse: Das Rekonstruktionsresiduum im Beobachtungsraum wird analysiert, um Kandidaten für neue Koordinaten ( $V_{new}$ ) zu identifizieren, die orthogonal zur bestehenden Basis stehen und fehlende Strukturen aufdecken.
Selektive Aktualisierung:
- Gating-Mechanismus: Jedes Modul (bestehend und Kandidat neu) ist mit einem Hard Concrete Gate ( $g_j$ ) assoziiert. Der Selbstkonsistenz-Score $a_j$ initialisiert den Gate-Prior (hoher $a_j$ $\rightarrow$ positives Logit; niedriger $a_j$ $\rightarrow$ negatives Logit).
- Ausrichtung: Eine lernbare Ausrichtungsmatrix $T$ (initialisiert als Identität) ermöglicht kleine Koordinatenanpassungen an wiederverwendete Module ohne vollständiges Neulernen.
- Zielfunktion: Der Verlust kombiniert Datenanpassung (Likelihood der Variablentransformation), einen Ausrichtungsregularisierer ( $\|T - I\|_F^2$ ) und Sparsity-Strafen für Gates ( $L_0$ ) und neue Übergangsblöcke ( $J_{new}$ ).
- Commitment: Am Ende des Trainings werden die Gates binarisiert. Module mit $g_j=0$ werden deaktiviert (bleiben jedoch in der Bibliothek erhalten), und neue Module mit $g_j=1$ werden hinzugefügt.

3. Hauptbeiträge

MoRe-Rahmenwerk: Eine Methode zur Zerlegung von Repräsentationen in eine Hierarchie fundamentaler und spezifischer Module, die den datenerzeugenden Prozess widerspiegelt und nicht die Aufgabengrenzen.
Identifizierbarkeitsgarantien: Theoretische Beweise, die zeigen, dass unter Quer-Schicht-zeitverzögerten Abhängigkeiten die hierarchische modulare Struktur identifizierbar ist und eine prinzipielle Grundlage für die Entscheidung bietet, welche Module wiederverwendet oder erweitert werden sollen.
Anpassungsverfahren: Ein zweiphasiger Algorithmus, der neue Daten durch bestehende Module interpretiert, diese auf Konsistenz bewertet und sie unter Verwendung lernbarer Gates selektiv ausrichtet, beibehält oder erweitert.
Empirische Validierung: Demonstrationen auf synthetischen Benchmarks und realen Aktivierungsdaten von Large Language Models (LLM), die eine interpretierbare hierarchische Struktur und verbesserte Kompromisse zwischen Plastizität und Stabilität zeigen.

4. Experimentelle Ergebnisse

4.1 Synthetische Benchmarks

Identifizierbarkeit (S-RQ1): MoRe stellte latente Faktoren über verschiedene Dimensionen (bis zu 128) und Tiefen (bis zu 4 Schichten) hinweg sowohl in linearen als auch nichtlinearen Settings erfolgreich wieder her und erreichte hohe mittlere Korrelationskoeffizienten (MCC > 0,9).
Plastizität-Stabilität (S-RQ2): In Übergangsszenarien mit neuen Faktoren oder fehlenden Faktoren erreichte MoRe ein nahezu null- oder negatives Vergessen (Verbesserung der Wiederherstellung alter Faktoren), während die Plastizität mit der von Fine-Tuning vergleichbar blieb. Ablationsstudien bestätigten, dass die Ausrichtungsmatrix $T$ entscheidend für den Schutz alter Repräsentationen ist.
Faktorzuweisung (S-RQ3): MoRe leitete Faktoren korrekt an wiederverwendete oder neue Module weiter. In „harten" selektiven Fällen, in denen alte und neue Faktoren sich teilweise überlappten, sank die Gate-Genauigkeit auf 0,5, was die inhärente Mehrdeutigkeit widerspiegelt, erforderte jedoch Sparsity-Strafen sowohl für alte als auch für neue Gates, um korrekt zu funktionieren.

4.2 Reale LLM-Aktivierungen

Hierarchische Emergenz (RW-RQ1): Angewendet auf Aktivierungen von Pythia-1.4B und Gemma-2-9B auf Datensätzen wie ArXiv, AMPS und Wikipedia deckte MoRe eine „breit-zu-spezifisch"-Struktur auf.
- Konzeptkonzentration: Auf dem AMPS-Datensatz (Mathematik-Lehrplan) zeigten niedrigere Schichten ( $L_0$ ) eine höhere Konzeptkonzentration (Spezifität für Schwierigkeitsstufen) als höhere Schichten, was mit der Lehrplanhierarchie übereinstimmt.
- Quer-Schicht-Verbindungen: Extrahierte B-Matrix-Verbindungen zeigten Übergänge von fundamentalen Konzepten (z. B. Arithmetik) zu spezifischen (z. B. lineare Algebra) in AMPS und von abstrakter Mathematik zu angewandten Domänen in ArXiv.
Label-Effizienz (RW-RQ2): Lineare Sonden, die auf eingefrorenen MoRe-Repräsentationen trainiert wurden, übertrafen PCA-Baselines in Few-Shot-Szenarien. Zum Beispiel erreichte MoRe eine äquivalente Leistung wie PCA mit 256 Dimensionen unter Verwendung von nur 64 Dimensionen aus einer einzigen Schicht und der Hälfte der gelabelten Daten.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die zentrale Herausforderung des kontinuierlichen Lernens repräsentational ist. Indem der Anpassungsprozess in der identifizierbaren Struktur der Daten verankert wird (insbesondere zeitverzögerte Quer-Schicht-Abhängigkeiten), bietet MoRe eine prinzipielle Alternative zu heuristischen aufgaben- oder parameterbasierten Isolierungen.

Prinzipielle Grundlage: Das Rahmenwerk legt nahe, dass kontinuierliche Anpassung nicht durch Aufgaben-Labels getrieben werden sollte, sondern durch die intrinsische Organisation der Daten, was die Wiederverwendung fundamentaler Bausteine bei gleichzeitiger Erweiterung spezifischer Komponenten ermöglicht.
Interpretierbarkeit: Die gelernte Hierarchie ist interpretierbar und spiegelt den Übergang von allgemeinen Prinzipien zu spezifischen Anwendungen wider, wie durch die Übereinstimmung mit menschlich definierten Hierarchien in realen Datensätzen belegt wird.
Effizienz: Die Methode zeigt, dass einmal gelernte reiche Repräsentationen eine label-effiziente nachgelagerte Anpassung ermöglichen, die nur wenige Stichproben erfordert, um Repräsentationen für neue Aufgaben zusammenzustellen.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und weisen darauf hin, dass die aktuelle Implementierung lineare Instantiierungen verwendet und dass die theoretischen Annahmen (unidirektionale Verzögerungen, Sparsity) in der Praxis möglicherweise nur annähernd erfüllt sind. Sie betrachten die Arbeit als einen grundlegenden Schritt hin zu einem vollständigen kontinuierlichen Lernsystem und überlassen die Langzeitstabilität und nichtlineare Skalierung zukünftiger Forschung.