💬 NLP

Locas: Your Models are Principled Initializers of Locally-Supported Parametric Memories

Dieses Paper stellt Locas vor, eine neue Art von lokal unterstütztem parametrischem Speicher, der das Test-Time-Training und das kontinuierliche Lernen überbrückt, indem er eine flexible Auslagerung oder permanente Integration in die Modellparameter ermöglicht, wobei eine prinzipielle Initialisierung eine schnelle Konvergenz, effektive Wissensretention und minimiertes katastrophales Vergessen bei minimalen zusätzlichen Parametern gewährleistet.

Ursprüngliche Autoren: Sidi Lu, Zhenwen Liang, Dongyang Ma, Yan Wang, Haitao Mi, Dong Yu

Veröffentlicht 2026-02-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sidi Lu, Zhenwen Liang, Dongyang Ma, Yan Wang, Haitao Mi, Dong Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen brillanten, belesenen Bibliothekar (das KI-Modell), der viel über die Welt weiß. Dieser Bibliothekar hat jedoch eine strenge Regel: Er kann nur die letzten paar Seiten eines Buches betrachten, die Sie ihm reichen, bevor er raten muss, wie es weitergeht. Wenn Sie ihm einen ganzen Roman geben, kann er sich am Ende nicht mehr an den Anfang erinnern.

Lange Zeit bestand die Lösung darin, entweder:

Dem Bibliothekar das ganze Buch direkt vor die Nase zu halten (Kontextfenster): Das ist langsam, teuer und der Bibliothekar wird überfordert, wenn das Buch zu lang ist.
Ihn zu bitten, das Buch während des Lesens auswendig zu lernen (Test-Time Training): Das ist so, als würde man den Bibliothekar bitten, sein eigenes Gehirn während des Lesens hektisch umzuschreiben. Es geht schnell, aber er vergisst oft sein ursprüngliches Wissen oder wird verwirrt.

Dieses Paper stellt ein neues Werkzeug namens Locas (Locally-Supported parametric memory) vor. Denken Sie an Locas als ein spezielles, abnehmbares „Sticky-Note“-System (Klebezettel-System), das der Bibliothekar beim Lesen verwenden kann, ohne jemals sein permanentes Gehirn umschreiben zu müssen.

So funktioniert es, unterteilt in einfache Konzepte:

1. Der „Klebezettel“ vs. das „Gehirnumschreiben“

Die meisten Methoden versuchen, dem Bibliothekar neue Fakten beizubringen, indem sie sein Gehirn dauerhaft verändern (Gewichte umschreiben). Das ist riskant; wenn Sie ihn zu viel über eine bestimmte Geschichte lehren, könnte er vergessen, wie man Englisch spricht oder Mathematik betreibt.

Locas ist anders. Anstatt das Gehirn des Bibliothekars umzuschreiben, wird ein paralleles „Klebezettel“-Modul direkt neben sein Gehirn angebracht.

Das Gehirn (Backbone): Bleibt exakt gleich. Es bewahrt all sein ursprüngliches Wissen sicher auf.
Der Klebezettel (Locas): Dies ist ein kleiner, temporärer Speicher, der wächst, während der Bibliothekar liest. Er speichert die spezifischen Details dieses Buches (Namen, Daten, Handlungsstränge), damit der Bibliothekar später darauf zurückgreifen kann.

2. Die Geheimzutat: „Intelligente Klebezettel“

Das größte Problem bei der Hinzufügung von neuem Gedächtnis ist meistens, dass es lange dauert, zu lernen, wo man die Notizen platziert. Wenn man einfach nur wahllos Klebezettel an eine Wand wirft, dauert die Organisation ewig.

Der größte Durchbruch des Papers ist die Prinzipielle Initialisierung.

Der alte Weg: Das zufällige Raten, wo man die Erinnerung platziert. Es ist, als würde man versuchen, ein bestimmtes Buch in einer Bibliothek zu finden, in der die Bücher wahllos auf dem Boden verstreut liegen. Man muss sehr lange suchen.
Der Locas-Weg: Das System schaut darauf, was der Bibliothekar gerade denkt (Aktivierungen), und sagt: „Hey, du denkst gerade über dieses Thema nach. Lass uns die neue Erinnerungsnotiz direkt neben diesen Gedanken platzieren.“
- Analogie: Stellen Sie sich vor, der Bibliothekar denkt gerade über „Äpfel“ nach. Anstatt ein neues, zufälliges Regal zu erstellen, erstellt Locas sofort einen Klebezettel auf dem „Apfel“-Regal. Da der Bibliothekar bereits dort fokussiert ist, haftet die Erinnerung sofort. Das macht das Lernen unglaublich schnell und erfordert sehr wenig zusätzlichen Platz.

3. Zwei Versionen des Werkzeugs

Die Autoren haben zwei Versionen dieses Klebezettel-Systems entwickelt:

Locas-MLP: Eine einfachere, mathematisch perfekte Version. Sie ist wie ein Standard-, starrer Aktenschrank. Sie funktioniert großartig, ist aber etwas schwer in moderne, komplexe Bibliotheken einzupassen.
Locas-GLU: Die „Pro“-Version. Sie ist darauf ausgelegt, perfekt in die modernsten, hochtechnologischen Bibliotheken (wie die neuesten KI-Modelle) zu passen. Sie nutzt dieselbe Struktur wie das Gehirn des Bibliothekars, was es einfach macht, sie an- und abzudocken.

4. Was passierte in den Experimenten?

Die Forscher testeten dies bei zwei großen Herausforderungen:

Ganze Bücher lesen (PG-19): Sie baten die KI, ganze Bücher zu lesen und Fragen dazu zu beantworten.
- Ergebnis: Locas war in der Lage, die ganze Geschichte genauso gut zu erinnern wie die „Brute-Force“-Methode (das ganze Buch auf einmal lesen) oder die „Gehirnumschreibungs“-Methode (TempLoRA), verbrauchte aber 90 % weniger Speicher und war viel schneller in der Berechnung.
Lange Konversationen (LoCoMo): Sie testeten, ob die KI Details aus einem langen Chat behalten konnte (z. B. „Wie hieß der Hund, den wir vor 50 Nachrichten erwähnt haben?“).
- Ergebnis: Locas war bei der Erinnerung an diese Fakten viel besser als die anderen Methoden. Die KI konnte sogar Fragen über die Konversation beantworten, ohne dass der Chatverlauf präsent war, was beweist, dass sie die Fakten tatsächlich in ihre Klebezettel „auswendig gelernt“ hatte.

5. Die „Kein Vergesslichkeit“-Garantie

Der spannendste Teil ist, dass Locas, da es ein separates Modul (ein Sidecar) ist und das ursprüngliche Gehirn des Bibliothekars nicht berührt, der Bibliothekar nichts von dem, was er bereits wusste, vergisst.

Als sie die KI nach dem Lesen eines ganzen Buches auf Allgemeinwissen testeten (einen Trivia-Test namens MMLU), sank der Wert der KI kaum.
Im Gegensatz dazu verursachten andere Methoden, die versuchen, das Gehirn „umzuverdrahten“, dass die KI Teile ihres Allgemeinwissens vergaß (ein Problem, das als „katastrophales Vergessen“ bezeichnet wird).

Zusammenfassung

Locas ist wie ein super-effizientes, intelligentes Notizbuch, das eine KI ausfüllen kann, während sie liest oder spricht.

Es zwingt die KI nicht, neu zu lernen, wie man spricht.
Es nutzt die aktuellen Gedanken der KI, um die neuen Informationen sofort zu organisieren.
Es ermöglicht der KI, riesige Mengen an Kontext (wie ganze Bücher) zu speichern, wobei nur ein winziger Bruchteil der normalerweise erforderlichen Rechenleistung genutzt wird.
Am wichtigsten ist, dass es die ursprüngliche Persönlichkeit und das Wissen der KI sicher hält, damit sie nicht verwirrt oder vergesslich wird.

Technisches Resümee: Locas – Lokal unterstützte parametrische Speicher

Problemstellung

Die Arbeit befasst sich mit der Herausforderung des Test-Time Training (TTT) für Large Language Models (LLMs), insbesondere der Notwendigkeit, neue Informationen aus langen Kontexten oder spezifischen Domänen während der Inferenz zu internalisieren, ohne unter katastrophalem Vergessen zu leiden oder prohibitive Rechenkosten zu verursachen.

Bestehende Ansätze lassen sich im Allgemeinen in zwei Paradigmen unterteilen:

Nicht-parametrisch (In-Context Learning): Basiert auf Attention über Prompts (z. B. RAG, Few-Shot). Dies ist zwar stabil, aber durch die Kontextlänge begrenzt, sensitiv gegenüber der Prompt-Formatierung und anfällig für Injection-Angriffe.
Parametrisch (Test-Time Training): Aktualisiert die Modellgewichte online mittels selbstüberwachter Signale. Während dies in der Lage ist, Informationen über den Prompt hinaus zu internalisieren, erfordern aktuelle Methoden (wie TempLoRA) oft eine zufällige Initialisierung von Adaptern, was zu langsamer Konvergenz, hohen Optimierungskosten (mehrere Gradientenschritte pro Token) und einem signifikanten Parameter-Overhead führt.

Die Autoren fragen: Können wir die Parameter- und Recheneffizienz des Test-Time Trainings durch eine prinzipielle Initialisierung des Speichermoduls signifikant verbessern?

Methodik: Locas

Die Autoren schlagen Locas (Locally-Supported parametric memory) vor, ein Framework, das ein paralleles, „seitliches“ Feed-Forward-Network (FFN)-Modul zur Transformer-Architektur einführt. Dieses Modul fungiert als parametrischer Speicher, der flexibel ausgelagert oder in das Modell integriert werden kann.

Kernkonzept: FFNs als Soft-Look-up-Tables

Die Arbeit interpretiert Standard-FFN-Schichten als Soft-Look-up-Table-Speicher um. In dieser Sichtweise repräsentieren die FFN-Gewichte ( $K$ - und $V$ -Matrizen) eine feste Menge von Key-Value-Paaren. Locas nutzt dies aus, indem ein neuer, paralleler FFN-Pfad hinzugefügt wird, der zur Testzeit neue Key-Value-Paare schreibt und so die Memorisationskapazität des Modells erweitert, ohne den vortrainierten Backbone zu verändern.

Zwei Varianten

Locas-MLP: Verwendet eine konventionelle zweischichtige MLP-Struktur. Sie bietet klarere theoretische Garantien mit schrittweise optimalen Closed-Form-Lösungen für die Initialisierung.
Locas-GLU: Entwickelt für moderne LLMs (z. B. LLaMA, Qwen), die GLU-FFNs (Gated Linear Unit) verwenden. Es teilt die GLU-FFN-Struktur, was eine nahtlose Anbindung an bestehende Modelle ermöglicht.

Prinzipielle Initialisierungsstrategien

Ein zentraler Beitrag ist die aktivierungsgesteuerte Initialisierung, die eine zufällige Initialisierung vermeidet, um die Konvergenz zu beschleunigen und die Anzahl der benötigten Parameter zu reduzieren.

Für Locas-MLP: Der Key-Vektor wird durch Normalisierung der aktuellen Input-Aktivierung initialisiert, und der Value-Vektor wird durch Normalisierung des Gradienten der Likelihood bezüglich der verborgenen Ausgabe initialisiert. Dies stellt sicher, dass der neue Speicherplatz sofort einen Beitrag in eine Richtung leistet, die mit dem Gradienten-Update übereinstimmt.
Für Locas-GLU: Die Methode analysiert die Aktivierungsmuster des nativen FFN des Backbones während eines Forward-Passes. Sie wählt die Top-K am stärksten aktivierten Dimensionen (Hauptkomponenten im Aktivierungsraum) aus und klont die entsprechenden Zeilen aus den Gate- und Key-Matrizen des Backbones. Die Value-Matrix wird auf Null initialisiert. Diese Strategie führt effektiv eine nicht-lineare PCA im Aktivierungsraum durch und verankert den Speicher in der relevantesten Feature-Subraum des Modells.

Kompression und Stabilität

Nicht-lineare SVD (NL-SVD): Ein theoretischer Kompressionsalgorithmus wird vorgeschlagen, um die latente Dimension von Locas-MLP zu reduzieren, obwohl Experimente zeigen, dass Standard-Backpropagation (BP) aufgrund der Rechenkosten praktischer ist.
Weight Norm Clipping & Scaling: Um katastrophales Vergessen zu verhindern, wenden die Autoren Weight Norm Clipping (Clipping von Vektoren mit einer Norm > 1.0) und einen adaptiven Output-Skalierungsfaktor ( $\tau$ ) an. Dies stellt sicher, dass der Beitrag des Speichers begrenzt und auf die Skala des Backbones kalibriert ist, was als implizite KL-Divergenz-Beschränkung wirkt.

Zentrale Beiträge

Locas-Framework: Ein lokal unterstützter parametrischer Speicher, der den Backbone-Modell zur prinzipiellen Initialisierung nutzt und dadurch die Rechen- und Parametereffizienz steigert.
Initialisierungstheorie:
- Nachweis, dass die Locas-MLP-Initialisierung unter bestimmten Annahmen schrittweise optimal ist.
- Demonstration, dass die Aktivierungs-gesteuerte Klonung von Locas-GLU den Speicher innerhalb des Hauptsubraums der ursprünglichen FFN-Parameter verankert.
Kompressionsalgorithmus: Vorschlag der Nicht-Linearen SVD (NL-SVD) zur Kompression nicht-linearer Speicherschichten (obwohl als weniger praktikabel als BP angemerkt).
Empirische Validierung: Umfassende Evaluierung auf PG-19 (ganze Buch-Sprachmodellierung) und LoCoMo (Long-Context Dialogue QA), die signifikante Effizienzgewinne gegenüber bestehenden Baselines zeigt.

Experimentelle Ergebnisse

PG-19 Ganzes Buch Sprachmodellierung

Performance: Locas-GLU erreicht eine Perplexität, die vergleichbar mit oder besser als die von TempLoRA (einer State-of-the-Art TTT-Baseline) ist, über Kontextlängen von 50K bis 200K Tokens hinweg.
Effizienz:
- Parameter: Locas-GLU verwendet nur ~15-17 % der zusätzlichen Parameter, die von TempLoRA benötigt werden (z. B. 11,0M vs. 73,4M für Qwen3-1.7B).
- Rechenaufwand: Locas-GLU erfordert nur ~38 % des Rechen-Overheads (relative Zeit) von TempLoRA.
Ablation: Die Top-K Aktivierungsgesteuerte Initialisierung schneidet konsistent besser ab als die zufällige Auswahl, die Bottom-K Auswahl und die Gaußsche Zufallsinitialisierung.

LoCoMo Long-Context Dialogue QA

Locas-GLU übertrifft sowohl Full-Attention- als auch TempLoRA-Baselines bei Single-Hop, Multi-Hop, Temporal- und Adversarial-Fragetypen.
Bemerkenswert ist, dass Locas-GLU in „No Context“-Evaluierungen (bei denen der ursprüngliche Dialog entfernt wurde) eine signifikant höhere Performance beibehält, was auf eine erfolgreiche Internalisierung von Fakten in den parametrischen Speicher hindeutet.

Katastrophales Vergessen (MMLU Evaluierung)

Nach dem Speichern eines ganzen Buches aus PG-19 zeigt Locas-GLU eine minimale Degradation der allgemeinen Fähigkeiten (der MMLU-Score sinkt nur um 0,1–0,2 %).
Im Gegensatz dazu zeigt TempLoRA eine größere Degradation (0,6 % bis 1,2 %), die mit der Speicherkapazität zunimmt. Dies validiert die Behauptung, dass die seitliche Architektur das vortrainierte Wissen des Backbones besser bewahrt als Methoden, die die Gewichte direkt modifizieren.

Bedeutung und Ansprüche

Die Autoren behaupten, dass Locas erfolgreich die Brücke zwischen Test-Time Training und effizientem kontinuierlichem Lernen schlägt, indem es das Speichermodul nicht als zufälligen Adapter, sondern als prinzipielle Erweiterung der bestehenden Repräsentationskapazität des Modells behandelt.

Effizienz: Durch die Wiederverwendung des Backbone-Verhaltens für die Initialisierung reduziert Locas drastisch die Anzahl der Gradientenschritte und der benötigten Parameter, um lange Kontexte zu memorieren.
Stabilität: Die seitliche Architektur, kombiniert mit Weight Norm Clipping und der Null-Initialisierung der Value-Matrizen, bietet eine „sichere Baseline“, die katastrophales Vergessen verhindert, ein häufiges Versagen bei TTT.
Skalierbarkeit: Der Ansatz ermöglicht es Modellen, Informationen aus vergangenen Kontexten (z. B. ganze Bücher) zu speichern, während sie gleichzeitig ein kleineres aktives Kontextfenster beibehalten, was einen gangbaren Weg für das Verständnis langer Kontexte ohne die quadratischen Kosten von Full Attention oder die Instabilität von random TTT bietet.

Die Autoren positionieren Locas als einen Schritt hin zu einer echten Erweiterung der Modellkapazität zur Testzeit, im Gegensatz zu Methoden, die lediglich bestehende Gewichte perturbieren.