🤖 AI

AI Engram: In Search of Memory Traces in Artificial Intelligence

Dieses Paper führt ein geometrisches Framework namens „AI Engrams“ ein, das biologische Gedächtniskriterien formalisiert, um spezifische Gedächtnisspuren innerhalb tiefer neuronaler Netze durch lineare Arithmetik zu identifizieren, zu isolieren und chirurgisch zu manipulieren, wodurch die Lücke zwischen biologischen Gedächtnistheorien und künstlichem Repräsentationslernen geschlossen wird.

Ursprüngliche Autoren: Jea Kwon, Dong-Kyum Kim, Jiwon Kim, Yonghyun Kim, Woong Kook, Meeyoung Cha

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jea Kwon, Dong-Kyum Kim, Jiwon Kim, Yonghyun Kim, Woong Kook, Meeyoung Cha

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige, komplexe Bibliothek vor, in der jedes Buch in einer Sprache aus Zahlen geschrieben ist. Diese Bibliothek ist eine Künstliche Intelligenz (KI). In dieser Bibliothek wird Wissen nicht in separaten, beschrifteten Boxen wie „Katzenfakten“ oder „Mathematische Formeln“ gespeichert. Stattdessen ist die Information wie ein riesiger, wirbelnder Smoothie vermischt. Jede einzelne Zutat (eine Zahl im Code der KI) trägt zum Geschmack des gesamten Getränks bei. Wenn man nur das „Erdbeeraroma“ (eine spezifische Erinnerung) entfernen möchte, kann man es nicht einfach herausschöpfen; normalerweise müsste man den gesamten Smoothie wegwerfen und von vorne beginnen oder versuchen zu erraten, welchen winzigen Tropfen Flüssigkeit man entfernen muss.

Dieses Paper stellt einen neuen Weg vor, um spezifische „Geschmacksrichtungen“ aus dem Smoothie der KI zu finden und zu entfernen, ohne den Rest zu ruinieren. Die Autoren nennen diese spezifischen Gedächtnisspuren „KI-Engramme“.

So haben sie es gemacht, unter Verwendung einfacher Analogien:

1. Das Problem: Der verschlungene Smoothie

In der Biologie suchen Wissenschaftler schon lange nach dem „Engramm“ – dem physischen Ort im Gehirn, an dem eine bestimmte Erinnerung lebt. Sie wissen, dass Erinnerungen existieren, aber den exakten Ort zu finden, ist schwierig, weil die Gehirnzellen alle miteinander vernetzt sind.
In der KI ist es noch schwieriger. Das „Gehirn“ der KI ist ein massives Gitter aus Zahlen. Wenn die KI lernt, dass ein Bild eine „Katze“ ist, schaltet sie nicht einfach nur einen Schalter um. Sie verändert gleichzeitig Millionen von Zahlen, und dieselben Zahlen helfen der KI auch dabei, einen „Hund“ oder ein „Auto“ zu erkennen. Die Erinnerungen sind verschränkt (ineinander verschlungen).

2. Die Lösung: Ein „chirurgischer Filter“

Die Autoren haben ein mathematisches Werkzeug entwickelt, das wie ein chirurgischer Filter wirkt. Anstatt zu raten oder die KI langsam zu manipulieren (was viel Zeit kostet und oft Dinge zerstört), verwenden sie eine mathematische Formel in einem einzigen Schritt, um das exakte „Erdbeeraroma“ zu isolieren.

Sie basierten dies auf vier Regeln der Neurowissenschaft:

Spezifität: Die Erinnerung muss nur etwas über die „Katze“ aussagen, nicht über den „Hund“.
Reaktivierung: Wenn man diese Erinnerung findet, sollte man die KI in die Lage versetzen, sich wieder an die Katze zu „erinnern“.
Genügsamkeit (Suffizienz): Wenn man diese Erinnerung in eine leere KI einfügt, sollte sie sofort wissen, was eine Katze ist.
Notwendigkeit (Notwendigkeit): Wenn man diese Erinnerung entfernt, sollte die KI die Katze vergessen, aber alles andere noch wissen.

3. Wie es funktioniert: Die „Schatten“-Analogie

Stellen Sie sich ein Schattenspiel vor. Das Licht (das aktuelle Wissen der KI) ist komplex. Die Autoren erkannten, dass man, wenn man Licht durch einen spezifischen „Filter“ (eine mathematische Formel basierend auf den Daten, die die KI gelernt hat) scheinen lässt, den Schatten von nur einem einzigen Puppenspiel isolieren kann.

Der alte Weg: Um eine Puppe zu entfernen, würde man versuchen, das gesamte Bühnenlicht zu dimmen, in der Hoffnung, dass der Schatten der Puppe verblasst, während die anderen Schatten bleiben. Das ist unordentlich und langsam.
Der neue Weg (Engramm): Man berechnet die exakte Form des „Katzen“-Schattens mit einem einfachen mathematischen Trick. Dann zieht man genau diese Form vom gesamten Licht ab. Der „Katzen“-Schatten verschwindet, aber die „Hund“- und „Auto“-Schatten bleiben perfekt klar.

4. Die Magie der „linearen Arithmetik“

Der überraschendste Teil ihrer Entdeckung ist, dass diese Erinnerungen sich wie Vektoren (Pfeile) in der Mathematik verhalten.

Man kann Erinnerungen addieren: Wenn man eine „Brille“-Erinnerung und eine „Bart“-Erinnerung hat, kann man sie zusammenaddieren, um eine KI zu erschaffen, die „Personen mit Bart und Brille“ erkennt.
Man kann Erinnerungen subtrahieren: Man kann den „Brille“-Teil wegnehmen, ohne den „Bart“-Teil zu berühren.
Man kann dies sofort mit einfacher Addition und Subtraktion tun, ohne die KI neu trainieren oder komplexe Computersimulationen durchführen zu müssen.

5. Testen der Theorie

Die Autoren testeten dies an verschiedenen Arten von KI:

Einfache KI: Sie entfernten das Konzept „Katzen“ aus einer KI, die auf Bildern von Tieren trainiert wurde. Die KI vergaß Katzen, wusste aber immer noch, was Hunde und Autos waren.
Komplexe KI (LLMs): Sie probierten dies an einem großen Sprachmodell (wie einem Chatbot) aus, um zu sehen, ob es spezifische Fakten, die es auswendig gelernt hatte, „vergessen“ konnte. Sie fanden heraus, dass die „Erinnerung“ an diese Fakten in spezifischen Teilen des KI-Codes konzentriert war (speziell in den Teilen, die für Aufmerksamkeit/Attention und Logik zuständig sind). Durch das gezielte Ansteuern genau dieser Teile konnten sie die Fakten vergessen lassen, während die Fähigkeit der KI zu sprechen und zu argumentieren intakt blieb.

6. Warum es schnell ist

Die meisten Methoden, um eine KI dazu zu bringen, etwas zu „vergessen“, erfordern, dass man die KI durch tausende Trainingsrunden schickt (wie das Lernen für eine Prüfung), um die Information zu verlernen. Das braucht viel Zeit und Rechenleistung.
Die „Engramm“-Methode ist wie ein Spickzettel. Da sie die exakte mathematische Formel gefunden haben, können sie die Erinnerung in einem einzigen Schritt entfernen. Es dauert etwa 2 Minuten auf einem leistungsstarken Computer, während andere Methoden Stunden oder Tage dauern könnten.

Zusammenfassung

Dieses Paper besagt nicht, dass wir nun menschliche Erinnerungen editieren können oder dass eine KI plötzlich bewusst wird. Es besagt lediglich: Wir haben einen Weg gefunden, spezifische Erinnerungen innerhalb eines KI-Codes zu lokalisieren und sie mithilfe einfacher Mathematik zu entfernen, ohne den Rest der KI zu beschädigen.

Es schließt die Lücke zwischen der Art und Weise, wie wir biologische Erinnerungen verstehen (als spezifische, identifizierbare Einheiten), und der Art und Weise, wie KI Informationen tatsächlich speichert, indem es beweist, dass man selbst in einem unordentlichen, verschlungenen digitalen Gehirn einen einzelnen Faden chirurgisch entfernen kann, ohne den ganzen Pullover aufzutrennen.

Technisches Resümee: KI-Engramme: Auf der Suche nach Gedächtnisspuren in der Künstlichen Intelligenz

1. Problemstellung

Tiefe neuronale Netze speichern Wissen auf eine tief verschränkte Weise, wobei einzelne Parameter gleichzeitig an mehreren Verhaltensweisen partizipieren. Diese verteilte und verschränkte Natur gelernter Repräsentationen erschwert die Durchführung „chirurgischer“ Wissensmanipulationen, wie etwa das Entfernen spezifischer Konzepte (Machine Unlearning) oder das Isolieren spezifischer Erinnerungen, ohne das gesamte Modell neu trainieren zu müssen. Während die Neurowissenschaft postuliert, dass Erinnerungen in identifizierbaren physischen Substraten, den sogenannten „Engrammen“, gespeichert sind, bleibt es eine offene Frage, ob analoge, identifizierbare Gedächtnisspuren innerhalb künstlicher neuronaler Netze existieren. Aktuelle Methoden für das Wissens-Editing oder Unlearning stützen sich oft auf iterative, gradientenbasierte Optimierung oder heuristische Attribution, was rechenintensiv sein kann, keine theoretischen Garantien für Spezifität bietet oder bei der Skalierung auf große Modelle versagt.

2. Methodik

Die Arbeit führt ein geometrisches Framework zur Identifizierung von „KI-Engrammen“ – kausalen Gedächtnisspuren in der Künstlichen Intelligenz – ein, indem sie neurowissenschaftliche Kriterien in ein beschränktes inverses Problem formalisiert.

2.1. Neurowissenschaftliche Kriterien als Constraints

Die Autoren definieren die Identifizierung eines Engramms $\mu^+_c$ für ein Zielkonzept $c$ basierend auf vier kanonischen Kriterien (Josselyn & Tonegawa, 2020; Tomé et al., 2024):

Spezifität: Das Engramm muss die Zielerfahrung ( $X^+$ ) selektiv kodieren, während es gegenüber Referererfahrungen ( $X^-$ ) inert bleibt.
Reaktivierung: Das Engramm muss konsistent die mit dem Ziel assoziierten internen Repräsentationen ( $Z^+$ ) reproduzieren.
Suffizienz: Die Injektion des Engramms in einen naiven (Null-)Zustand muss das gelernte Verhalten induzieren.
Notwendigkeit: Die Ablation des Engramms aus einem gelernten Zustand muss das Zielverhalten eliminieren, während unbeteiligtes Wissen erhalten bleibt.

2.2. Algebraische Formulierung

Die Autoren formulieren die Suche nach dem synaptischen Engramm $W^+$ als Optimierungsproblem. Sie kontrastieren beobachtete Zustände (natürliches Lernen) mit intervenierten Zuständen (algebraische Manipulation), um lineare Constraints abzuleiten.

Zielsetzung: Minimierung der Diskrepanz zwischen intervenierten und beobachteten Zuständen über Ziel- und Referenzmengen hinweg.
Constraints: Erzwingung der Orthogonalität zum Referenz-Subraum ( $W^+ X^- = 0$ ), um Spezifität zu gewährleisten.
Lösung: Die Autoren leiten einen Closed-Form-Estimator für das Engramm ab. Durch Nutzung der Moore-Penrose-Pseudoinversen und unzentrierten Kovarianzmatrizen ( $\Sigma^+ = X^+ X^{+\top}$ und $\Sigma^- = X^- X^{-\top}$ ) erhalten sie:
$W^+ = \Delta W \Sigma^+ (\Sigma^+ + \Sigma^-)^\dagger$
In der Praxis wird der Update für ein trainiertes Modell mit den Gewichten $W$ retrospektiv als $W^+ = W \Sigma^+ (\Sigma^+ + \Sigma^-)^\dagger$ approximiert. Dies ermöglicht die Extraktion von Engrammen in einem einzigen Forward-Pass ohne Backpropagation.

2.3. Geometrische Interpretation

Die Arbeit stellt eine Verbindung zwischen diesen biologischen Constraints und der Informationsgeometrie her. Unter der Annahme der Kronecker-Faktorierten Approximativen Krümmung (K-FAC) und dem Prinzip der maximalen Entropie entspricht die abgeleitete Closed-Form-Lösung der Minimum-Norm-Projektion auf eine Constraint-Mannigfaltigkeit unter der Fisher-Informations-Metrik. Dies zeigt, dass die Engramm-Richtung mit der natürlichen Gradientenrichtung auf der Parameter-Mannigfaltigkeit übereinstimmt.

2.4. Kombinatorisches Unlearning

Da die identifizierten Engramme linear additiv sind, ermöglicht das Framework kombinatorisches Unlearning. Um eine Teilmenge von Konzepten zu entfernen, kann man die entsprechenden Engramme einfach durch lineare Arithmetik von den Modellgewichten subtrahieren:
$\text{Engram}(\alpha) := W - \alpha \sum_{k \in U} W^+_k$
Dies umgeht die exponentielle Komplexität iterativer Unlearning-Methoden.

3. Zentrale Beiträge

Ein Framework für KI-Engramme: Die Autoren übersetzen biologische Gedächtniskriterien in algebraische Constraints und liefern einen skalierbaren Closed-Form-Estimator, der Gedächtnisspuren aus global verschränkten Parametern isoliert.
Amortisierte Gedächtnisisolierung: Die Methode entkoppelt Gedächtnisspuren und ermöglicht die instantane Komposition oder Löschung von Wissen durch einfache lineare Arithmetik. Dies löst die kombinatorische Komplexität des Unlearnings und demonstriert Robustheit über Architekturen hinweg – von einfachen MLPs bis hin zu Milliarden-Parameter-LLMs.
Verbindung zur Informationsgeometrie: Die Arbeit zeigt, dass der biologisch inspirierte Closed-Form-Estimator die Fisher-Krümmung wiederherstellt, welche mit der natürlichen Gradientenrichtung zusammenfällt, und schlägt so eine Brücke zwischen biologischen Gedächtnistheorien und künstlichem Repräsentationslernen.

4. Experimentelle Ergebnisse

Die Autoren validieren das Framework über diverse Architekturen und Datensätze hinweg:

Skalierbarkeit und Vielseitigkeit: Die Methode isoliert und entfernt erfolgreich Konzepte in MLPs, CNNs (ResNet-18/50), Vision Transformern (ViT) und generativen Modellen (ConvAE, WAE). In CIFAR-10 und CIFAR-100 Experimenten entfernt die Ablation eines spezifischen Engramms selektiv die Genauigkeit der Zielklasse, während die Performance auf Referenzklassen erhalten bleibt (chirurgische Präzision).
Quantitative Leistung: Auf Class-wise Unlearning Benchmarks (CIFAR-10/100) erreicht die Engram-Methode überlegene Tug-of-War (ToW) Scores im Vergleich zu State-of-the-Art Baselines (z. B. NegGrad, SalUn, Fine-tuning), was auf eine engere Verhaltensnähe zu einem von Grund auf neu trainierten Modell hindeutet. Sie zeigt zudem eine effektive Dissipation struktureller Spuren im Latent Space (DA und NMI Metriken).
Large Language Models (LLMs): Angewendet auf Llama-3.2-1B auf dem TOFU Benchmark zeigt die Methode hohe Effizienz.
- Effizienz: Sie benötigt etwa 30-mal weniger FLOPs und 2,3-mal weniger Peak-Memory als gradientenbasierte iterative Methoden und benötigt ca. 2 Minuten statt Zehn Minuten.
- Leistung: Während sie bei einigen dedizierten iterativen Methoden (z. B. AltPO, NPO) bei den Gesamtmetriken leicht zurückfällt, übertrifft sie signifikant andere Closed-Form-Editing-Baselines (UCE, Task Arithmetic) und erzielt die niedrigsten Exact Memorization (EM) Scores unter den gradientenfreien Methoden.
- Lokalisierung: Die Analyse der Engramm-Gewichte zeigt, dass Gedächtnisspuren nicht zufällig verteilt sind, sondern in spezifischen Layern konzentriert liegen: den Query (Q) und Key (K) Projektionen der Self-Attention sowie den Gate Projektionen der MLPs. Ablationsstudien bestätigen, dass das Targeting dieser spezifischen Layer für effektives Unlearning ausreicht.

5. Bedeutung und Ansprüche

Das Paper behauptet, die Lücke zwischen biologischen Gedächtnistheorien und Künstlicher Intelligenz zu schließen, indem es zeigt, dass kausale Substrate von Wissen durch deterministische spektrale Auflösungen isoliert und manipuliert werden können, selbst innerhalb hochgradig nichtlinearer Systeme.

Paradigmenwechsel: Die Arbeit schlägt vor, das Paradigma des Machine Unlearnings von der stochastischen Gradientensuche hin zur strukturellen Identifikation zu verschieben.
Orthogonales Regime: Die Autoren positionieren Engram nicht als Ersatz für iteratives Unlearning, sondern als ein orthogonales Regime (O(1)-Pass, gradientenfrei), das besonders wertvoll ist, wenn:
1. Die Anzahl der zu unlearnenden Konzepte groß ist (Nutzung der kombinatorischen Kompositionalität).
2. Rechenressourcen oder der Zugriff auf Gewichte eingeschränkt sind.
3. Das Ziel die strukturelle Identifikation und nicht die distributional indistinguishability ist.
Interpretierbarkeit: Die Entdeckung kondensierter Lokalisierungsmuster in LLMs bietet eine neue Perspekt Perspektive auf die neuronale Interpretierbarkeit und legt nahe, dass spezifische funktionale Topologien des Gedächtnisses in linearisierbaren Subspaces des Gewichtsraums residieren.

Die Autoren kommen zu dem Schluss, dass ihr Framework eine beispiellose Effizienz für die chirurgische Isolation von Gedächtnis bietet, was sichereres Modellverhalten und klarere Interpretierbarkeit ermöglicht und Wege für die zukünftige Erforschung der temporalen Dynamik von Engrammen im Continual Learning eröffnet.