🔬 condensed matter

Preisach Attention: A Hysteretic Model of Sequential Memory

Dieser Beitrag stellt die Preisach-Aufmerksamkeits-Schicht (PAL) vor, eine neuartige Architektur zur Sequenzmodellierung, die Softmax-Aufmerksamkeit durch einen auf Hysterese basierenden binären Relaisoperator ersetzt, um Turing-Vollständigkeit in O(1)-Tiefe zu erreichen, eine effiziente Berechnung historischer Bereichsstatistiken zu ermöglichen und O(n log n)-Inferenzkosten für Aufgaben bereitzustellen, die ein langes episodisches Gedächtnis mit schwacher Positionsabhängigkeit erfordern.

Ursprüngliche Autoren: Piotr Frydrych

Veröffentlicht 2026-05-25

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Piotr Frydrych

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Eine neue Art für KI, sich zu erinnern

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine lange Geschichte zu lesen. Der aktuelle Superstar der KI, der Transformer, erinnert sich an Dinge, indem er darauf achtet, wo Wörter im Satz erscheinen. Es ist wie ein Bibliothekar, der sich nur an die Position eines Buches im Regal erinnert. Wenn Sie das Buch an einen anderen Ort stellen, gerät der Bibliothekar in Verwirrung. Außerdem muss der Bibliothekar jedes einzelne Buch im Regal durchsuchen, um eines zu finden, was mit wachsender Bibliothek sehr langsam und teuer wird.

Der Autor dieses Papers, Piotr Frydrych, schlägt eine neue Art von Gedächtnis vor, die Preisach-Aufmerksamkeit (PAL) genannt wird. Anstatt darauf zu achten, wo etwas passiert ist, achtet PAL darauf, wie wichtig die Veränderungen waren. Inspiriert ist dies von einem alten physikalischen Konzept namens „Hysterese", das beschreibt, wie Magnete ihre Geschichte speichern.

Stellen Sie sich PAL nicht als Bibliothekar vor, sondern als einen Bergsteiger, der ein Tagebuch über Gipfel und Täler führt.

Wie es funktioniert: Das Tagebuch des Bergsteigers

Stellen Sie sich vor, Sie wandern durch eine Bergkette. Sie schreiben nicht jeden einzelnen Schritt auf, den Sie tun. Sie schreiben nur die höchsten Gipfel auf, die Sie erreichen, und die tiefsten Täler, in die Sie hinabsteigen.

Der „Extremum-Stapel" (Das Tagebuch):
- Während Sie wandern, führen Sie eine Liste Ihrer bisher höchsten Gipfel und tiefsten Täler.
- Die magische Regel (Löschen): Wenn Sie einen neuen Gipfel erklimmen, der höher ist als Ihr vorheriger höchster Gipfel, löscht Ihr Tagebuch automatisch den alten Gipfel und alles darunter. Es behält nur den neuen, bedeutenderen Eintrag.
- Warum das wichtig ist: Wenn Sie in einem kleinen Tal hin und her laufen, ändert sich Ihr Tagebuch nicht. Es aktualisiert sich nur, wenn Sie eine große Bewegung machen. Das bedeutet, dass die KI das „Rauschen" ignoriert und sich nur an die großen, bedeutenden Ereignisse erinnert.
Zeitunabhängigkeit (Die Regel „Die Zeit spielt keine Rolle"):
- Standard-KI-Modelle geraten in Verwirrung, wenn Sie eine Geschichte beschleunigen oder verlangsamen.
- PAL kümmert sich nicht um die Zeit. Ob Sie den Berg in 1 Stunde oder in 100 Jahren besteigen, Ihr Tagebuch der Gipfel und Täler sieht exakt gleich aus. Es kümmert sich nur um die Reihenfolge der großen Veränderungen, nicht darum, wie lange es gedauert hat, dorthin zu gelangen.

Warum ist das besser? (Die Behauptungen des Papers)

Das Paper stellt drei Hauptbehauptungen auf, warum dieses neue „Bergsteiger"-Gedächtnis besonders ist:

1. Es ist schlauer (und schneller) in der Mathematik

Die Behauptung: Eine einzelne Schicht dieses neuen KI-Modells ist mathematisch mächtig genug, um jedes Problem zu lösen, das ein Computer lösen kann (Turing-vollständig).
Die Analogie: Standard-KI-Modelle müssen viele Schichten stapeln (wie den Bau eines hohen Turms aus Blöcken), um komplexe Logikrätsel zu lösen. Dieses neue Modell kann die gleichen Rätsel mit nur einer Schicht lösen. Es ist wie ein Schweizer Taschenmesser, das die Arbeit eines ganzen Werkzeugkastens erledigt.
Geschwindigkeit: Da es nur Gipfel und Täler verfolgt, muss es nicht jedes einzelne Wort in einem langen Dokument überprüfen. Es ist für sehr lange Geschichten viel schneller.

2. Es ist anders, nicht nur „besser"

Die Behauptung: PAL und Standard-KI sind „nicht vergleichbar". Sie sind in verschiedenen Dingen gut.
Die Analogie:
- Standard-KI ist großartig darin, ein bestimmtes Wort zu finden, wenn Sie seine Position kennen (z. B. „Was ist das 5. Wort?"). Sie hat „Zufallszugriff".
- PAL ist darin schrecklich. Es kann Ihnen das 5. Wort nicht nennen, weil es keine Positionen zählt.
- Allerdings ist PAL fantastisch darin, die „größte Veränderung" in einer Geschichte zu finden (z. B. „Was war die höchste aufgezeichnete Temperatur?"). Standard-KI hat damit Schwierigkeiten, weil sie alles durchsuchen muss, um das Maximum zu finden. PAL schaut einfach in ihr Tagebuch der Gipfel.

3. Es vergisst basierend auf Bedeutung, nicht auf Zeit

Die Behauptung: Standard-KI vergisst alte Dinge, weil sie „alt" sind (Kürzlichkeitsprinzip). PAL vergisst Dinge, weil sie „klein" sind.
Die Analogie: Stellen Sie sich vor, Sie erinnern sich an ein Gespräch.
- Standard-KI: „Ich erinnere mich, was Sie vor 5 Minuten gesagt haben, aber ich habe vergessen, was Sie vor 1 Stunde gesagt haben."
- PAL: „Ich habe vergessen, was Sie vor 1 Stunde gesagt haben, weil es eine kleine Einzelheit war. Aber ich erinnere mich an das, was Sie vor 1 Stunde gesagt haben, weil es eine riesige, schockierende Enthüllung war, die das ganze Gespräch verändert hat."
- Dies wird als „Lösch-Eigenschaft" bezeichnet. Ein neues, größeres Ereignis löscht die Erinnerung an kleinere, weniger bedeutende Ereignisse.

Der physikalische Zusammenhang: Die „Magnet"-Analogie

Das Paper verbindet diese KI mit einem physikalischen Modell namens Random-Field-Ising-Modell (stellen Sie sich eine Ansammlung winziger Magnete vor).

In der Physik flippen diese Magnete basierend auf einem Magnetfeld hin und her. Sie haben ein „Gedächtnis" ihrer vergangenen Zustände.
Der Autor zeigt, dass PAL im Wesentlichen eine gelernte, sich bewegende Version dieser Magnete ist.
Warum hilft das? Das bedeutet, dass PAL coole physikalische Eigenschaften erbt, wie die Fähigkeit, „Lawinen" (plötzliche, massive Datenänderungen) sehr natürlich zu bewältigen. Es deutet darauf hin, dass, wenn man die KI genau richtig einstellt, sie an einem „kritischen Punkt" operiert, an dem sie superempfindlich auf neue Informationen reagiert, ähnlich wie eine Schneeflocke eine massive Lawine auslösen kann.

Zusammenfassung: Für wen ist das geeignet?

Das Paper argumentiert, dass PAL das perfekte Werkzeug für Aufgaben ist, bei denen:

Geschichte wichtiger ist als Position: Sie müssen das „große Ganze" eines langen Ereignisses kennen, nicht den genauen Zeitstempel.
Bedeutung wichtiger ist als Kürze: Sie wollen sich an die größten Schocks erinnern, nicht nur an die neuesten.
Die Daten lang sind: Es ist für sehr lange Sequenzen viel effizienter (günstiger und schneller) als aktuelle KI-Modelle.

Kurz gesagt: Das Paper stellt eine neue Art von KI-Gedächtnis vor, das wie ein Wanderer funktioniert, der sich nur an die höchsten Gipfel und tiefsten Täler erinnert und die kleinen Schritte dazwischen ignoriert. Dies macht es für lange Geschichten und komplexe Logik unglaublich effizient, obwohl es die Fähigkeit, genaue Positionen zu zählen, opfert.

Technische Zusammenfassung: Preisach-Aufmerksamkeit: Ein hysteretisches Modell sequenzieller Erinnerung

Problemstellung

Die derzeit dominierenden Architekturen zur Sequenzmodellierung, insbesondere der Transformer, verlassen sich auf Aufmerksamkeitsmechanismen, die entweder temporal (mit der Distanz abklingend) oder positionell (indiziert durch die Token-Position) sind. Während theoretische Analysen die Turing-Vollständigkeit von Hard-Attention-Transformern etabliert haben, erfordern diese eine Tiefe von $O(\log n)$ , um dies zu erreichen, und die Standard-Softmax-Aufmerksamkeit entspricht begrenzten Fragmenten der Prädikatenlogik erster Stufe. Eine kritische Einschränkung, die Transformern, rekurrenten neuronalen Netzen (RNNs) und State-Space-Modellen (SSMs) gemeinsam ist, ist das Fehlen eines Speichermechanismus, der auf der Bedeutung vergangener Eingaben basiert und nicht auf deren Aktualität oder absoluter Position. Es besteht ein Bedarf an einer Architektur, die in der Lage ist, ein langfristiges episodisches Gedächtnis zu unterhalten, bei dem die Ausgabe von der Abfolge lokaler Extrema der Eingabehistorie abhängt, unabhängig vom zeitlichen Abstand.

Methodik

Die Arbeit stellt die Preisach-Aufmerksamkeitsschicht (PAL) vor, eine neuartige Architektur zur Sequenzmodellierung, die auf dem klassischen Preisach-Hysterese-Operator aus der mathematischen Physik basiert.

Kernmechanismus: Der Preisach-Operator

Der Preisach-Operator aggregiert die Ausgaben binärer Relais $\hat{\gamma}_{\alpha\beta}$ , die jeweils durch einen Aktivierungsschwellenwert $\alpha$ und einen Deaktivierungsschwellenwert $\beta$ charakterisiert sind. Im Kontext der Sequenzmodellierung:

Binäres Relais: Für eine Eingabesequenz $u$ wechselt der Relaiszustand auf 1, wenn $u_n \geq \alpha$ , und auf 0, wenn $u_n \leq \beta$ . Andernfalls behält er seinen vorherigen Zustand bei.
Extremum-Stack: Eine fundamentale Konsequenz der „Lösch-Eigenschaft" (wiping property) ist, dass die Ausgabe des Operators nur vom aktuellen Extremum-Stack ( $\Pi_n$ ) abhängt. Dieser Stack speichert abwechselnde lokale Maxima und Minima. Ein neues Extremum löscht alle vorherigen Extrema geringeren Betrags und bietet somit einen natürlichen, bedeutungsbasierten Vergessmechanismus.
Ratenunabhängigkeit: Die Ausgabe hängt ausschließlich von der Abfolge der lokalen Extrema ab, nicht von der absoluten Zeit oder Position der Token.

Architekturdefinition

PAL-Schicht: Die Schicht berechnet eine gewichtete Summe der Ausgaben binärer Relais über ein diskretisiertes Maß $\mu$ auf der Schwellenwertebene $(\alpha, \beta)$ .
Multi-Head-PAL (MPAL): Erweitert die skalare PAL auf vektorwertige Sequenzen, indem Eingaben auf skalare Signale projiziert, durch mehrere Köpfe verarbeitet und zurückprojiziert werden.
PAL-Transformer: Eine Standard-Transformer-Encoder-Decoder-Struktur, bei der der Standard-Aufmerksamkeitsmechanismus durch MPAL ersetzt wird. Sie behält sinusförmige Positions-Encoding (PE) und MLP-Schichten bei, aber der Kernspeichermechanismus ist hysteretisch.

Hauptbeiträge und Ergebnisse

1. Turing-Vollständigkeit bei $O(1)$ Tiefe

Die Arbeit beweist, dass ein einlagiger PAL-Transformer Turing-vollständig ist.

Mechanismus: Die Architektur simuliert einen beliebigen Zwei-Stack-Pushdown-Automaten (2-PDA), der einer Turing-Maschine entspricht.
Codierung: Alphabetzeichen und Stack-Tiefen werden unter Verwendung der „Cantor-Tiefen-Codierung" in den Extremum-Stack kodiert.
Tiefenvorteil: Diese Simulation wird mit einer Tiefe von $O(1)$ erreicht (eine MPAL-Schicht und eine MLP-Schicht). Dies steht im Gegensatz zu Standard-Hard-Attention-Transformern, die eine Tiefe von $O(\log n)$ benötigen, um Turing-Vollständigkeit zu erreichen (Pérez et al., 2021).
Vektor-PAL (vPAL): Eine Variante, die eine zweidimensionale Signalprojektion verwendet, erreicht Turing-Vollständigkeit mit einem einzigen Kopf ( $H=1$ ) und zeigt, dass Signaldimension und Kopfanzahl bei PAL austauschbare Ressourcen sind.

2. Trennung der Ausdruckskraft

Die Arbeit stellt fest, dass die von PAL und Transformern berechenbaren Funktionsklassen nicht vergleichbar sind.

PAL $\setminus$ Transformer: PAL kann historische Bereichsstatistiken (z. B. $max(u) - min(u)$) in $O(1)$ Schichten berechnen. Standard-Transformer mit begrenzter Tiefe können dies aufgrund unterer Schranken der Schaltkreiskomplexität nicht exakt berechnen (MAX ist nicht in $AC^0$ ).
Transformer $\setminus$ PAL: Transformer können eine exakte Abrufoperation mit beliebigem Zugriff durchführen (z. B. Abruf des Tokens an Position $p$ ). PAL kann dies nicht, da seine Ratenunabhängigkeit impliziert, dass, wenn ein Token kein lokales Extremum ist, sein Wert aus dem Einfluss des Stacks „gelöscht" wird, was eine positionsbasierte Abrufoperation ohne zusätzlichen Zustand unmöglich macht.
Trennende Eigenschaft: Die Ratenunabhängigkeit wird als die fundamentale Eigenschaft identifiziert, die die beiden Klassen trennt. PAL-Ausgaben sind invariant gegenüber einer Zeit-Reskalierung der Eingabesequenz, während Standard-Aufmerksamkeit dies nicht ist.

3. Logische Charakterisierung

Die Arbeit definiert die Extremum-Prädikatenlogik erster Stufe (EFO), eine Erweiterung der Prädikatenlogik erster Stufe, die Quantifizierung nur über lokale Extremalpositionen erlaubt und einen Extremum-Aggregationsoperator einschließt.

Theorem: Eine Funktion ist genau dann durch einen PAL-Transformer mit begrenzter Tiefe berechenbar, wenn sie in EFO definierbar ist.
Implikation: EFO ist ein striktes Fragment der Logik, die Standard-Transformern entspricht (FO + Aggregat), was bestätigt, dass PAL keine beliebige positionsbasierte Logik ausdrücken kann, aber bei extremumbasierter Aggregation hervorragend ist.

4. Verbindung zu Physik und Komplexität

RFIM-Äquivalenz: Die Arbeit zeigt, dass PAL eine gelernte, sequenzielle, Nicht-Gleichgewichts-Verallgemeinerung des Random-Field-Ising-Modells (RFIM) bei $T=0$ ist. Der Extremum-Stack entspricht der minimalen hinreichenden Statistik der RFIM-Historie.
Komplexität: Die PAL-Inferenz hat eine Gesamtkomplexität von $O(n \log n)$ (aufgrund von Stack-Aktualisierungen und binärer Suche) und einen Speicherbedarf von $O(kd)$, im Vergleich zu $O(n^2)$ für Standard-Aufmerksamkeit.
Phasenübergänge: Basierend auf der RFIM-Theorie schlägt die Arbeit vor, dass PAL-Schichten, die nahe einer kritischen Unordnungsstärke operieren, ein „Rand-des-Chaos"-Verhalten aufweisen können, das die Empfindlichkeit gegenüber Eingabeänderungen maximiert und gleichzeitig ein strukturiertes Gedächtnis erhält.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass PAL einen grundlegend anderen Speichermechanismus für die Sequenzmodellierung bietet und von einer aktualitäts- oder positionsbasierten Erinnerung zu einer bedeutungsbasierten Erinnerung übergeht.

Theoretischer Fortschritt: Sie liefert einen neuen Punkt im Raum der Sequenzmodelle, der mit bestehenden Architekturen nicht vergleichbar ist, und bietet Turing-Vollständigkeit bei $O(1)$ Tiefe sowie eine einzigartige logische Charakterisierung (EFO).
Effizienz: Durch die Verlassung auf den Extremum-Stack reduziert PAL die Inferenzkomplexität von quadratisch auf nahezu linear ( $O(n \log n)$ ), was sie theoretisch für Aufgaben geeignet macht, die ein langfristiges episodisches Gedächtnis erfordern.
Aufgabentauglichkeit: Die Autoren gehen davon aus, dass PAL bei Aufgaben, die ratenunabhängig sind und auf historischen Bereichsstatistiken basieren, eine bessere Leistung als Standard-Aufmerksamkeit erbringen wird, wie zum Beispiel:
- Verfolgen von Entitätszuständen über lange Dokumente hinweg.
- Erkennen von Anomalien in Zeitreihen basierend auf historischen Bereichen.
- Schlussfolgern über geordnete Ereignisse ohne Positionsabhängigkeit.
- Energieversorgungs-Dispatch, bei dem Entscheidungsschwellenwerte das Verhalten steuern.

Die Arbeit schließt damit, dass PAL zwar keinen beliebigen Zugriff durchführen kann, seine Fähigkeit jedoch, eine minimale hinreichende Statistik der Eingabehistorie für alle ratenunabhängigen Funktionale zu erhalten, es zu einer natürlichen Architektur für Probleme macht, bei denen die Bedeutung vergangener Ereignisse wichtiger ist als deren Aktualität oder absolute Position. Die Arbeit bleibt theoretisch; empirische Validierung und Lernverhalten (insbesondere hinsichtlich der Kritikalität) wurden als offene Fragen für zukünftige Forschung identifiziert.