🤖 machine learning

Regularity and Stability Properties of Selective SSMs with Discontinuous Gating

Diese Arbeit etabliert rigorose Stabilitäts- und Regularitätsgarantien für selektive Zustandsraummodelle (SSMs) wie Mamba unter Verwendung regelungstechnischer Werkzeuge wie Passivität und Input-to-State-Stabilität und überträgt diese Erkenntnisse in einen differenzierbaren Regularisierer zur Trainingszeit, der Stabilitätsverletzungen signifikant reduziert, bei vernachlässigbarem Einfluss auf die Vorhersagegenauigkeit.

Ursprüngliche Autoren: Nikola Zubić, Davide Scaramuzza

Veröffentlicht 2026-07-08

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nikola Zubić, Davide Scaramuzza

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „intelligenten Gedächtnisses“

Stellen Sie sich einen Roboter vor, der versucht, sich an eine lange Geschichte zu erinnern, während er einem Erzähler zuhört. Moderne KI-Modelle wie Mamba sind wie diese Roboter. Sie besitzen ein „Gedächtnis“ (einen verborgenen Zustand), das sich aktualisiert, während sie jedes neue Wort hören.

Der knifflige Teil ist, dass diese Modelle selektiv sind. Sie speichern nicht einfach alles gleichermaßen. Sie haben einen „Türsteher“, der Wort für Wort entscheidet, was erinnert und was vergessen werden soll. Wenn der Türsteher zu chaotisch ist, könnte der Roboter verwirrt werden, den Anfang der Geschichte vergessen oder durchdrehen, wenn der Erzähler laut wird.

Diese Arbeit fragt: Wie stellen wir sicher, dass dieser Türsteher stabil ist? Wie stellen wir sicher, dass das Gedächtnis des Roboters weder explodiert noch verschwindet, selbst wenn sich die Regeln dafür, was zu erinnern ist, schlagartig ändern?

Die Kernidee: Energie und Stabilität

Die Autoren nutzen Werkzeuge aus der Regelungstechnik (die Mathematik, die Flugzeuge stabil hält und Roboter im Gleichgewicht hält), um diese KI-Modelle zu analysieren.

Sie behandeln das Gedächtnis der KI wie eine Batterie oder einen Wassertank:

Input: Die neuen Wörter, die reinkommen.
Output: Das Verständnis des Roboters.
Speicherung: Das Gedächtnis im Inneren des Roboters.

Die Arbeit argumentt, dass das System für Stabilität nur dann sorgt, wenn die „Batterie“ nicht aus dem Nichts Energie erzeugt. Sie sollte nur das speichern, was sie vom Input erhält, und sie sollte im Laufe der Zeit natürlich ein wenig Energie verlieren (wie eine Batterie, die langsam leer wird), damit alte, irrelevante Erinnerungen verblassen. Dieses Konzept wird als Passivität und Dissipativität bezeichnet.

Die zwei Signale: Der „Schalter“ vs. der „Antrieb“

Eine zentrale Erkenntnis der Arbeit ist die Trennung von zwei Dingen, die normalerweise vermischt werden:

Der Antrieb (Input): Die eigentlichen Daten (die Wörter), die das System vorantreiben.
Der Schalter (Selektion): Die interne Entscheidungsfindung, die ändert, wie das System auf die Daten reagiert.

Analogie: Stellen Sie sich ein Auto vor.

Der Antrieb ist das Drücken des Gaspedals durch Sie (der Input).
Der Schalter ist das Schalten der Getriebe (die Selektion).
Die Arbeit besagt: „Lassen Sie uns die Stabilität des Autos analysieren, indem wir betrachten, wie das Getriebe schaltet, unabhängig davon, wie stark man das Gaspedal drückt.“ Dies macht die Mathematik viel sauberer und offenbart verborgene Regeln darüber, wie sich das Getriebe verhalten muss, um das Auto vor einem Unfall zu bewahren.

Die Hauptergebnisse

1. Die „Vergessen“-Regel

Wenn das System korrekt konzipiert ist (speziell, wenn es eine Eigenschaft der „strikten Dissipativität“ besitzt), wird es automatisch exponentiell schnell alte Informationen vergessen, wenn kein neuer Input vorhanden ist.

Analogie: Denken Sie an einen leckenden Eimer. Wenn Sie aufhören, Wasser hineinzugießen, bleibt der Eimer nicht ewig voll; das Wasser läuft ab. Das ist gut! Es bedeutet, dass die KI nicht stecken bleibt, indem sie das erste Wort eines Satzes ewig im Gedächtnis behält, während sie versucht, das letzte Wort zu verarbeiten. Die Arbeit beweist mathematisch, dass dieses „Lecken“ automatisch geschieht, wenn das System richtig gebaut ist.

2. Der „Freeze“-Test

Die Autoren untersuchten, was passiert, wenn sie den Selektionsschalter „einfrieren“ (die Regeln nicht mehr ändern) und einfach den Input fließen lassen. Sie fanden heraus, dass das System selbst mit dieser eingefrorenen Einstellung eine natürliche, eingebaute „Energiestruktur“ besitzt (eine mathematische Form namens quadratische Speicherfunktion).

Analogie: Selbst wenn man die Zahnräder aus einem Auto nimmt und sie an Ort und Stelle fixiert, haben der Motor und die Räder immer noch eine spezifische physikalische Beziehung. Die Arbeit zeigt, dass Mamba eine ähnliche „natürliche Form“ in seinem Gedächtnis hat, was erklärt, warum bestimmte Arten der Modell-Initialisierung (wie HiPPO) so gut funktionieren – sie respektieren diese natürliche Form.

3. Die Regel des „irreversiblen Vergessens“

Dies ist eine faszinierende strukturelle Erkenntnis. Die Arbeit legt nahe, dass, sobald das System entschieden hat, dass eine Information „nutzlos“ ist (sie fällt in einen „Kernel“ oder eine Nullenergie-Zone), keine Menge an Schalten der Tore diese Information zurückbringen kann.

Analogie: Stellen Sie sich einen Aktenvernichter vor. Sob' die ein Dokument in den Schredder gerät und zerschnitten wird, können Sie nicht einfach einen Schalter umlegen und das Papier wieder ganz machen. Das System hat einen „Point of no Return“ für bestimmte Arten von Informationen. Dies verhindert, dass die KI versucht, alte, irrelevante Erinnerungen wiederzubeleben, was sie verwirren würde.

Von der Theorie zur Praxis: Der „Regularisierer“

Die Autoren blieben nicht nur bei der Mathematik stehen. Sie entwickelten ein praktisches Werkzeug namens Regularisierer.

Das Problem: In der Realität können wir die unendliche Mathematik der kontinuierlichen Welt nicht überprüfen. Wir müssen die diskreten Schritte prüfen, die der Computer tatsächlich vollzieht.
Die Lösung: Sie haben einen „Schlagloch-Vermeider“ (Speed Bump) für den Trainingsprozess geschaffen. Während des Trainings berechnet das Modell eine spezifische Zahl (einen Eigenwert), die ihm mitteilt, ob es gegen die Stabilitätsregeln verstößt. Wenn dies der Fall ist, fügt der Trainingsprozess eine winzige Strafe hinzu, um es zurück in Richtung Stabilität zu drücken.
Das Ergebnis: Sie testeten dies auf sieben verschiedenen realen Datensätzen (wie Wetter, Verkehr und Stromverbrauch).
- Erfolg: Das Werkzeug reduzierte die Anzahl der „Stabilitätsverletzungen“ um 92 %.
- Kosten: Die Genauigkeit der Vorhersagen änderte sich kaum (weniger als 0,02 % Unterschied).
- Robustheit: Wenn sie Rauschen oder „Spitzen“ (wie plötzliche Fehler) in die Daten einfügten, blieb das Modell mit dem Werkzeug intern ruhiger, auch wenn es dadurch nicht magisch in der Lage war, die Zukunft unter Chaos perfekt vorherzusagen.

Was das Papier nicht behauptet

Die Autoren sind sehr ehrlich über die Grenzen ihrer Arbeit:

Es ist keine magische Lösung für alle Fehler: Das Werkzeug macht den internen Speicher des Mamba-Teils der KI stabiler, aber es repariert nicht das gesamte KI-Netzwerk (das andere Teile wie Normalisierung und Routing besitzt).
Es garantiert keine perfekten Vorhersagen unter Chaos: Während das interne Gedächtnis bei verrauschten Daten stabiler wurde, verbesserte sich die endgültige Vorhersagegenauigkeit nicht signifikant. Das Werkzeug lässt den Motor zwar reibungsloser laufen, aber es lässt das Auto in einem Sturm nicht zwangsläufig schneller fahren.
Es ist eine „weiche“ Regel: Das Werkzeug fördert die Stabilität, aber es erzwingt nicht, dass das Modell mathematisch zertifiziert perfekt stabil ist. Es sorgt nur dafür, dass es viel weniger wahrscheinlich ist, dass es instabil wird.

Zusammenfassung

Dieses Paper nimmt eine komplexe, moderne KI-Architektur (Mamba) und analysiert sie mithilfe der Physik von Energie und Stabilität. Sie haben bewiesen, dass diese Modelle ein natürliches „Lecken“ haben, das ihnen hilft zu vergessen, und einen „Schredder“, der verhindert, dass sie nutzlose Erinnerungen wiederbeleben. Dann haben sie ein einfaches, kostengünstiges Werkzeug entwickelt, das hilft, diese Modelle so zu trainieren, dass sie diese Regeln respektieren, was sie stabiler und zuverlässiger macht, ohne ihre Fähigkeit zur Zukunftsvorhersage zu beeinträchtigen.

Technisches Resümee: Regularitäts- und Stabilitätseigenschaften selektiver SSMs mit diskontinuierlicher Gating-Funktion

Problemstellung

Selektive Zustandsraummodelle (SSMs), wie etwa Mamba, sind zentral für die Modellierung langer Sequenzen geworden. Ihre Stabilitätseigenschaften sind jedoch noch unzureichend verstanden. Im Gegensatz zu klassischen zeitinvarianten linearen Systemen (LTI) oder glatten nichtlinearen Systemen weisen selektive SSMs Zustandsraumkoeffizienten ( $A, B, C$ ) auf, die online durch ein tokenabhängiges Gating-Signal moduliert werden. Dies erzeugt ein System, das weder LTI noch klassisch nichtlinear ist, sondern vielmehr ein hybrides System mit diskontinuierlichen, datenabhängigen Parametern darstellt. Bestehende Analysen konzentrieren sich oft auf die Expressivität oder behandeln die Rekurrenz als ein fixes dynamisches System pro Eingabe, wobei es an einer vereinheitlichten, energiebasierten Erklärung mangelt, wie diese Modelle Anfangsbedingungen vergessen, Energie speichern oder unter Perturbationen stabil bleiben.

Methodik

Die Autoren nähern sich dem Problem durch die Linse der klassischen Regelungstechnik, insbesondere der Passivität, Dissipativität und der Input-to-State Stability (ISS). Eine entscheidende konzeptionelle Innovation ist die explizite Trennung zweier Signale:

Selektionssignal ( $x(\cdot)$ ): Steuert die Dynamik, indem es die zeitvarianten Matrizen $A, B, C$ bestimmt.
Antriebseingang ( $u(\cdot)$ ): Der Port-Input, der die Dynamik antreibt und in der Versorgungsrate erscheint.

Obwohl in token-selektiven Architekturen oft $x \equiv u$ gesetzt wird, bewahren die Autoren diese Trennung, um die Quantoren in den Passivitäts- und ISS-Analysen zu klären.

Theoretischer Rahmen

Das Papier analysiert kontinuierliche selektive SSMs, definiert durch:
$\dot{h}(t) = A(\Delta(t), x(t))h(t) + B(\Delta(t), x(t))u(t)$
$y(t) = C(\Delta(t), x(t))h(t)$
wobei $\Delta(t)$ ein Hilfs-Gating-Signal (typischerweise stückweise konstant) ist. Die Analyse setzt eine milde $L^p_{loc}$ -Regularität voraus, um die durch das Gating eingeführten Diskontinuitäten zu berücksichtigen.

Zentrale theoretische Schritte umfassen:

Strikte Dissipativität: Festlegung von Bedingungen, unter denen das System ein exponentielles Vergessen von Anfangsbedingungen zeigt.
Frozen-Selection-Analyse: Das Einfrieren des Selektionssignals ( $x(t) \equiv 0$ ), um ein passives, zeitvariantes lineares (LTV) Subsystem offenzulegen. Unter Nutzung aktueller Ergebnisse von Morandin & Hinsen (2024) beweisen die Autoren, dass dieses Subsystem eine minimale quadratische Speicherfunktion mit lokal absolut obere halbkontinuierlicher (AUC $_{loc}$ ) Regularität besitzt, selbst unter diskontinuierlichem Gating.
Universelle quadratische Speicherung: Untersuchung der strukturellen Einschränkungen, falls eine einzelne quadratische Speicherfunktion die Passivität über alle zulässigen Selektions-Schedules hinweg zertifizieren muss. Dies führt zu einer parametrischen Linearen Matrix-Ungleichung (LMI) und dem Konzept des „irreversiblen Vergessens“ (sobald eine Zustandsrichtung in den Kern der Speichermatrix eintritt, kann sie nicht mehr beobachtbar gemacht werden).
Globale ISS: Ableitung hinreichender Bedingungen für globale Input-to-State Stability in Bezug auf den Antriebseingang $u(\cdot)$ , uniform über alle Selektions-Schedules.

Diskrete Brücke und Regularisierung

Um die Theorie für moderne Architekturen handhabbar zu machen, übersetzen die Autoren die kontinuierliche parametrische LMI in eine gesampelte Block-LMI für die Mamba-selektive-Scan-Rekurrenz.

Sie leiten eine einstufige diskrete Dissipativitäts-Ungleichung ab.
Sie definieren einen differenzierbaren Regularisierer, $R_{LMI}$ , der den größten positiven Eigenwert der gesampelten Blockmatrix $L_k(P, \beta)$ an jedem Token-Schritt bestraft.
Dieser Regularisierer wird in den Trainingsprozess einer realen Mamba-basierten Architektur (SST) als Soft-Constraint integriert.

Zentrale Beiträge

Zwei-Signal-Modell: Eine saubere Formulierung selektiver SSMs, die das Selektionssignal vom Port-Input trennt und so eine rigorose Passivitäts- und ISS-Analyse ermöglicht.
Exponentielles Vergessen: Ein formaler Beweis, dass strikte Dissipativität ( $\beta > 0$ ) in Kombination mit quadratischen Schranken das exponentielle Abklingen homogener Trajektorien impliziert, uniform über zulässige Selektions-Schedules.
Kanonische Energiestruktur: Nachweis, dass das Frozen-Selection-Subsystem eine minimale quadratische Speicherfunktion mit AUC $_{loc}$ -Regularität besitzt. Dies liefert eine energiebasierte Rechtfertigung für prinzipielle Initialisierungen wie HiPPO.
Strukturelle Einschränkungen & Irreversibles Vergessen: Unter der Hypothese universeller quadratischer Speicherung leiten die Autoren eine parametrische LMI ab und beweisen, dass der Rang der Speichermatrix nicht monoton sinkend ist. Dies formalisiert das „irreversible Vergessen“: Zustandsrichtungen, die durch die Energiestruktur verworfen wurden, können durch den Gating-Mechanismus nicht wiederhergestellt werden.
Globale ISS-Bedingungen: Hinreichende Bedingungen für globale Stabilität in Bezug auf Antriebseingänge, uniform über Selektions-Schedules.
Diskreter LMI-Regularisierer: Ein praktischer, differenzierbarer Trainingszeit-Regularisierer, der aus der kontinuierlichen Theorie abgeleitet wurde und auf den Mamba-selektiven Scan-Kern anwendbar ist.
Empirische Validierung: Umfangreiche Evaluierung auf sieben Zeitreihen-Datensätzen und vier Vorhersagehorizonten, die die Fähigkeit des Regularisierers demonstriert, LMI-Verletzungen zu reduzieren, ohne die Genauigkeit signifikant zu beeinträchtigen.

Ergebnisse

Die empirische Evaluierung wurde auf der SST-Architektur (eine geroutete Mischung aus Mamba und kurzreichweitiger Attention) über 28 Datensatz-Horizont-Paare (ETTh1/2, ETTm1/2, Wetter, Elektrizität, Verkehr) durchgeführt.

Reduktion der LMI-Verletzungen: Der diskrete LMI-Regularisierer reduzierte die mittlere gesampelte Mamba-Kern-LMI-Verletzung um etwa 92 % (von 0,0358 auf 0,0029) über alle 28 Paare hinweg.
Clean Accuracy: Die Reduktion der LMI-Verletzungen erfolgte zu einem vernachlässigbaren Preis bei der Clean Mean Squared Error (MSE), mit einer Differenz von weniger als 0,018 % gegenüber der unregularisierten Baseline.
Ablation zur Konservativität: Der Ersatz der fixen Identitäts-Speichermatrix ( $P=I$ ) durch eine lernbare diagonale Matrix ( $P=\text{diag}(q)$ ) lieferte in allen 28 Paaren eine strikte Pareto-Verbesserung (geringere Verletzungen, gleiche Genauigkeit), was die Flexibilität des Frameworks bestätigt.
Robustheit gegenüber Perturbationen: Unter injizierten Perturbationen (Gaußsches Rauschen, Spikes, Maskierung etc.) verbesserte der Regularisierer die internen Mamba-Kern-Diagnosen (reduzierte LMI-Verletzungen um ~60 % und Zustandsnormen um ~3,4 %). Er führte jedoch zu keiner messbaren Verbesserung der robusten Forecasting-MSE. Die Autoren führen dies explizit als „ehrliches Negativ“ an und begründen es damit, dass der Regularisierer nur den Mamba-Kern beschränkt, während das umgebende Netzwerk (Normalisierung, Residuen, Routing) die Auswirkungen der Perturbation auf den Endausgang absorbiert.
Router-Stabilität: Eine Ablation, die versuchte, ein energiebewusstes Routing-Schema zu lernen (Bestrafung der Mamba-Nutzung bei hohen lokalen LMI-Verletzungen), ergab ein neutrales Ergebnis. Während die Mamba-Gewichte leicht nach unten gedrückt wurden, war die Korrelation zwischen Mamba-Gewicht und LMI-Verletzung im Wesentlichen Null, was darauf hindeutet, dass das Training auf sauberen Daten kein energiebewusstes Routing induziert.

Bedeutung und Ansprüche

Das Paper positioniert sich als Brücke zwischen klassischer Regelungstechnik und modernen Deep-Learning-Architekturen. Seine Bedeutung liegt in:

Theoretischer Klarheit: Bereitstellung einer vereinheitlichten energiebasierten Erklärung für selektive SSMs, die über Lyapunov-Exponenten-Diagnostik hinausgeht und sich auf strukturelle Eigenschaften wie Passivität und ISS konzentriert.
Rechtfertigung von Initialisierungen: Bietet eine theoretische Erklärung dafür, warum Initialisierungen wie HiPPO effektiv sind (sie liefern eine gut konditionierte quadratische Energielandschaft).
Praktische Werkzeuge: Einführung eines kostengünstigen, differenzierbaren Regularisierers, der in bestehende Trainings-Pipelines integriert werden kann, um eine strukturelle Stabilität des SSM-Kerns zu erzwingen.
Ehrliche Abgrenzung: Die Autoren sind sich der Grenzen ihrer Ansprüche bewusst. Sie behaupten nicht, dass der Regularisierer die Passivität des gesamten tiefen Netzwerks zertifiziert, noch dass er allein eine robuste MSE-Verbesserung garantiert. Sie rahmen die Ergebnisse als „substanzielle Reduktion der Verletzungen“ statt als „zertifizierte Passivität“ ein und räumen ein, dass die Lücke zwischen Kernstabilität und End-to-End-Robustheit ein offenes Forschungsgebiet bleibt.

Zusammenfassend lässt sich sagen, dass das Paper erfolgreich kontinuierliche regelungstechnische Garantien in ein verifizierbares, differenzierbares Trainingskriterium für selektive SSMs übersetzt und zeigt, dass solche strukturellen Beschränkungen mit vernachlässigbaren Kosten für die Genauigkeit durchgesetzt werden können, während sie die interne Stabilität signifikant verbessern.