💻 computer science

Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures

Diese Arbeit zeigt, dass trotz grundlegend unterschiedlicher mikroskopischer Mechanismen sowohl Transformer- als auch Mamba-Architekturen eine gemeinsame, nahezu marginale infrarote kollektive Dynamik entwickeln, die durch ein Slow-Mode-Kontinuum charakterisiert ist, wodurch die Universalität einer solchen Organisation über Transformer hinaus erweitert und Vorhersagen der Cognitive Field Theory gestützt werden.

Ursprüngliche Autoren: Byung Gyu Chae

Veröffentlicht 2026-08-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Byung Gyu Chae

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der weiten Landschaft der künstlichen Intelligenz suchen Forscher schon lange nach einem Verständnis dafür, wie Maschinen lernen zu erinnern. Zwei dominante Modellfamilien sind entstanden, um Sequenzen von Informationen zu verarbeiten, wie etwa Wörter in einem Satz oder Frames in einem Video. Die erste Familie, bekannt als Transformer, stützt sich auf einen Mechanismus namens Self-Attention, der es dem Modell ermöglicht, die Bedeutung jedes Informationsstücks gegenüber jedem anderen Stück gleichzeitig abzuwägen. Die zweite Familie, repräsentiert durch neuere Modelle wie Mamba, nutzt einen anderen Ansatz basierend auf Zustandsraumdynamiken, bei dem das Modell einen internen Zustand beibehält, der sich im Laufe der Zeit entwickelt und sein Gedächtnis aktualisiert, während es jedes neue Datensegment verarbeitet. Jahrelang haben Wissenschaftler sich gefragt, ob diese zwei grundlegend unterschiedlichen Arten, über Zeit und Gedächtnis nachzudenken, tatsächlich zu demselben zugrunde liegenden Verhalten tief im Inneren der Maschine führen könnten. Diese Frage ist von Bedeutung, denn wenn verschiedene Architekturen zu denselben Mustern konvergieren, deutet dies darauf hin, dass die Fähigkeit zu lernen und zu erinnern durch universelle Prinzipien gesteuert wird und nicht bloß durch die spezifischen Konstruktionsentscheidungen der Entwickler.

Ein Forscher unternahm den Versuch, diese Idee zu testen, indem er in ein trainiertes Mamba-Modell blickte, um zu sehen, wie dessen Gedächtnis tatsächlich funktioniert. Er konzentrierte sich auf eine spezifische Eigenschaft namens „Zeitskalen-Zustandsdichte“ (time-scale density of states), was im Wesentlichen eine Karte ist, die zeigt, wie viele verschiedene Geschwindigkeiten des Gedächtnisses das Modell besitzt. Stellen Sie sich eine Bibliothek vor, in der Bücher nicht nach Themen sortiert sind, sondern danach, wie schnell sie aus dem Geist eines Lesers verblassen. Einige Bücher werden in Sekunden vergessen, andere in Minuten, und manche bleiben über Jahre bestehen. Der Forscher wollte die Verteilung dieser „Verblasst-Geschwindigkeiten“ im Mamba-Modell untersuchen. Er wusste, dass Mamba über einen eingebauten Mechanismus für das Gedächtnis verfügt, der in Schichten untersucht werden kann: erstens die rohen, internen Gedächtnisgeschwindigkeiten, die in seinem Design kodiert sind; zweitens, wie sich diese Geschwindigkeiten je nach der spezifischen Eingabe ändern, die es erhält; und schließlich die kollektive Gedächtnisgeschwindigkeit des gesamten Blocks, nachdem all seine komplexen Berechnungen abgeschlossen sind.

Der Forscher entdeckte, dass diese drei Schichten nicht identisch sind. Das rohe interne Gedächtnis des Mamba-Modells beginnt mit einem breiten Spektrum an Geschwindigkeiten, aber während das Modell Informationen verarbeitet, skaliert es diese Geschwindigkeiten selektiv um, basierend auf dem, was es gerade liest. Diese eingabebedingte Anpassung ist ein einzigartiges Merkmal von Mamba, das es dem Modell ermöglicht, seine interne Uhr je nach Kontext zu verlangsamen oder zu beschleunigen. Die überraschendste Erkenntnis kam jedoch, als der Forscher das endgültige, kollektive Ergebnis des gesamten Modellblocks betrachtete. Trotz der komplexen Reorganisation der Geschwindigkeiten im Inneren pendelte sich das Endergebnis in einem sehr spezifischen, stabilen Muster ein. Als er die Gedächtnisgeschwindigkeiten über verschiedene Sequenzlängen hinweg maß, stellte er fest, dass das Modell konsistent ein breites, kontinuierliches Spektrum sehr langsamer Erinnerungen entwickelte. Diese langsamen Erinnerungen verschwanden nicht; stattdessen bildeten sie ein glattes, vorhersehbares Kontinuum, das klarer und definierter wurde, je länger die Sequenzen verarbeitet wurden.

Um zu verstehen, ob dies eine Eigenheit des Mamba-Designs oder eine allgemeine Regel intelligenter Systeme war, verglich der Forscher seine Ergebnisse mit dem Verhalten von Transformer-Modellen. Transformer verfügen nicht über dieselbe interne Zustandsraum-Maschinerie wie Mamba; sie verlassen sich stattdessen auf Attention-Mechanismen. Doch als der Forscher die kollektiven Gedächtnisgeschwindigkeiten der Transformer maß, fand er ein frappierend ähnliches Muster. Beide Architekturen entwickelten trotz ihrer völlig unterschiedlichen mikroskopischen Methoden zur Informationsverarbeitung eine nahezu flache Verteilung der Gedächtnisgeschwindigkeiten, die leicht zu den sehr langsamsten, am längsten anhaltenden Erinnerungen hin gewichtet war. In der Sprache der Physik ist dies ein „nahezu marginaler“ Zustand, was bedeutet, dass die Modelle genau an der Schwelle zu einem unendlichen Gedächtnis stehen, was es ihnen ermöglicht, Informationen über lange Zeiträume zu bewahren, ohne stecken zu bleiben.

Die Studie bestätigt, dass diese Langzeitgedächtnis-Organisation nicht nur ein Merkmal eines spezifischen Typs neuronaler Netze ist. Der Forscher zeigte, dass selbst wenn Mamba sein Gedächtnis explizit mit einer anderen mathematischen Struktur aufbaut als Transformer, beide Systeme ihre kollektive Dynamik auf die gleiche Weise organisieren. Er fand heraus, dass sich das Gedächtnisverhalten des Mamba-Modells um einen spezifischen Wert stabilisiert, was auf ein robustes, reproduzierbares Muster hindeutet, das unabhängig von der Sequenzlänge entsteht, sofern die Sequenz lang genug ist, um das vollständige Bild zu offenbaren. Dies legt nahe, dass die Fähigkeit, ein Langzeitgedächtnis aufrechtzuerhalten, eine fundamentale Eigenschaft der gelernten Sequenzverarbeitung ist, die natürlich in verschiedenen architektonischen Formen entsteht. Die Ergebnisse erweitern unser Verständnis darüber, wie künstliche Intelligenz funktioniert, indem sie zeigen, dass unter den oberflächlichen Unterschieden im Design diese leistungsstarken Modelle eine gemeinsame, tiefe Struktur für den Umgang mit Zeit und Gedächtnis teilen.

Titel: Infrarot-Universalität kollektiver Dynamik über Transformer- und State-Space-Architekturen hinweg

Problemstellung
Eine grundlegende offene Frage im Deep Learning ist, ob unterschiedliche neuronale Architekturen trotz der Nutzung verschiedener mikroskopischer Rechenmechanismen gemeinsame kollektive dynamische Verhaltensweisen entwickeln. Jüngste Analysen von Transformer-Sprachmodellen zeigten eine nahezu flache, schwach infrarot-verstärkte Zustandsdichte der Zeitskalen (Time-Scale Density of States, TDOS) in ihren Relaxationsspektren, die mit einer nahezu marginalen Langzeitgedächtnis-Dynamik ( $K(t) \sim 1/t$ ) assoziiert ist. Es bleibt jedoch unklar, ob diese Infrarot-Organisation ein spezifisches Artefakt des Self-Attention-Mechanismus ist oder ein allgemeineres Prinzip der gelernten Sequenzverarbeitung. Um dies zu testen, ist ein Vergleich mit einer Architektur erforderlich, die einen qualitativ anderen Mechanismus für die zeitliche Berechnung verwendet. State-Space-Modelle, insbesondere Mamba, bieten einen solchen Kontrast, da sie anstelle von Self-Attention eine eingabebedingte selektive State-Space-Dynamik nutzen.

Methodik
Die Studie verwendet eine mehrstufige Spektralanalyse eines vortrainierten Mamba-370M-Modells, um zwischen mikroskopischem State-Space-Gedächtnis und makroskopischer kollektiver Organisation zu unterscheiden. Die Methodik verläuft über drei distinkte dynamische Ebenen:

Intrinsisches State-Space-Spektrum: Der Autor analysiert das Eigenwertspektrum des gelernten State-Space-Generators ( $A$ ) und definiert intrinsische Relaxationsraten $\lambda^{int}_i = -\text{Re}(a_i)$ . Dies repräsentiert die Hierarchie der Zeitskalen, die direkt in den Modellparametern kodiert sind, bevor eine Eingabe-Konditionierung erfolgt.
Eingabe-konditioniertes effektives Spektrum: Die Studie untersucht die effektiven Relaxationsraten $\lambda^{eff}_{i,t} = \Delta_t(x) \lambda^{int}_i$ , wobei der eingabebedingte selektive Zeitschritt $\Delta_t(x)$ die intrinsischen Raten während der Inferenz skaliert. Dies erfasst, wie der selektive Mechanismus die Relaxationsskalen basierend auf der Eingangssequenz dynamisch reorganisiert.
Vollständiges Block-Kollektives Spektrum: Der Autor berechnet die Jacobi-Matrix der vollständigen Mamba-Block-Transformation ( $J_\ell = \partial \text{vec}(H_{\ell+1}) / \partial \text{vec}(H_\ell)$ ). Die kollektiven Relaxationsraten sind als $\lambda^{block}_\alpha = -\ln |\zeta_\alpha|$ definiert, wobei $\zeta_\alpha$ die Eigenwerte der vollständigen Block-Jacobi-Matrix sind. Dies misst die kollektive Antwort des gesamten Blocks, einschließlich Projektionen, Gating, Nichtlinearitäten und Residuen-Propagation.

Die kollektive Zeit-Skalen-Zustandsdichte (TDOS), $\rho(\lambda)$ , wird aus diesen Raten konstruiert. Die Analyse variiert systematisch die beibehaltene Sequenzlänge ( $L$ ) von 8 bis 512 Token, um die Konvergenz und Stabilität des Infrarot-Sektors zu testen. Der Infrarot-Skalierungsexponent $\beta$ wird über kumulative Moden-Statistiken ( $N(<\lambda) \propto \lambda^{1+\beta}$ ) über ein festes, gut aufgelöstes Intervall bestimmt, um Binning-Artefakte zu vermeiden. Diese Ergebnisse werden direkt mit früheren Messungen aus Transformer-Modellen (speziell Pythia-410M) unter Verwendung derselben vollständigen Block-Jacobi-Konstruktion verglichen.

Kernergebnisse

Hierarchische Reorganisation: Die intrinsischen, effektiven und vollständigen Block-Spektren sind nicht identisch. Während der gelernte SSM-Generator eine breite intrinsische Hierarchie von Relaxationsraten enthält, reorganisieren der selektive Mechanismus und die nachfolgenden Block-Transformationen diese Hierarchie erheblich. Das kollektive Vollblock-Spektrum ist eine distinkte emergente Eigenschaft und keine direkte Kopie des mikroskopischen SSM-Spektrums.
Emergenz eines kollektiven Infrarot-Kontinuums: Die vollständige Mamba-Dynamik entwickelt ein reproduzierbares langsames Moden-Kontinuum. Mit zunehmender Sequenzlänge wird der Infrarot-Sektor progressiv besser aufgelöst und glatter und dehnt sich zu kleineren Relaxationsraten hin aus.
Infrarot-Skalierungsexponent: Die kumulative Spektralanalyse offenbart eine schwach negative Potenzgesetz-Skalierung $\rho(\lambda) \sim \lambda^\beta$ . Für lange Sequenzen ( $L \ge 64$ ) stabilisiert sich der Exponent nahe $\beta_M \simeq -0.17$ . Dies entspricht einem Gedächtniskern $K(t) \sim t^{-(1+\beta)} \approx t^{-0.83}$ , was nahe am marginalen $1/t$ -Regime liegt.
Architekturunabhängigkeit: Trotz der fundamental unterschiedlichen mikroskopischen Mechanismen (Self-Attention vs. selektive State-Space) weisen Transformer und Mamba eng verwandte kollektive Infrarot-Organisationen auf. Transformer zeigen einen repräsentativen Exponenten von $\beta_{Tr} \sim -0.1$ , während Mamba nahe $\beta_M \sim -0.17$ stabilisiert. Beide Architekturen besetzen ein „nahezu marginales“ Regime, das durch eine breite, nahezu flache, aber schwach infrarot-verstärkte TDOS charakterisiert ist.

Bedeutung und Ansprüche
Die Arbeit behauptet, das explizite mikroskopische State-Space-Gedächtnis von der kollektiven Infrarot-Organisation zu trennen und zeigt, dass unterschiedliche Sequenz-Architekturen ähnliche nahezu marginale Slow-Mode-Dynamiken entwickeln können. Die primäre Bedeutung liegt darin, dass die Infrarot-Organisation nicht exklusiv an den Self-Attention-Mechanismus von Transformern gebunden ist, sondern auch in State-Space-Modellen als auch in deren unterschiedlichen computationalen Wurzeln hervortritt.

Der Autor argumentiert, dass dies darauf hindeutet, dass nahezu marginale Slow-Mode-Dynamiken ein allgemeines dynamisches Prinzip der gelernten Sequenzverarbeitung darstellen könnten, was die Beobachtung der kollektiven Infrarot-Organisation über Transformer hinaus erweitert. Dieser Befund liefert einen unabhängigen Test der durch die Cognitive Field Theory beschriebenen dynamischen Struktur, welche langlebiges makroskopisches Gedächtnis mit der Infrarot-Organisation kollektiver Relaxationsmoden assoziiert. Die Ergebnisse deuten darauf hin, dass sich trotz unterschiedlicher mikroskopischer Implementierungen die makroskopische kollektive Dynamik gelernter Sequenzmodelle einem ähnlichen, physikalisch bedeutsamen Regime annähern kann.

Mehr davon