🤖 machine learning

Hadamard Representation: Scaffolding Performance Across Model-free RL

Das Papier schlägt die Hadamard-Darstellung vor, eine einfache architektonische Modifikation, die Standard-Versteckte-Schichten durch elementweise Produkte zweier unabhängiger Schichten ersetzt, um Neuronenschlaf zu verhindern und den effektiven Rang zu erhöhen, wodurch die Leistung verschiedener modellfreier Reinforcement-Learning-Algorithmen über mehrere Domänen hinweg ohne Hyperparameter-Abstimmung konsistent verbessert wird.

Ursprüngliche Autoren: Jacob E. Kooi, Zhao Yang, Mark Hoogendoorn, Vincent François-Lavet

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jacob E. Kooi, Zhao Yang, Mark Hoogendoorn, Vincent François-Lavet

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen Roboter, Videospiele zu spielen oder wie ein Mensch zu laufen. Sie geben ihm ein „Gehirn", das aus einem tiefen neuronalen Netzwerk besteht, welches im Wesentlichen ein riesiges Team winziger Arbeiter (Neuronen) ist, die Informationen weiterleiten.

Die Arbeit argumentiert, dass diese Roboter, während sie lernen, anfangen, krank zu werden. Konkret hören viele der Arbeiter ganz auf zu arbeiten, und diejenigen, die weiterarbeiten, fangen an, in einer Schleife stecken zu bleiben und denselben nutzlosen Gedanken immer wieder zu wiederholen. Dies macht das Gehirn des Roboters weniger leistungsfähig, obwohl es bereits lange trainiert wurde.

Die Autoren schlagen eine einfache Lösung vor, die Hadamard-Darstellung (HR) genannt wird. Betrachten Sie dies als einen cleveren architektonischen Upgrade, der verhindert, dass das Gehirn krank wird, und ihm hilft, kreativer zu denken.

Hier ist eine Aufschlüsselung des Problems und der Lösung unter Verwendung alltäglicher Analogien:

Das Problem: Die „stummen Saboteure"

In der Welt der KI gibt es zwei Haupttypen von „Arbeitern" (Aktivierungsfunktionen), die zur Verarbeitung von Informationen verwendet werden: ReLU und Tanh.

Der ReLU-Arbeiter (Der „tote" Angestellte):
Stellen Sie sich einen Arbeiter vor, der, wenn er müde oder verwirrt wird, einfach aufhört zu sprechen und eine „0" ausgibt. Wenn er eine Null ausgibt, ignoriert ihn die nächste Person in der Kette vollständig. Es ist wie ein stummer Angestellter, der entlassen wurde; er ist weg, verursacht aber keine Probleme. Das Team arbeitet einfach um ihn herum.
Der Tanh-Arbeiter (Der „stecken gebliebene" Angestellte):
Dies ist der knifflige Fall. Wenn ein Tanh-Arbeiter müde wird, hört er nicht auf zu sprechen. Stattdessen bleibt er stecken und schreit entweder „JA!" (+1) oder „NEIN!" (-1) für immer, egal wie die Situation ist.
- Die Gefahr: Da sie immer noch schreien, hört die nächste Person in der Kette zu. Da der Schrei jedoch immer derselbe ist, wirkt er wie eine versteckte, unveränderliche Verzerrung. Es ist wie ein festgefahrener Radio, der im Hintergrund dasselbe Lied spielt und das Gespräch verzerrt. Der Roboter hält dieses konstante Rauschen für Teil der realen Welt, was seine Entscheidungen durcheinanderbringt. Die Arbeit nennt dies, wie das Netzwerk „still korrumpiert" wird.

Die Lösung: Die „Hadamard-Darstellung" (HR)

Die Autoren schlagen eine einfache Lösung vor: Anstatt dass ein Arbeiter die Arbeit erledigt, lassen Sie zwei unabhängige Arbeiter die Arbeit erledigen und lassen Sie sie dann ihre Antworten miteinander multiplizieren.

Stellen Sie sich ein Komitee vor, das eine Entscheidung trifft.

Alter Weg: Eine Person spricht. Wenn sie feststeckt und „JA" schreit, ist das gesamte Komitee zu „JA" verzerrt.
Neuer Weg (HR): Zwei Personen sprechen unabhängig voneinander. Die endgültige Entscheidung wird nur getroffen, wenn beide sich auf eine bestimmte Kombination ihrer Gedanken einigen.

Dies erzeugt zwei leistungsstarke Vorteile:

1. Der „Sicherheitsnetz"-Effekt (Das Stoppen des festgefahrenen Schreis)

Damit die „festgefrorenen" Tanh-Arbeiter nutzlos werden, müssten beide unabhängigen Arbeiter genau zur gleichen Zeit feststecken.

Analogie: Stellen Sie sich zwei Personen vor, die versuchen, in einem Schlammloch stecken zu bleiben. Es ist schwierig, für eine Person, stecken zu bleiben. Es ist äußerst unwahrscheinlich, dass zwei Personen, die an verschiedenen Stellen stehen, genau auf die gleiche Weise zur gleichen Zeit stecken bleiben.
Ergebnis: Die „festgefrorenen" Arbeiter werden viel seltener. Das Gehirn bleibt flexibel und wird nicht durch diese versteckten, konstanten Verzerrungen korrumpiert.

2. Der „Doppelte Sicht"-Effekt (Reichhaltigeres Denken)

Selbst wenn die Arbeiter nicht feststecken, erzeugt das Hinzuziehen von zwei Personen, die das Problem betrachten und ihre Erkenntnisse multiplizieren, ein viel reichhaltigeres Gespräch.

Analogie: Wenn Sie eine Person bitten, eine Katze zu beschreiben, sagt sie vielleicht „pelzig". Wenn Sie zwei Personen bitten und ihre Beschreibungen multiplizieren, erhalten Sie möglicherweise ein komplexes Verständnis wie „pelzig UND schnell".
Ergebnis: Der Roboter kann komplexere Muster verstehen, ohne mehr Arbeiter einstellen zu müssen (mehr Neuronen hinzufügen). Er wird intelligenter, ohne größer zu werden.

Was sie herausfanden

Die Forscher testeten diese Idee an drei sehr unterschiedlichen Arten von Herausforderungen:

Atari-Spiele spielen: (Wie Pong oder Breakout). Hier war das Problem des „festgefrorenen Arbeiters" enorm. Die Verwendung von HR ließ die Roboter deutlich besser spielen und schlug die alten Methoden mit großer Differenz.
Laufende Roboter (zustandsbasiert): Roboter, die lernen, Sensoren zu nutzen, um zu laufen (wie ein Roboterhund). Hier war das Problem des „festgefrorenen Arbeiters" selten, aber der „Doppelte Sicht"-Effekt half den Robotern dennoch, schneller zu lernen und besser zu laufen.
Laufende Roboter (visuell basierend): Roboter, die lernen, nur durch Betrachten eines Kamerabildschirms zu laufen. Auch hier verbesserte HR die Leistung, ohne dass zusätzliche Anpassungen erforderlich waren.

Das Fazit

Die Arbeit zeigt, dass Deep-Learning-Agenten oft ihre Fähigkeit zum Lernen verlieren, weil ihre internen „Arbeiter" in schlechten Gewohnheiten stecken bleiben. Indem sie die Architektur einfach so änderten, dass zwei parallele Pfade verwendet werden, die ihre Ergebnisse multiplizieren, schufen die Autoren ein System, das:

Verhindert, dass Arbeiter in einer Schleife stecken bleiben.
Dem Gehirn erlaubt, komplexere Ideen zu verstehen, ohne größer zu werden.
Bei vielen verschiedenen Arten von Robotern und Spielen funktioniert, ohne dass die Einstellungen angepasst werden müssen.

Es ist eine kleine strukturelle Änderung, die wie ein Impfstoff gegen die „Gehirnfäule" wirkt, die während langer Trainingssitzungen auftritt.

Technische Zusammenfassung: Hadamard-Darstellung: Gerüstleistung über modellfreies RL hinweg

Problemstellung

Deep-Reinforcement-Learning-(RL-)Agenten leiden während des Trainings unter einem progressiven Verlust der Darstellungskapazität. Dies zeigt sich in zwei Hauptformen: Neuronen werden inaktiv (verlieren Plastizität) und der effektive Rang kollabiert (Redundanz unter den überlebenden Neuronen). Während bestehende Abhilfen wie periodische Zurücksetzungen oder spezialisierte Architekturen existieren, sind diese oft algorithmus- oder domänenspezifisch.

Ein kritischer, unzureichend analysierter Fehlermodus betrifft glatte Aktivierungsfunktionen, insbesondere tanh. Im Gegensatz zum Phänomen des „sterbenden ReLU", bei dem inaktive Neuronen Null ausgeben und effektiv beschneidet werden, kollabieren gesättigte tanh-Neuronen zu nicht-null Konstanten ( $\pm 1$ ). Die Autoren zeigen, dass diese gesättigten Neuronen nicht nur das Lernen einstellen; sie korrumpieren nachgelagerte Schichten aktiv, indem sie ihre ausgehenden Gewichte in feste, input-unabhängige Bias-Werte umwandeln. Diese „stille" Verzerrung verschlechtert die Leistung, selbst wenn die Anzahl der inaktiven Neuronen niedriger ist als in ReLU-Netzwerken.

Methodik: Hadamard-Darstellung (HR)

Die Autoren schlagen eine einfache, direkt einsetzbare architektonische Modifikation namens Hadamard-Darstellung (HR) vor. Anstelle einer Standard-Versteckten Schicht $z(x) = f(Ax + b)$ ersetzt HR diese durch das elementweise Produkt zweier unabhängig parametrisierter Zweige:

$z(x) = f(A_1x + b_1) \odot f(A_2x + b_2)$

wobei $f$ die Aktivierungsfunktion ist (z. B. tanh oder ReLU) und $(A_1, b_1)$ sowie $(A_2, b_2)$ unabhängige Sätze von Gewichten und Bias-Werten darstellen.

HR wirkt über zwei komplementäre Mechanismen:

Widerstand gegen Sättigung (Mechanismus 1):
- Für tanh wird ein Neuron nur dann inaktiv (gesättigt), wenn beide unabhängigen Zweige gleichzeitig sättigen. Unter der Annahme der Unabhängigkeit sinkt die Wahrscheinlichkeit eines Kollapses von $p$ (Sättigung eines einzelnen Zweigs) auf $p^2$ . Dies reduziert das Auftreten inaktiver tanh-Neuronen erheblich.
- Umgekehrt tritt bei ReLU Sättigung (Ausgabe von Null) ein, wenn einer der Zweige sättigt. Die Wahrscheinlichkeit eines Kollapses steigt auf $2p - p^2$ . Somit ist HR für tanh vorteilhaft, aber für ReLU in Regimen mit hoher Inaktivität nachteilig.
- Dieser Mechanismus verhindert die „stille Korrumpierung" nachgelagerter Schichten, indem sichergestellt wird, dass Gradienten nicht so leicht verschwinden und Neuronen nicht in feste Bias-Werte einrasten.
Multiplikative Ausdruckskraft (Mechanismus 2):
- Unabhängig von der Inaktivität erfasst die multiplikative Struktur zweite Ordnung Interaktionen zwischen zwei Ansichten des Inputs. Dies erweitert die Funktionsklasse bei fester Schichtbreite und erhöht den effektiven Rang der versteckten Darstellungen.
- Dieser Mechanismus bietet Vorteile auch in Regimen, in denen inaktive Neuronen bereits selten sind (z. B. in state-of-the-art Methoden für kontinuierliche Steuerung mit LayerNorm) und wirkt als unabhängige Quelle für Darstellungsgewinne.

Hauptbeiträge

Identifizierung eines einzigartigen Fehlermodus: Das Papier identifiziert, dass gesättigte tanh-Neuronen strikt schädlicher sind als inaktive ReLU-Neuronen, da sie feste Bias-Werte einführen, anstatt beschneidet zu werden.
Architektonische Lösung (HR): Einführung einer leichten, symmetrischen multiplikativen Schicht, die die Kollaps-Wahrscheinlichkeit für tanh quadratisch reduziert und gleichzeitig den effektiven Rang erhöht.
Mechanismus-Analyse: Theoretische und empirische Trennung der Vorteile von HR in „Widerstand gegen Sättigung" (dominant in Settings mit hoher Inaktivität) und „multiplikative Ausdruckskraft" (dominant in Settings mit niedriger Inaktivität).
Hyperparameter-freie Verbesserung: HR verbessert die Leistung über diverse Algorithmen und Domänen hinweg, ohne dass eine Hyperparameter-Abstimmung erforderlich ist.

Experimentelle Ergebnisse

Die Autoren bewerteten HR über fünf Algorithmen und drei verschiedene Domänen hinweg:

Pixelbasierte diskrete Aktionen (Atari):
- DQN & PPO: Bei 8 Atari-Spielen reduzierte HR, angewendet auf tanh-Aktivierungen, den Anteil inaktiver Neuronen um ca. 23 % und erhöhte den effektiven Rang, was zu Leistungsgewinnen von über 10 % gegenüber starken Baselines führte.
- PQN: Bei einer groß angelegten Evaluation von 51 Atari-Spielen verbesserte HR mit tanh die medianen, menschlich-normalisierten Scores um über 100 % im Vergleich zu Standard-tanh und schloss die Leistungslücke zu ReLU, während ein höherer effektiver Rang beibehalten wurde.
- Vergleich: HR schnitt besser ab als andere Plastizitätserhaltende Methoden wie CReLU und ReDo.
Zustandsbasierte kontinuierliche Steuerung (HumanoidBench):
- Unter Verwendung von SimbaV2 (eine state-of-the-art Methode mit vernachlässigbaren Raten inaktiver Neuronen) verbesserte HR die Leistung dennoch um 18 %. Dies bestätigt, dass Mechanismus 2 (multiplikative Ausdruckskraft) Gewinne antreibt, selbst wenn Inaktivität nicht die primäre Engstelle ist.
Visuelle kontinuierliche Steuerung (DMC-Visual):
- Unter Verwendung von MR.Q bei visuellen Aufgaben verbesserte HR die Leistung um 17 %.
- Bei erweiterter Trainingszeit auf schwierigen Humanoid-Aufgaben erreichte MR.Q + HR die Leistung der state-of-the-art Methode XQC und übertraf sowohl die MR.Q-Baseline als auch DrQ-v2.

Ablationsstudien:

Parameteranzahl: Die Autoren verglichen HR mit „verbreiterten" Baselines bei angepasster Parameteranzahl. Das Verbreitern des Netzwerks verschlechterte oft die Leistung (z. B. -46 % bei DQN) oder bot nur minimale Gewinne, während HR die Ergebnisse konsistent verbesserte. Dies schließt die Parameteranzahl als alleinige Erklärung für die Verbesserungen aus.
Stapelung: Das Stapeln mehrerer HR-Blöcke (2HR) brachte keinen zusätzlichen Nutzen gegenüber einem einzelnen HR-Block, was darauf hindeutet, dass die erste Schicht ausreicht, um die Darstellungsgewinne zu erfassen.

Bedeutung und Behauptungen

Das Papier behauptet, dass die Hadamard-Darstellung eine universelle, architekturebene Lösung für den Verlust der Darstellungskapazität im modellfreien RL bietet. Ihre Bedeutung liegt in:

Universalität: Sie verbessert die Leistung über wertbasierte (DQN), policy-gradient-basierte (PPO) und vektorisierte (PQN) Algorithmen hinweg sowie bei zustandsbasierter und visueller kontinuierlicher Steuerung.
Einfachheit: Sie erfordert keine Hyperparameter-Abstimmung und kann als direkt einsetzbare Schicht-Ersetzung in bestehende Codebasen integriert werden.
Theoretische Einsicht: Sie reframt das Verständnis von „inaktiven" Neuronen und hebt hervor, dass bei glatten Aktivierungen Inaktivität eine aktive Fehlerquelle (Bias-Injektion) und kein passives Beschneiden ist.
Zukunftspotenzial: Die Autoren schlagen vor, dass das Potenzial von nicht-stückweise-linearen Aktivierungen in RL unterschätzt wurde und dass HR neue Wege für das architektonische Design sowohl im RL als auch in breiteren maschinellen Lernkontexten eröffnet.

Die Arbeit kommt zu dem Schluss, dass HR, obwohl eine minimale Änderung, eine fundamentale Einschränkung in den Trainingsdynamiken des Deep RL adressiert und konsistente Gewinne liefert, wo andere Methoden versagen oder spezifische Domänenanpassungen erfordern.