🤖 AI

Agile Reinforcement Learning through Separable Neural Architecture and Applications

Dieses Paper führt SPAN ein, eine auf Splines basierende adaptive neuronale Architektur für Reinforcement Learning, die im Vergleich zu MLP-Baselines sowohl in Benchmark-Umgebungen als auch in realen HLK-Steuerungsanwendungen die Stichprobeneffizienz und Konvergenzzuverlässigkeit signifikant verbessert, trotz eines moderaten Anstiegs des Rechenaufwands pro Schritt.

Ursprüngliche Autoren: Rajib Mostakim, Reza T. Batley, Sourav Saha

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rajib Mostakim, Reza T. Batley, Sourav Saha

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Gehen beizubringen, eine Drohne zu fliegen oder die Klimaanlage in einem riesigen Rechenzentrum zu steuern. Sie möchten, dass der Roboter so schnell wie möglich lernt, denn jedes Mal, wenn er einen Fehler macht, verschwendet er Energie, nutzt seine Teile ab oder (im Fall des Rechenzentrums) lässt die Server zu heiß werden.

In der Welt der Künstlichen Intelligenz ist das Standardwerkzeug, um diese Roboter zu lehren, eine Art Gehirn namens Multilayer Perceptron (MLP). Stellen Sie sich ein MLP wie ein riesiges, dichtes Spinnennetz vor. Jeder einzelne Punkt im Netz ist mit jedem anderen Punkt verbunden. Wenn man einen Punkt ansticht, vibriert das gesamte Netz. Das ist zwar leistungsstark, aber ineffizient. Es versucht, die ganze Welt auf einmal zu lernen, selbst wenn der Roboter gerade nur einen winzigen Teil davon lernen muss. Das macht das Lernen langsam und erfordert viele „Versuch und Irrtum“-Daten.

Kürzlich entdeckten Wissenschaftler eine andere Art von Gehirnstruktur namens KANs (Kolmogorov-Arnold Networks). Diese sind eher wie ein Satz spezialisierter, lokaler Werkzeuge. Anstatt eines riesigen Netzes verwenden sie kleine, glatte Patches (wie B-Splines), die nur dann aktiviert werden, wenn der Roboter in einer spezifischen Situation ist. Dies ist viel effizienter, aber die ursprünglichen KANs waren so rechenintensiv, dass sie für das Lernen in Echtzeit zu langsam waren.

Enter SPAN: Der „agile“ Lerner

Die Autoren dieser Arbeit haben SPAN (SPline-based Adaptive Networks) vorgestellt. Sie können SPAN als die „Goldlöckchen“-Lösung betrachten: Es behält die Effizienz der lokalen Werkzeuge bei, fügt aber eine intelligente „Übersetzungsschicht“ hinzu, damit sie schnell genug für das Lernen in Echtzeit funktionieren.

So funktioniert SPAN, unter Verwendung einfacher Analogien:

1. Die „Übersetzungsschicht“ (Der Vorverarbeitungsschritt)

Echte Welt-Daten (wie die Außentemperatur oder die Geschwindigkeit eines Autos) sind chaotisch und unvorhersehbar. Sie passen nicht ordentlich in die sauberen, begrenzten Boxen, die die lokalen Werkzeuge von SPAN benötigen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine wilde, formverändernde Wolke in einen perfekten quadratischen Rahmen einzupassen. Wenn man sie einfach erzwingt, bricht sie.
SPANs Lösung: SPAN fügt eine „Übersetzungsschicht“ hinzu (ein einfaches neuronales Netz mit einer Sigmoid-Funktion), die diese wilde Wolke sanft in ein perfektes Quadrat umformt, bevor sie auf die lokalen Werkzeuge trifft. Dies ermöglicht es dem System, mit chaotischen Echtzeit-Daten umzugehen, ohne verwirrt zu werden.

2. Das „Lokale Patch-System“ (Die separierbare Architektur)

Sob-ald die Daten übersetzt sind, betrachtet SPAN nicht das gesamte Bild auf einmal. Es zerlegt das Problem in kleine, handhabbare Stücke.

Die Analogie: Stellen Sie sich vor, Sie malen ein riesiges Wandgemälde.
- MLP (Der alte Weg): Sie versuchen, das ganze Wandgemälde auf einmal zu malen, indem Sie jede Farbe auf jeden Pinsel mischen. Wenn Sie beim Himmel einen Fehler machen, könnten Sie versehentlich auch das Gras verschmieren.
- SPAN (Der neue Weg): Sie verwenden ein Raster aus kleinen, spezialisierten Pinseln. Wenn Sie den Himmel malen, benutzen Sie nur die „Himmelspinsel“. Wenn Sie das Gras malen, benutzen Sie nur die „Graspinsel“. Die Pinsel stören sich nicht gegenseitig.
Der Vorteil: Da SPAN nur die spezifischen „Pinsel“ aktualisiert, die für die aktuelle Situation benötigt werden, lernt es viel schneller und benötigt weit weniger Fehler (Samples), um es richtig zu machen.

Was haben sie herausgefunden?

Die Forscher haben SPAN in drei Hauptbereichen gegen das Standard-MLP getestet:

1. Lerngeschwindigkeit (Sample-Effizienz)

Das Ergebnis: SPAN lernte 30–50 % schneller als das Standard-MLP.
Die Metapher: Wenn das MLP 100 Meilen laufen müsste, um den Schatz zu finden, fand SPAN ihn in nur 50–70 Meilen. In der realen Welt bedeutet dies, dass der Roboter beim Lernen weniger Energie und Zeit verschwendet.

2. Zuverlässigkeit (Erfolgsraten)

Das Ergebnis: SPAN war viel wahrscheinlicher erfolgreich. Bei schwierigen Aufgaben scheiterte das MLP in vielen Versuchen beim Erlernen einer funktionierenden Strategie, während SPAN 1,3- bis 9-mal häufiger Erfolg hatte.
Die Metapher: Wenn Sie einen Fahrer engagieren würden, um durch einen Sturm zu navigieren, könnte der MLP-Fahrer in 50 % der Stürme abstürzen oder sich verlaufen. Der SPAN-Fahrer würde Sie fast jedes Mal sicher ans Ziel bringen.

3. Realwelt-Test: Das Rechenzentrum

Der Test: Sie wandten SPAN auf die Steuerung der Heizung und Kühlung (HVAC) eines realen Rechenzentrum-Simulationsmodells an.
Das Ergebnis: SPAN reduzierte den Energieverbrauch in 9 von 12 Monaten im Vergleich zum MLP. Wichtiger noch: Es reduzierte „Verletzungen des thermischen Komforts“ (Zeiten, in denen die Server zu heiß wurden) um das 1,1- bis 3,4-fache.
Die Metapher: Das MLP war wie ein Thermostat, das zu langsam reagiert und den Raum stickig werden lässt, bevor die Klimaanlage einschaltet. SPAN war wie ein intelligenter, proaktiver Manager, der die Temperatur rechtzeitig anpasst, Geld spart und die Ausrüstung kühl hält.

Das Fazit

Die Arbeit argumentiert, dass die Standard-„Spinnennetz“-Gehirne (MLPs) zwar gut sind, aber oft zu tollpatschig für ressourcenbeschränkte Umgebungen sind. SPAN ist eine neue, „agile“ Architektur, die lokale, glatte Patches verwendet, um effizient zu lernen.

Es lernt nicht nur schneller, sondern auch besser. Obwohl SPAN einen winzigen Moment länger braucht, um jeden einzelnen Schritt zu verarbeiten (wie ein etwas langsamerer Taschenrechner), erledigt es den gesamten Job so viel schneller und zuverlässiger, dass die gesamte Zeit und die Kosten für das Training des Roboters tatsächlich 1,3- bis 6,3-mal niedriger sind als bei der alten Methode.

Kurz gesagt: SPAN ist ein intelligenterer, effizienterer Weg, um Robotern beizubringen, wie sie die physische Welt kontrollieren, wodurch Zeit, Energie und Geld gespart werden.

Technisches Resümee: Agile Reinforcement Learning durch separable neuronale Architektur (SPAN)

1. Problemstellung

Deep Reinforcement Learning (RL) wird zunehmend in ressourcenbeschränkten Umgebungen eingesetzt, wie etwa in der Robotik, auf Edge-Geräten und in industriellen Steuerungssystemen. Die in diesen Szenarien verwendeten Standard-Funktionsapproximatoren – Multilayer-Perzeptrone (MLPs) – weisen jedoch oft eine mangelnde Effizienz auf. MLPs besitzen eine global vernetzte Struktur, die die Repräsentationskapazität unabhängig davon gleichmäßig über den Eingaberaum verteilt, wo die Wertfunktion oder die Policy tatsächlich variiert. Diese architektonische Diskrepanz zur inhärenten lokalen Glattheit von RL-Wertfunktionen (die unter glatten MDP-Dynamiken oft Lipschitz-stetig sind) führt zu hoher Stichprobenkomplexität und unzuverlässiger Konvergenz, insbesondere wenn die Trainingsbudgets begrenzt sind.

Obwohl Techniken zur Modellkompression existieren, operieren diese typischerweise post-hoc auf überparametrisierten Modellen und verbessern nicht die intrinsische Lerneffizienz. Im Gegensatz dazu bieten jüngste Spline-basierte Architekturen wie Kolmogorov-Arnold-Netzwerke (KANs) zwar eine parametereffiziente Struktur, leiden jedoch unter einem prohibitiven Rechenaufwand aufgrund dichter kantenweiser Evaluationen, was ihre Anwendung im Online-RL einschränkt. Es besteht weiterhin ein Bedarf an einem Funktionsapproximator, der sowohl parametereffizient als auch rechnerisch praktikabel für das Online-Lernen ist und explizit auf die lokale Glattheit von Steuerungslandschaften abgestimmt ist.

2. Methodik: SPAN-Architektur

Die Autoren führen SPAN (SPline-based Adaptive Networks) ein, eine neuartige Funktionsapproximationsarchitektur, die darauf ausgelegt ist, diese Einschränkungen zu adressieren. SPAN adaptiert das KHRONOS-Framework (das zuvor für das wissenschaftliche Rechnen validiert wurde) für die spezifischen Anforderungen des Online-RL.

Kernkomponenten der Architektur

Lernbare Vorverarbeitungsschicht: Im Gegensatz zu KHRONOS, das stationäre, normalisierte Eingaben in $[0, 1]^d$ voraussetzt, liefern RL-Umgebungen nicht-stationäre, unbegrenzte Beobachtungen. SPAN führt eine lernbare Vorverarbeitungsschicht ein, die aus einer vollvernetzten Schicht mit Sigmoid-Aktivierung besteht ( $\mathbf{z} = \sigma(\mathbf{W}_{pre}\mathbf{s} + \mathbf{b}_{pre})$ ). Diese Schicht projiziert beliebige Beobachtungen in den beschränkten Bereich, der für die Spline-Basis erforderlich ist, ohne sich auf Batch-Statistiken oder vordefinierte Grenzen verlassen zu müssen. Konzeptuell fungiert dies als eine gelernte Koopman-artige Lifting-Map, die Rohdaten in einen latenten Raum entkoppelt, in dem die Dynamik eine separable Repräsentation zulässt.
Separable Tensorprodukt-Spline-Struktur: Der Kern von SPAN nutzt eine Rang- $M$ Tensorzerlegung mit B-Spline-Basisfunktionen. Für eine Eingabe $\mathbf{x} \in [0, 1]^d$ konstruiert die Architektur $M$ separable Modi:
$\mathcal{M}_j(\mathbf{x}) = \prod_{p=1}^{d} \sum_{i=1}^{N_p} w_{p,j,i} B_i^{(k)}(x_p)$
wobei $B_i^{(k)}$ B-Spline-Basisfunktionen des Grades $k$ sind und $N_p$ die Anzahl der Basisfunktionen pro Dimension darstellt. Der endgültige Output ist eine Linearkombination dieser Modi.
Komplexitätsreduktion: Diese separable Struktur reduziert die Parameterkomplexität von exponentiell $\mathcal{O}(N^d)$ (in vollen Tensor-Gittern) auf linear $\mathcal{O}(M \cdot d \cdot N)$ , wodurch der Fluch der Dimensionalität überwunden wird, der gitterbasierte Spline-Ansätze begrenzt.

Integration in RL-Algorithmen

SPAN ist als Drop-in-Ersatz für MLPs in Standard-Actor-Critic-Frameworks konzipiert. Die Autoren demonstrieren die Integration mit:

Soft Actor-Critic (SAC): Für kontinuierliche Steuerung gibt SPAN die Parameter einer Gaußschen Policy sowie zwei Q-Funktionen aus.
Proximal Policy Optimization (PPO): Für diskrete Steuerung gibt SPAN Action-Logits und Wertschätzungen aus.
Implicit Q-Learning (IQL): Für Offline-RL ersetzt SPAN die MLPs in den Value-, Q-Funktions- und Policy-Netzwerken.

3. Hauptbeiträge

Das Paper leistet drei primäre Beiträge:

Architektonische Anpassung: Die Anpassung des KHRONOS-Frameworks an RL durch eine lernbare Vorverarbeitungsschicht, welche die Lücke zwischen den stationären Eingaben, die von Frameworks für das wissenschaftliche Rechnen angenommen werden, und den nicht-stationären Beobachtungen des RL schließt.
Theoretische Fundierung: Eine formale Verbindung zwischen der lokalen Support-Eigenschaft von SPAN und der Lipschitz-Struktur von RL-Wertfunktionen und -Policies. Die Autoren argumentieren, dass die Basisfunktionen von SPAN, die nur in beschränkten Regionen aktiviert werden, natürlich mit der „Einflussradius“-Eigenschaft von MDPs korrespondieren und die Repräsentationskapazität dort konzentrieren, wo sie benötigt wird.
Umfassende empirische Validierung: Eine weitreichende Evaluierung über Online (PPO, SAC), Offline (IQL) und reale Ingenieursanwendungen hinweg, die Verbesserungen bei der Stichproben-Effizienz, der Konvergenzzuverlässigkeit und den Gesamtkosten des Trainings zeigt.

4. Experimentelle Ergebnisse

Online-Steuerungs-Benchmarks

SPAN wurde gegen MLP-Baselines in Classic Control (CartPole, Acrobot, LunarLander) und MuJoCo Continuous Control Aufgaben (Hopper, InvertedPendulum, Walker2d, HalfCheetah) evaluiert.

Stichproben-Effizienz (Sample Efficiency): SPAN erreichte eine 30–50%ige Verbesserung der Stichproben-Effizienz über die Benchmarks hinweg. Beispielsweise erreichte SPAN bei Hopper 50% der Expertenleistung mit einer Erfolgsrate von 90% in 475k Schritten, während MLP lediglich 10% Erfolg bei 715k Schritten erreichte und bei höheren Schwellenwerten scheiterte.
Erfolgsraten: SPAN zeigte 1,3- bis 9-mal höhere Erfolgsraten über die Benchmarks hinweg. Bei Walker2d konnte MLP keine Lösungen jenseits der 25%-Schwelle finden, während SPAN eine Erfolgsrate von 55% bei der 50%-Schwelle beibehielt.
Anytime-Performance: SPAN zeigte eine überlegene Robustheit gegenüber Hyperparameter-Variationen und eine bessere Leistung bei Zwischen-Checkpoints des Trainings.

Analyse der Rechenkosten

Obwohl SPAN einen pro Schritt höheren Evaluierungsaufwand verursacht (1,2–1,8 mal langsamer als MLP aufgrund der Spline-Evaluation), führt seine überlegene Stichproben-Effizienz und Konvergenzzuverlässigkeit zu niedrigeren erwarteten Gesamtkosten des Trainings.

Berücksichtigt man Konvergenzausfälle (Erfolgsraten), sind die erwarteten Kosten für das Training eines MLP 1,3- bis 6,3-mal höher als die von SPAN. Beispielsweise waren die erwarteten Kosten für ein MLP bei HalfCheetah 4,87-mal höher aufgrund einer geringen Erfolgsrate von 10% am 100%-Schwellenwert.

Offline Reinforcement Learning

Evaluierung auf dem Minari Adroit Hand Manipulation Benchmark mittels IQL:

Auf Experten-Datensätzen übertraf SPAN MLPs signifikant und erzielte eine 20-fache Verbesserung bei der Door-Aufgabe (8,0 vs. 0,4), eine 2,3-fache bei Hammer und eine 3,3-fache bei Relocate.
Bei Datensätzen niedrigerer Qualität (Cloned, Human) waren die Ergebnisse gemischt, was darauf hindeutet, dass der Smoothness-Bias von SPAN am effektivsten ist, wenn die zugrunde liegenden Daten konsistente, glatte Policies aufweisen.

Reale Anwendung: Datacenter HVAC

SPAN wurde auf eine Datacenter-HVAC-Steuerungsaufgabe mit der Sinergym-Umgebung (EnergyPlus Simulation) angewendet.

Energieeffizienz: SPAN reduzierte den Energieverbrauch in 9 von 12 Monaten im Vergleich zu MLP, mit Einsparungen von bis zu 8,1% in Übergangsjahreszeiten.
Thermischer Komfort: SPAN reduzierte Verletzungen des thermischen Komforts (Temperaturen außerhalb von 18–27°C) um den Faktor 1,1–3,4 über das Jahr hinweg. Bemerkenswert ist, dass SPAN im August die Verletzungen im Vergleich zu MLP um den Faktor 12 reduzierte, was zeigt, dass der leicht höhere Energieverbrauch von SPAN in den heißen Sommermonaten ein Trade-off war, um den strengen thermischen Komfort einzuhalten.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass SPAN eine prinzipielle und praktisch lebensfähige Alternative zu MLPs für ressourcenbeschränkte RL-Anwendungen bietet. Die Bedeutung liegt in:

Ausrichtung des Induktiven Bias: Durch die explizite Abstimmung des induktiven Bias der Architektur auf die Lipschitz-Stetigkeit und lokale Glattheit physikalischer Kontrollprobleme erreicht SPAN eine höhere Lerneffizienz, ohne dass eine Post-hoc-Kompression erforderlich ist.
Zuverlässigkeit in beschränkten Regimen: SPAN bietet eine zuverlässigere Konvergenz in Settings, in denen Trainingsunterbrechungen, begrenzte Stichproben oder strikte Speicherbudgets üblich sind.
Generalisierung auf das Ingenieurwesen: Die erfolgreiche Anwendung auf die Datacenter-HVAC-Steuerung zeigt, dass die Vorteile der Architektur, die in synthetischen Benchmarks beobachtet wurden, auch auf reale Ingenieursprobleme mit thermodynamischen Dynamiken und wetterbedingter Nicht-Stationarität übertragbar sind.

Die Autoren räumen Einschränkungen ein und merken an, dass der lokale Smoothness-Bias von SPAN bei Sparse-Reward-Settings mit scharfen Wertfunktionsübergängen weniger effektiv sein kann und das aktuelle Feedforward-Design keine native Unterstützung für Attention oder Rekurrenz bietet. Zukünftige Arbeiten schlagen hybride Architekturen vor, die SPAN mit Transformern für zeitliches Denken kombinieren, sowie Anwendungen in der Fahrzeugfederung und der industriellen Prozessoptimierung.