🤖 AI

Prismatic World Model: Learning Compositional Dynamics for Planning in Hybrid Systems

Das Prismatic World Model (PRISM-WM) adressiert die Einschränkungen monolithischer latenter Weltmodelle in hybriden Robotersystemen durch den Einsatz einer kontextbewussten Mixture-of-Experts-Architektur mit latenter Orthogonalisierung, um komplexe Dynamiken in komponierbare Primitive zu zerlegen, wodurch die Drift bei Rollouts reduziert und eine zuverlässige Planung über lange Horizonte ermöglicht wird.

Ursprüngliche Autoren: Mingwei Li, Xiaoyuan Zhang, Chengwei Yang, Zilong Zheng, Yaodong Yang

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mingwei Li, Xiaoyuan Zhang, Chengwei Yang, Zilong Zheng, Yaodong Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, zu laufen, zu rennen oder einen Stab im Gleichgewicht zu halten. Dafür benötigt der Roboter ein „mentales Modell" der Welt – eine Möglichkeit vorherzusagen, was passieren wird, wenn er sein Bein bewegt oder einen Gegenstand schiebt.

Das Problem ist, dass die reale Welt kantig ist. Die Physik ist nicht immer glatt. Wenn der Fuß eines Roboters den Boden berührt, geht er in einem Bruchteil einer Sekunde von „Fliegen durch die Luft" zu „Feststecken auf dem Boden" über. Dies ist eine plötzliche, scharfe Veränderung.

Das Problem: Der Effekt des „unscharfen Fotos"

Die meisten aktuellen KI-Modelle versuchen, diese Physik zu erlernen, indem sie ein einziges riesiges, universelles Gehirn (ein einzelnes neuronales Netz) verwenden. Stellen Sie sich dies wie den Versuch vor, ein Foto von einem sich schnell bewegenden Auto und einem stehenden Baum gleichzeitig aufzunehmen, wobei die Kamera jedoch leicht unscharf ist. Das Ergebnis ist ein unscharfes Durcheinander.

Die KI versucht, die Zustände „Fliegen" und „Feststecken" zu mitteln. Sie lernt eine glatte, mittlere Physik, die in Wirklichkeit nicht existiert.

Die Folge: Wenn der Roboter versucht, einen langen Pfad zu planen (wie das Gehen über einen Raum), summieren sich diese winzigen „unscharfen" Fehler. Bis der Roboter den zehnten Schritt plant, glaubt er, in der Luft zu schweben, obwohl er sich am Boden befinden sollte. Er stürzt, weil seine mentale Karte falsch ist.

Die Lösung: Das „Prismatische Weltmodell" (PRISM-WM)

Die Autoren entwickelten ein neues System namens PRISM-WM. Es ist nach einem Prisma benannt, dem Glasdreieck, das weißes Licht in einen Regenbogen distincter Farben aufspaltet.

Anstelle eines einzigen unscharfen Gehirns verwendet PRISM-WM ein Team von Spezialisten, die zusammenarbeiten. So funktioniert es, unter Verwendung einfacher Analogien:

1. Die Vermittlungsstelle (Das Gate-Netzwerk)

Stellen Sie sich einen belebten Bahnhof vor. Ein zentraler Vermittlungsstellen-Bediensteter (das Gate-Netzwerk) betrachtet die aktuelle Situation.

Befindet sich der Fuß des Roboters in der Luft?
Berührt er den Boden?
Gleitet er?

Basierend darauf wählt der Bedienstete sofort den richtigen Experten für die Aufgabe aus.

2. Die Spezialisten (Die Experten)

Anstatt eines Generalisten, der alles wissen muss, verfügt PRISM-WM über ein Team von 4 spezialisierten Experten (obwohl die Anzahl variieren kann):

Experte A weiß nur, wie man Bewegung vorhersagt, wenn der Roboter fliegt (springt).
Experte B weiß nur, wie man Bewegung vorhersagt, wenn der Roboter am Boden feststeckt.
Experte C weiß nur über Gleiten Bescheid.

Da sich jeder Experte nur auf eine bestimmte Bewegungsart konzentriert, geraten sie nicht in Verwirrung. Sie versuchen nicht, „Fliegen" und „Feststecken" zu einem unscharfen Mittelweg zu mitteln. Sie sind scharf und präzise.

3. Die „Keine-Überlappung"-Regel (Orthogonalisierung)

Hier kommt der clevere Teil ins Spiel. In vielen Teamsystemen könnten Experten anfangen, dasselbe zu tun (Redundanz). Um dies zu verhindern, fügten die Autoren eine Regel namens Orthogonalisierung hinzu.

Stellen Sie es sich wie einen Aktenschrank vor, in dem jede Schublade vollständig getrennt sein muss.

Wenn Experte A an „Vertikalen Kräften" (Hochspringen) arbeitet, ist es Experte B strengstens untersagt, dieses Thema zu berühren; er muss sich auf „Horizontale Kräfte" (seitliches Gleiten) konzentrieren.
Dies stellt sicher, dass jeder Experte eine einzigartige, sich nicht wiederholende Fähigkeit lernt. Sie treten sich nicht gegenseitig auf die Füße.

Warum dies wichtig ist

Wenn der Roboter einen zukünftigen Pfad plant (wie „Ich werde 10 Sekunden lang laufen"), fragt er diese Spezialisten um Rat.

Alter Weg: Das unscharfe Gehirn rät: „Vielleicht bin ich halbwegs oben?" -> Fehler häufen sich -> Roboter stürzt.
PRISM-WM-Weg: Die Vermittlungsstelle sieht, dass sich der Fuß in der Luft befindet, fragt den „Flug-Experten", erhält eine perfekte Vorhersage und wechselt im Moment des Bodenkontakts zum „Feststeck-Experten".

Die Ergebnisse

Die Studie testete dies an komplexen Robotern, darunter Humanoiden (Roboter, die wie Menschen aussehen) und Multi-Task-Szenarien.

Besseres Gleichgewicht: Die Roboter konnten laufen und rennen, ohne umzufallen, selbst wenn die Physik schwierig wurde.
Längere Planung: Die Roboter konnten weiter in die Zukunft planen, ohne sich in ihren eigenen Fehlern zu verirren.
Transferlernen: Der Roboter lernte in einer Simulation mit „weichen" Physikgesetzen und konnte sofort in einer Simulation mit „harten" Physikgesetzen laufen, ohne alles neu lernen zu müssen. Er wechselte einfach die richtigen Experten.

Zusammenfassung

Die Studie argumentiert, dass man zur Beherrschung komplexer physikalischer Aufgaben kein einziges riesiges, unscharfes Gehirn verwenden sollte. Stattdessen sollte man ein Prisma verwenden, um das Problem in distincte, scharfe Teile zu zerlegen, Spezialisten jeden Teil bearbeiten zu lassen und sicherzustellen, dass sie sich niemals überschneiden. Dies hält die mentale Karte des Roboters klar, genau und bereit für die reale Welt.

Technische Zusammenfassung: Prismatic World Model (PRISM-WM)

1. Problemstellung

Modellbasiertes Reinforcement Learning (MBRL) und die Planung in robotischen Domänen sind grundlegend durch die hybride Natur physikalischer Dynamiken begrenzt. Reale Systeme, insbesondere bei der Fortbewegung von Beintieren und der Manipulation, beinhalten kontinuierliche Bewegungen, die durch diskrete Ereignisse unterbrochen werden (z. B. Kontakte, Impakte, Haften vs. Gleiten). Diese Interaktionen erzeugen nicht-glätte, hochgradig nichtlineare Dynamiken mit scharfen Diskontinuitäten im zugrunde liegenden Vektorfeld.

Konventionelle latente Weltmodelle verwenden typischerweise monolithische neuronale Netze, die eine globale Stetigkeit erzwingen. Obwohl diese Modelle theoretisch zur universellen Approximation fähig sind, lernen sie in der Praxis eine durchschnittliche Darstellung, die unterschiedliche dynamische Modi übermäßig glättet. Für Trajektorienoptimierungsplaner führt diese Überglättung zu kumulierenden Fehlern während langer Vorhersagehorizonte, insbesondere an physikalischen Grenzen. Dies resultiert in:

Spektraler Verschmierung über Kontaktgrenzen hinweg, was zu erheblichen Gradientenmismatches führt.
Kumulierendem Drift in hochdimensionalen Konfigurationsräumen, was langfristige Planung unzuverlässig macht.
Zusammenbruch der Policy in kontaktreichen Umgebungen, in denen Standardmodelle nicht zwischen stabilen und instabilen Regimen unterscheiden können.

2. Methodik: Das Prismatic World Model (PRISM-WM)

Um diese Einschränkungen zu adressieren, stellen die Autoren PRISM-WM vor, eine strukturierte Architektur, die komplexe hybride Dynamiken in zusammensetzbare Primitive zerlegt. Das Modell basiert auf einem kontextbewussten Mixture-of-Experts (MoE)-Rahmenwerk mit einem neuartigen latenten Orthogonalisierungsziel.

Kernarchitektur

Kontextbewusstes Gating: Ein Gating-Netzwerk ( $G$ ) empfängt einen Kontextvektor $c_t$ (bestehend aus Zustand $z_t$ , Aktion $a_t$ und optional Task-Embedding $e_{task}$ ) und erzeugt softmax-normalisierte Gewichte $w_t$ . Dieser Mechanismus identifiziert implizit das aktive physikalische Regime (z. B. Flug vs. Stand), ohne explizite Überwachung.
Spezialisierte Experten: Der Zustand wird an eine Menge von $K$ Expertennetzwerken $\{E_k\}$ weitergeleitet. Jeder Experte spezialisiert sich auf das Erlernen des kontinuierlichen Flusses innerhalb eines spezifischen lokalen dynamischen Regimes und vermeidet so Interferenzen durch konfliktreiche Modi.
Residuale Vorhersage: Der nächste latente Zustand wird als gewichtete Kombination der Expertenausgaben addiert zum aktuellen Zustand vorhergesagt:
$\hat{z}_{t+1} = z_t + \sum_{k=1}^{K} w_{t,k} \cdot v_k(x_t)$
wobei $v_k$ die von dem $k$ -ten Experten vorhergesagte residuale Dynamik darstellt.

Schlüsselinnovation: Latente Orthogonalisierung

Um Modus-Kollaps (bei dem Experten redundante Merkmale lernen) zu verhindern und Diversität sicherzustellen, führt PRISM-WM eine differenzierbare Gram-Schmidt-Orthogonalisierungsschicht ein.

Nachdem jeder Experte einen Vektor der vorletzten Schicht $u_k$ ausgegeben hat, wendet das Modell einen stabilisierten Gram-Schmidt-Prozess an, um orthogonale Basisvektoren $v_k$ zu erzeugen.
Dies erzwingt, dass die Expertenrepräsentationen auf einer Stiefel-Mannigfaltigkeit liegen, wodurch sichergestellt wird, dass sie einen maximalrangigen, nicht-redundanten Unterraum für die residuale Dynamik aufspannen.
Obwohl physikalische Kontaktmodi ungeordnet sind, stellt diese Orthogonalisierung sicher, dass die Experten unterschiedliche Komponenten der residualen Mannigfaltigkeit erfassen, was dem Gating-Netzwerk ermöglicht, ungeordnete physikalische Modi über eine gewichtete Summe wiederherzustellen.

Integration mit der Planung

PRISM-WM ist in das TD-MPC-Planungsrahmenwerk integriert. Durch die Faktorisierung komplexer Dynamiken in nicht-redundante Experten reduziert das Modell das Ein-Schritt-Modellresiduum von $\epsilon$ auf ungefähr $\epsilon/K\alpha$ . Diese strukturelle Zerlegung mildert kumulierenden Drift, ermöglicht hochpräzise Rollouts über lange Horizonte und stabile Gradientenpropagation für das Policy-Lernen.

3. Hauptbeiträge

Architektonische Zerlegung: Einführung von PRISM-WM, das hybride Dynamiken mittels einer kontextbewussten MoE-Architektur in Verbindung mit latenter Orthogonalisierung zerlegt und sich von monolithischen globalen Approximationen löst.
Orthogonalisierungsziel: Ein neuartiges Trainingsziel unter Verwendung differenzierbarer Gram-Schmidt-Orthogonalisierung, um Experten-Diversität zu erzwingen und Modus-Kollaps zu verhindern, wodurch der latente Raum strukturell an diskrete physikalische Übergänge angepasst wird.
Theoretische und empirische Validierung: Nachweis, dass diese Zerlegung kumulierende Fehler in hochdimensionalen Räumen reduziert und die Geometrie der Verlustlandschaft sowohl für die Planung (TD-MPC) als auch für direktes Policy-Lernen (PWM) verbessert.
Zero-Shot-Transferfähigkeit: Belege dafür, dass die orthogonale Basis es dem Modell ermöglicht, sich über Simulatoren mit unterschiedlicher Kontaktphysik hinweg zu generalisieren (z. B. von weichem Kontakt in IsaacGym zu steifem Kontakt in MuJoCo), indem spezifische dynamische Modi isoliert werden (z. B. Reibung vs. vertikale Unterstützung).

4. Experimentelle Ergebnisse

Die Autoren evaluierten PRISM-WM auf Benchmarks für kontinuierliche Steuerung, einschließlich hochdimensionaler Humanoider, Multi-Task-Szenarien und Zero-Shot Sim-zu-Sim-Transfer.

Hochdimensionale Fortbewegung (DiffRL & Humanoid-Bench): PRISM-WM erreichte im Vergleich zu monolithischen Baselines (TD-MPC2, DreamerV3, PWM, SAC) eine höhere Sample-Effizienz und asymptotische Leistung. Bemerkenswert ist, dass monolithische Modelle bei zweibeinigen Fortbewegungsaufgaben (Humanoid, SNU-Humanoid) aufgrund des Mitteln von nicht-glatten Kontakt-Ereignissen einen Policy-Zusammenbruch erfuhren, während PRISM-WM eine stabile Optimierung aufrechterhielt.
Multi-Task-Generalisierung: Auf einem 30-Aufgaben-Benchmark der DeepMind Control Suite erreichte PRISM-WM einen mittleren normalisierten Score von 0,531, eine Verbesserung von 23,5 % gegenüber der monolithischen TD-MPC2-Baseline (0,430). Es übertraf die Baseline bei 26 von 30 Aufgaben und milderte effektiv negativen Transfer zwischen heterogenen Dynamiken.
Zero-Shot Sim-zu-Sim-Transfer: Beim Transfer von IsaacGym zu MuJoCo erlitt die monolithische MLP-Baseline einen Leistungsabfall von 47,8 % bei einer Erfolgsquote von 12 %. PRISM-WM reduzierte diesen Abfall auf 11,8 % bei einer Erfolgsquote von 88 %. Die Orthogonalisierung ermöglichte es dem Modell, Gewichte für spezifische Experten (z. B. horizontale Reibung) anzupassen, ohne die globale Dynamik-Mannigfaltigkeit zu beeinträchtigen.
Stabilität und Effizienz: Ablationsstudien bestätigten, dass Orthogonalisierung die bei unbeschränkten MoE-Modellen beobachtete Verschlechterung der Belohnungsschätzung verhindert. Inferenz-Effizienztests auf einer NVIDIA RTX 4090 zeigten, dass PRISM-WM (K=4) 7.712 FPS erreichte und damit die monolithische Baseline (7.499 FPS) leicht übertraf, bei minimalem Speicher-Overhead.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass PRISM-WM ein hochpräzises Substrat für Trajektorienoptimierungsalgorithmen bietet und als fundamentales Modell für modellbasierte Agenten fungiert. Durch die Zerlegung komplexer Physik in orthogonale Primitive:

Mildert es langfristigen Drift in Planungshorizonten und ermöglicht zuverlässiges Denken über lange Horizonte in kontaktreichen Umgebungen.
Stabilisiert es die Gradientenpropagation für das Policy-Lernen und verwandelt zerklüftete Verlustlandschaften in funktional glatte konvexe Mischungen.
Ermöglicht es robuste Entscheidungsfindung in hybriden Systemen, bei denen Standard-Weltmodelle aufgrund von Überglättung versagen.

Die Autoren kommen zu dem Schluss, dass die Zerlegung komplexer Physik in orthogonale Primitive „grundlegend wesentlich für die Beherrschung kontaktreicher Steuerung" ist. Obwohl das aktuelle Rahmenwerk eine manuelle Anpassung der Expertenanzahl $K$ erfordert, legt die Arbeit eine strukturelle Grundlage für den Aufbau allgemeiner, physikalisch fundierter Weltmodelle für zukünftige verkörperte Agenten.