🤖 AI

Multi-scale Mixture of World Models for Embodied Agents in Evolving Environments

MultiSix ist ein neuartiges Framework für verkörperte Agenten, das das mehrskalige Denken und die Anpassung in sich entwickelnden Umgebungen durch die Einführung einer skalenbewussten Mixture-of-Experts-Architektur mit erfahrungsdistanzbasierter Routensteuerung und skalenabhängigen Vergessensmechanismen verbessert.

Ursprüngliche Autoren: Jinwoo Jang, Daniel J. Rho, Sihyung Yoon, Hyunsuk Cho, Honguk Woo

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jinwoo Jang, Daniel J. Rho, Sihyung Yoon, Hyunsuk Cho, Honguk Woo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Roboter, der versucht, durch ein Haus zu navigieren, das sich ständig verändert. Manchmal müssen Sie nur eine Tasse aufheben (eine einfache, unmittelbare Aufgabe). Ein anderes Mal müssen Sie herausfinden, wie Sie einem Feuer entkommen, das sich durch den Flur ausbreitet (eine komplexe, abstrakte und dringende Situation).

Das Paper stellt ein neues System namens MuSix vor, das darauf ausgelegt ist, Robotern dabei zu helfen, diese verschiedenen Situationen besser zu bewältigen. Dies geschieht, indem es wie ein Team von Spezialisten agiert, wobei der Roboter genau weiß, welchen Spezialisten er rufen muss, basierend darauf, wie „neu“ oder „seltsam“ sich die aktuelle Situation anfühlt.

Hier ist eine Aufschlüsselung der Funktionsweise unter Verwendung einfacher Analogien:

Das Problem: Der „Einheits-Roboter“ (One-Size-Fits-All)

Aktuelle Roboter verwenden oft ein einzelnes „Gehirn“ oder einen festen Satz von Regeln. Die Autoren argumentieren, dass dies ineffizient ist, weil:

Es die Skalierung nicht kennt: Wenn ein Roboter verwirrt ist, versucht er vielleicht, ein hochkomplexes „Philosophen-Gehirn“ zu nutzen, um ein einfaches Problem wie „hebe den Löffel auf“ zu lösen, oder nutzt ein einfaches „Reflex-Gehirn“, um einen komplexen Plan wie „Flucht vor dem Feuer“ zu bewältigen.
Es zu schnell oder zu langsam lernt: Wenn der Roboter sein Wissen jedes Mal aktualisiert, wenn er etwas Neues sieht, könnte er wichtige langfristige Regeln (wie „Feuer ist schlecht“) vergessen. Wenn er nie aktualisiert, kann er nicht lernen, dass ein bestimmtes Zimmer nun brennt.

Die Lösung: MuSix (Das „Spezialistenteam“)

MuSix behandelt das Gehirn des Roboters wie ein Mixture of Experts (eine Mischung aus Experten). Stellen Sie sich ein Krankenhaus mit verschiedenen Abteilungen vor:

Low-Scale-Ärzte: Experten für unmittelbare, physische Details (z. B. „Ist der Boden rutschig?“).
High-Scale-Ärzte: Experten für abstrakte Planung und das große Ganze (z. B. „Was ist der sicherste Fluchtweg?“).

MuSix hat zwei wesentliche Innovationen, um dieses Team perfekt arbeiten zu lassen:

1. Der „Neuheits-Meter“ (Experiential Distance)

Anstatt zu raten, welchen Arzt man rufen soll, besitzt MuSix einen „Neuheits-Meter“. Dieser misst die Experiential Distance (erlebte Distanz).

Die Analogie: Denken Sie an Ihr eigenes Gedächtnis. Wenn Sie in Ihre Küche gehen, fühlt sie sich vertraut an (geringe Distanz). Wenn Sie einen Raum betreten, den Sie noch nie gesehen haben, fühlt er sich seltsam und neu an (hohe Distanz).
Die Funktionsweise: Der Roboter vergleicht die aktuelle Situation mit allem, was er zuvor erlebt hat.
- Vertraute Situation? Der Meter bleibt niedrig. Der Roboter ruft die Low-Scale-Experten, um schnelle, routinemäßige Aufgaben zu erledigen.
- Seltsame/Neue Situation? Der Meter schlägt aus. Der Roboter ruft die High-Scale-Experten, um das große Ganze zu verstehen und eine neue Strategie zu planen.

2. Der „Zweistufige Wechsel“ (Routing)

Alte Systeme wählten einfach zufällig einen Arzt aus oder basierten auf einem vagen Gefühl. MuSix verwendet ein Zweistufiges Routing-System:

Stufe 1: Der „Neuheits-Meter“ entscheidet, welche Ebene der Expertise benötigt wird (Niedrig, Mittel oder Hoch).
Stufe 2: Sob_dem die Ebene gewählt wurde, wird ein spezifischer Experte innerhalb dieser Ebene ausgewählt, um die Arbeit zu erledtigen.
Warum das wichtig ist: Dies stellt sicher, dass der Roboter keine Zeit damit verschwendet, einen komplexen Planer für eine einfache Aufgabe einzusetzen, und nicht einen einfachen Reflex für eine gefährliche Krise nutzt.

3. Das „Gedächtnis-Update-System“ (Evolution)

Der Roboter muss aus neuen Erfahrungen lernen, ohne alte zu vergessen. MuSix handhabt dies mit Scale-Dependent Forgetting (skalenabhängigem Vergessen):

Low-Scale-Gedächtnis (Schnelles Update): Details über die unmittelbare Umgebung (wie „der Boden ist jetzt gerade nass“) ändern sich schnell. MuSix aktualisiert diese Erinnerungen schnell und vergisst sie ebenso schnell, wenn sie nicht mehr wahr sind.
High-Scale-Gedächtnis (Langsames Update): Große Regeln (wie „Fasse kein Feuer an“) sollten stabil bleiben. MuSix aktualisiert diese sehr langsam, damit der Roboter nicht versehentlich Kernprinien wie Sicherheit „verlernt“.
Der Gated Transfer: Manchmal muss eine Erkenntnis auf hoher Ebene (z. B. „Das Feuer breitet sich aus“) die niedrigen Reflexe beeinflussen (z. B. „Laufe nach links“). MuSix besitzt ein „Gate“ (ein Tor), das den Informationsfluss zwischen den Ebenen nur dann ermöglicht, wenn es notwendig ist, um das gesamte Team koordiniert zu halten.

Die Ergebnisse: Funktioniert es?

Die Autoren testeten MuSix in zwei Hauptszenarien:

Komplexes Denken (EmbodiedBench): Bei Aufgaben, die erfordern, dass der Roboter Objekte versteht, Räume navigiert und komplexen Anweisungen folgt, schnitt MuSix besser ab als bisherige Top-Methoden. Es war besonders gut in Aufgaben, die sowohl physische Geschicklichkeit als auch abstrakte Planung erforderten.
Dynamische Katastrophen (HAZARD): Sie simulierten Umgebungen, in denen sich die Bedingungen schnell änderten, wie etwa ein sich ausbreitendes Feuer oder eine steigende Flut. MuSix war besser darin, seine Strategie während des Prozesses anzupassen. Es rettete mehr Objekte und verursachte weniger Schäden an der Umgebung als andere Roboter, da es effektiv zwischen schnellen Reaktionen und strategischer Planung wechseln konnte.

Zusammenfassung

Kurz gesagt: MuSix ist eine intelligentere Art für Roboter, ihr Wissen zu organisieren. Anstatt ein einzelnes Gehirn zu haben, das versucht, alles gleichzeitig zu machen, nutzt es einen „Neuheits-Meter“, um zu entscheiden, ob es einen Reflex (für vertraute Dinge) oder einen Strategen (für neue Dinge) einsetzt. Es aktualisiert zudem sein Gedächtnis mit unterschiedlichen Geschwindigkeiten, je nachdem, wie wichtig die Information ist, wodurch es in einer sich verändernden Welt agil bleibt, ohne seine Grundprinzipien zu verlieren.

Technische Zusammenfassung: MuSix – Multi-Scale Mixture of World Models für verkörperte Agenten

Problemstellung

Verkörperte Agenten (Embodied Agents), die durch Vision-Language-Modelle (VLMs) gesteuert werden, stehen vor erheblichen Herausforderungen beim Betrieb in realen, nicht-stationären Umgebungen. Während jüngste Fortschritte das Befolgen von Instruktionen verbessert haben, kämpfen diese Agenten mit Multi-Scale-Reasoning (der Integration von niederdimensionaler physikalischer Dynamik mit hochgradig abstrakter Inferenz) und der kontinuierlichen Anpassung an wechselnde Bedingungen.

Die Autoren identifizieren zwei spezifische Einschränkungen bei der Anwendung herkömmlicher Mixture of Experts (MoE)-Architekturen in diesem Bereich:

Die Mixture-Herausforderung: Das konventionelle MoE-Routing verfügt über kein explizites Verständnis von „Skalen“. Routing-Entscheidungen basieren auf latenten Repräsentationen, ohne diese an identifizierbare Skalen zu binden, was gezielte Aktualisierungen spezifischer Wissensgranularitäten zur Testzeit verhindert.
Die Evolutions-Herausforderung: Eine einheitliche Update-Policy kann nicht die unterschiedlichen Raten berücksichtigen, mit denen Wissen veraltet. Niedrigschwelliges Wissen (z. B. lokale Dynamiken) ändert sich häufig, während hochgradige Abstraktionen (z. B. Regeln) stabil bleiben. Standard-MoE erzwingt, dass sich alle Experten im gleichen Tempo entwickeln, was eine effektive Anpassung behindert.

Methodik: Das MuSix-Framework

Das Paper schlägt MuSix vor, ein Framework, das Weltmodelle durch skalenbewusstes Mixing und Evolution integriert. Die Kerninnovation besteht darin, Routing-Entscheidungen in der Erfahrungslücke (experiential distance) zu verankern, einem skalaren Maß für situative Neuartigkeit, das von der Construal Level Theory (CLT) inspiriert ist. Die CLT postuliert, dass die psychologische Distanz die Ebene der Abstraktion im menschlichen Denken steuert; MuSix operationalisiert dies, indem es die Lücke zwischen aktuellen Beobachtungen und der kumulierten Erfahrung auf einen kontinuierlichen Skalenraum abbildet.

1. Zwei-stufiges skalenbasiertes Routing

Um die Mixture-Herausforderung zu adressieren, entkoppelt MuSix das Routing in zwei Stufen:

Stufe 1: Meta-Router (Skalenbestimmung): Ein kontinuierlicher Meta-Router ($MR$) bildet die Erfahrungslücke ( $\delta$ $δ$ ) auf eine Gewichtungsfunktion über einen kontinuierlichen Skalenraum ( $S$ $S$ ) ab.
- Erfahrungslücke ( $\delta$ ): Berechnet als Mahalanobis-Distanz zwischen dem Embedding der aktuellen Beobachtung und einer gewichteten Verteilung der vergangenen Erfahrungen des Agenten innerhalb einer Episode. Ein hohes $\delta$ deutet auf Neuartigkeit hin; ein niedriges $\delta$ auf Vertrautheit.
- Skalenbewusster Verlust (Scale-Aware Loss): Eine Verlustfunktion ( $\mathcal{L}_{space}$ ) richtet die erwartete Skalenmagnitude an $\delta$ aus, um sicherzustellen, dass vertraute Situationen zu Modellen mit niedriger Skala (konkrete Muster) geroutet werden und neuartige Situationen zu Modellen mit hoher Skala (abstrakte Generalisierung).
Stufe 2: Basis-Router (Weltmodell-Selektion): Die Skalen-Gewichte des Meta-Routers werden mit den Basis-Router-Scores pro Skala integriert, um eine Top- $k$ -Teilmenge von Weltmodellen aus $G$ Gruppen auszuwählen. Dies stellt sicher, dass die Skala der Routing-Entscheidung explizit ist.

2. Intra- und Inter-Skalen-Wissensanpassung

Um die Evolutions-Herausforderung zu adressieren, führt MuSix Mechanismen für das Training zur Testzeit ein:

Intra-Skalen-Anpassung: Wissensinkremente (abgeleitet aus Vorhersagefehlern) werden basierend auf dem Output des Meta-Routers über die Gruppen verteilt. Entscheidend ist, dass skalenabhängige Vergessensraten angewendet werden: Gruppen mit niedriger Skala haben hohe Vergessensraten (schnelle Erneuerung), während Gruppen mit hoher Skala niedrige Vergessensraten haben (Persistenz stabiler Abstraktionen).
Inter-Skalen-Anpassung: Ein gated cross-scale transfer Mechanismus ermöglicht es Wissen, bidirektional zwischen benachbarten Skalen zu fließen. Gating-Parameter modulieren den Informationsfluss und stellen sicher, dass Updates auf einer Ebene benachbarte Ebenen informieren können, während die hierarchische Kohärenz gewahrt bleibt.

Kernbeiträge

MuSix-Framework: Ein Multi-Scale Mixture of World Models, das dynamisches Mixing und Evolution von Weltmodellen zur Testzeit ermöglicht, fundiert auf der Erfahrungslücke.
Zwei-stufiges Routing: Eine neuartige Routing-Architektur, die die Skalenbestimmung explizit von der Weltmodell-Selektion trennt und so gezielte Updates auf der angemessenen Skala ermöglicht.
Anpassungsmechanismen: Intra- und Inter-Skalen-Anpassungsstrategien, welche die unterschiedlichen zeitlichen Charakteristika respektieren und so eine schnelle Anpassung an transiente Details bei gleichzeitiger Bewahrung stabiler Abstraktionen ermöglichen.
Empirische Validierung: Demonstration der Effektivität des Frameworks auf Benchmarks für Multi-Scale-Reasoning und dynamische Anpassung.

Experimentelle Ergebnisse

Die Autoren evaluierten MuSix auf EmbodiedBench (Multi-Scale-Reasoning) und HAZARD (dynamische Anpassung in Katastrophenszenarien).

EmbodiedBench (Habitat): MuSix erzielte eine Verbesserung von 6,05 Prozentpunkten (p.p.) gegenüber der State-of-the-Art SayCanPay-Baseline (40,44 % vs. 34,39 % durchschnittliche Erfolgsrate). Es zeigte erhebliche Gewinne bei komplexen Denkaufgaben (Cpx) und visuellen Verständnisaufgaben (Vis).
HAZARD (Feuer/Überschwemmung): MuSix erreichte eine Verbesserung von 1,49 p.p. gegenüber FLARE im Feuerszenario (43,71 vs. 42,22 Rettungswert). Im Überschwemmungsszenario waren die Rettungswerte zwar vergleichbar, aber MuSix reduzierte die Schadensrate signifikant (4,65 vs. 6,60–7,49 bei den Baselines), was auf ein effizienteres Verhalten hindeutet.
Reale Robotik: Experimente an einem Franka Research 3 Roboterarm zeigten, dass MuSix in der durchschnittlichen Erfolgsrate vergleichbar mit der stärksten Baseline (SayCanPay) performt (56,2 % vs. 58,4 %), während es die höchste Worst-Case-Performance über diverse Aufgaben hinweg erreichte.
Ablationsstudien: Das Entfernen des Meta-Routers verursachte die größte Leistungsdegradation, was die Notwendigkeit des Zwei-Stufen-Routings bestätigt. Das Deaktivieren der skalenabhängigen Vergessensrate oder des Cross-Scale-Transfers reduzierte ebenfalls konsistent die Leistung, was die Anpassungsmechanismen validiert.

Bedeutung und Ansprüche

Das Paper behauptet, dass MuSix erfolgreich die Limitationen konventioneller MoEs in der verkörperten KI adressiert, indem es Skalenbewusstsein und hierarchische Evolution einführt. Durch die Verankerung des Routings in der Erfahrungslücke ermöglicht das Framework den Agenten:

Dynamisch die angemessene Abstraktionsebene für eine gegebene Situation auszuwählen.
Spezifische Wissensgranularitäten zu aktualisieren, ohne das gesamte System zu stören (Mitigierung von katastrophalem Vergessen).
Die Balance zwischen schneller Anpassung an lokale Veränderungen und der Stabilität hochgradiger Strategien zu halten.

Die Autoren merken an, dass die Effektivität des Frameworks aus dem Routing-Mechanismus selbst resultiert und nicht aus spezifischen Weltmodell-Architekturen, da es über verschiedene architektonische Varianten hinweg robust performte. Sie räumen jedoch bescheiden ein, dass das Framework die Limitationen seines zugrunde liegenden VLM-Backbones erbt und eine breitere Validierung über diverse Roboterplattformen hinweg ein notwendiger nächster Schritt ist.