💻 computer science

TEXEDO : Test Time Scaling for Controller-aware Language-conditioned Humanoid Motion Generation

TEXTEDO ist ein Test-Time-Scaling-Framework, das die textgesteuerte humanoide Bewegungsgenerierung verbessert, indem es mehrere Kandidaten sampelt und den optimalen basierend auf einem Belohnungsmodell auswählt, welches die dynamische Durchführbarkeit als harte Nebenbedingung erzwingt und gleichzeitig die semantische Übereinstimmung maximiert, wodurch sichergestellt wird, dass die generierten Bewegungen sowohl ausführbar als auch aufgabenorientiert sind, ohne dass ein stärkerer zugrunde liegender Generator erforderlich ist.

Ursprüngliche Autoren: Jianuo Cao, Yuxin Chen, Yuzhen Song, Masayoshi Tomizuka, Chenran Li, Thomas Tian

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jianuo Cao, Yuxin Chen, Yuzhen Song, Masayoshi Tomizuka, Chenran Li, Thomas Tian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Regisseur, der versucht, einem sehr talentierten, aber etwas tollpatschigen Roboter-Tänzer eine bestimmte Choreografie beizubringen, die auf einem einfachen Satz basiert wie: „Eine Person dreht sich nach links, während sie fröhlich sich bewegt.“

Sie verfügen über zwei Hauptwerkzeuge:

Der Skriptschreiber (Der Generator): Eine superintelligente KI, die Tausende von verschiedenen Tanzbewegungen basierend auf Ihrem Satz schreiben kann. Sie ist großartig darin, die Geschichte und den Vibe des Tanzes zu verstehen.
Der Choreograf (Der Controller): Ein physischer Roboter Körper mit einem Gehirn, der tatsächlich versucht, die Gliedmaßen zu bewegen. Dieser Robot hat strikte Grenzen: Er kann nicht auf einem Bein balancieren, wenn die Bewegung zu schnell ist, er kann sich nicht drehen, wenn seine Motoren zu schwach sind, und er könnte umkippen, wenn das Timing nicht stimmt.

Das Problem:
Normalerweise schreibt der Skriptschreiber einen Tanz, der in Worten perfekt klingt, aber physisch unmöglich für den Roboter ist. Der Roboter versucht, den Anweisungen zu folgen, rutscht, fällt oder erstarrt einfach, weil die Bewegung gegen die Gesetze der Physik oder die Batterielimits des Roboters verstößt.

Die Lösung: TEXEDO
Das Paper stellt eine neue Methode namens TEXEDO (Text-See-Do) vor. Anstatt nur die erste Tanzbewegung zu nehmen, die der Skriptschreiber schreibt, und es zu versuchen, fungiert TEXEDO wie ein kluger Produzent, der vor der Show ein „Casting“ durchführt.

So funktioniert es, Schritt für Schritt:

1. TEXT: Das Casting (Sampling)

Anstatt den Skriptschreiber nach nur einer Tanzbewegung zu fragen, bittet TEXEDO ihn, 32 verschiedene Versionen desselben Tanzes zu generen.

Analogie: Stellen Sie sich vor, Sie bitten einen Autor, 32 verschiedene Versionen einer Szene zu entwerfen. Einige könnten wild sein, einige sicher, einige schnell, einige langsam.

2. SEE: Die Jury (Verifizierung)

Nun hat TEXEDO einen Pool von 32 Kandidaten. Es muss den Gewinner auswählen. Es verwendet zwei spezialisierte „Richter“, um jeden zu bewerten:

Richter A: Der Physik-Coach (Dynamic Feasibility Verifier)
- Was er tut: Er betrachtet eine Tanzbewegung und fragt: „Kann der Roboter das wirklich machen, ohne umzukippen?“ Er prüft das Gleichgewicht, die Fußplatzierung und die Motorstärke.
- Die Metapher: Dies ist wie ein Turncoach, der eine Übung betrachtet und sagt: „Du kannst diesen Salto nicht machen, du wirst dir den Knöchel brechen.“ Er filtert Bewegungen heraus, die physisch unmöglich sind.
- Entscheidender Punkt: Dieser Richter ist „controller-bewusst“, was bedeutet, dass er die spezifischen Grenzen dieses Roboters kennt und nicht nur einen generischen Menschen.
Richter B: Der Geschichtenerzähler (Semantic Alignment Verifier)
- Was er tut: Er betrachtet die Tanzbewegung und fragt: „Sieht das wirklich nach ‚fröhlichem Bewegen‘ aus?“ Er prüft, ob der Roboter lächelt (metaphorisch), sich dreht und glücklich aussieht, oder ob er einfach nur regungslos dasteht.
- Die Metapher: Dies ist wie ein Regisseur, der eine Probe beobachtet und sagt: „Das ist ein toller Salto, aber der Charakter sollte traurig und nicht fröhlich sein.“

3. DO: Die endgültige Entscheidung (Selektion)

TEXEDO wählt nicht einfach den höchsten Score. Es nutzt eine spezifische Strategie: Sicherheit zuerst, Stil zweitrangig.

Der harte Filter: Es wirft sofort jede Bewegung weg, von der Richter A (der Physik-Coach) sagt, dass sie gefährlich oder unmöglich ist. Selbst wenn eine Bewegung wie ein perfekter „fröhlicher Pivot“ aussieht, wenn der Roboter dabei stürzt, ist sie weg.
Die endgültige Wahl: Aus den verbleibenden „sicheren“ Bewegungen wählt es diejenige aus, von der Richter B (der Geschichtenerzähler) sagt, dass sie am meisten „fröhlich“ ist.

Warum das besonders ist:

Kein Re-Training: Sie müssen weder den Skriptschreiber noch den Roboter neu lehren. Sie fügen einfach diesen „Casting“-Schritt in der Mitte hinzu.
Bessere Ergebnisse: Das Paper zeigt, dass der Roboter dadurch seltener stürzt (bessere Sicherheit) und besser aussieht, als würde er tatsächlich das tun, was Sie verlangt haben (besseres Storytelling).
Funktioniert bei neuen Robotern: Sie haben dies am Unitree G1 Roboter getestet, und es hat funktioniert. Sie haben es auch an einem anderen KI-Generator (Kimodo) getestet, ohne die Richter neu zu trainieren, und es hat immer noch funktioniert.

Zusammenfassend:
TEXEDO ist ein „Qualitätskontrollsystem“ für Roboter-Tanz. Es generiert viele Optionen, filtert diejenigen heraus, die dazu führen würden, dass der Roboter abstürzt, und wählt dann diejenin aus, die am besten zu Ihren Worten passt. Es verwandelt eine „Vielleicht funktioniert es“-Situation in eine „Es funktioniert definitiv“-Situation, ohne die zugrunde liegenden KI-Gehirne zu verändern.

Technisches Resümee: TEXEDO

Problemstellung

Die textgesteuerte Bewegungsgenerierung hat sich als vielversprechende Schnittstelle für die Programmierung humanoider Roboter etabliert, doch es besteht eine kritische Diskrepanz zwischen dem Bewegungsgenerator und dem Ganzkörperregler (Whole-Body Controller). Aktuelle Generatoren werden typischerweise auf menschlichen Bewegungsdatensätzen trainiert, die auf Roboter-Morphologien retargetiert wurden. Während diese Modelle zwar reiche semantische kinematische Priors erfassen, fehlt ihnen die Kenntnis über die spezifischen Randbedingungen des nachgeschalteten Reglers, wie etwa Balancengrenzen, Kontaktzeitpunkte, Aktuatorsättigung und reglerspezifische Fehlermodi. Infolgedessen können die generierten Bewegungen semantisch plausibel, aber dynamisch nicht durchführbar sein, was zu Einsatzfehlern wie Stürzen, unkorrekten Kontakten oder Aktuatorsättigung führt.

Bestehende Ansätze behandeln Generierung und Steuerung oft als schwach gekoppelt. Während das Sprachmodellierung erfolgreich „Test-Time Scaling“ (Sampling mehrerer Kandidaten und Auswahl des besten via eines Verifiers) eingesetzt hat, um die Generierungsqualität zu verbessern, erfordert die Anwendung auf humanoide Bewegungen ein „geerdetes“ Verständnis von Qualität. Ein Kandidat muss nicht nur mit dem Text-Prompt übereinstimmen, sondern muss auch durch den spezifischen Ganzkörper-Tracker auf der spezifischen Hardware-Plattform ausführbar sein.

Methodik: TEXEDO (Text-See-Do)

TEXEDO ist ein Test-Time-Scaling-Framework, das darauf ausgelegt ist, einen gefrorenen, vorab trainierten Text-zu-Bewegung-Generator in ein controller-bewusstes Bewegungssystem zu konvertieren, ohne den Generator oder den Tracker zu modifizieren. Die Pipeline operiert in drei Stufen:

1. TEXT: Kandidaten-Sampling

Gegeben eine natürliche Sprachinstruktion $\ell$ , sampelt ein sprachbedingter Generator $G$ (z. B. FSQ-GPT) eine Menge von $N$ Kandidaten-Referenz-Trajektorien $\{m_i\}_{i=1}^N$ . Der Generator wird als Black Box behandelt; das Framework stützt sich lediglich auf die dekodierten Trajektorien.

2. SEE: Geerdetes Verifizieren

Jeder Kandidat wird durch zwei komplementäre, geerdete Verifier bewertet:

Dynamischer Machbarkeits-Verifier ( $R_{dyn}$ ): Dieser Verifier sagt voraus, ob eine Bewegung erfolgreich durch den Einsatzzeitpunkt-Controller verfolgt werden kann. Er wird durch Offline-Rollouts des tatsächlichen Trackers (z. B. SONIC) destilliert.
- Oracle-Signal: Offline-Rollouts erzeugen drei Signale: binären Erfolg ( $y_s$ ), Tracking-Qualität ( $q_d$ ) und Fortschrittsrate ( $q_g$ ). Diese werden in einen einzelnen Oracle-Qualitätswert $Q^*$ zusammengeführt.
- Surrogat-Modell: Ein leichtgewichtiger temporaler Transformer wird trainiert, um diese Signale direkt aus der Bewegung $m$ vorherzusagen und $R_{dyn}(m)$ auszugeben. Dies vermeidet die prohibitiven Kosten vollständiger Rollouts zur Auswahlzeit.
Semantischer Ausrichtungs-Verifier ( $R_{text}$ ): Dieser Verifier misst die Übereinstimmung zwischen dem Text-Prompt und der Bewegung.
- Architektur: Bidirektionale GRU-Encoder für Text und Bewegung werden unter Verwendung eines kontrastiven Verlusts auf dem Zielroboter-Skelett trainiert.
- Scoring: Der Score ist definiert als der exponentierte negative Embedding-Abstand zwischen den Text- und Bewegungs-Encodings, $R_{text}(\ell, m) = \exp(-\|\phi_{text}(\ell) - \phi_{motion}(m)\|^2)$ .

3. DO: Asymmetrische Selektion

TEXEDO verwendet eine Filter-dann-Rerank-Strategie, um die finale Bewegung $\hat{m}$ auszuwählen:

Filter: Kandidaten, die als dynamisch unmachbar vorhergesagt werden ( $R_{dyn} < \theta$ ), werden verworfen. Dies behandelt die dynamische Machbarkeit als harte Randbedingung, um Sicherheit und Ausführbarkeit zu gewährleisten.
Rerank: Aus der verbleibenden machbaren Menge wird der Kandidat mit der höchsten semantischen Ausrichtung ( $R_{text}$ ) ausgewählt.
Fallback: Falls kein Kandidat den dynamischen Filter besteht, wird der Kandidat mit dem höchsten $R_{dyn}$ ausgewählt, um die Chance auf Ausführbarkeit zu maximieren.

Zentrale Beiträge

Problemformulierung: Die Arbeit formuliert die controller-bewusste, sprachbedingte humanoide Bewegungsgenerierung als ein Test-Time-Scaling-Problem und nutzt zusätzliche Inferenzzeit-Samples, um die einzelne an den Roboter gesendete Referenzbewegung zu verbessern.
Dualer Verifier-Entwurf: Sie führt zwei geerdete Verifier ein:
- Einen dynamischen Machbarkeits-Verifier, der aus Tracker-Rollouts destilliert wurde, um die physische Ausführbarkeit vorherzusagen.
- Einen semantischen Ausrichtungs-Verifier, der auf Roboter-Skelett-Bewegungen trainiert wurde, um die Text-Bewegungs-Ausrichtung zu messen.
Asymmetrische Selektionsstrategie: Das Paper schlägt eine Filter-dann-Rerank-Regel vor, die die dynamische Machbarkeit als harte Bedingung priorisiert, bevor sie auf die semantische Ausrichtung optimiert. Dies löst das Spannungsverhältnis zwischen den beiden konkurrierenden Kriterien und stellt sicher, dass die gewählte Bewegung sowohl sicher als auch semantisch treu ist.

Experimentelle Ergebnisse

Das Framework wurde auf einem Unitree G1 Humanoid unter Verwendung des SONIC Ganzkörper-Controllers evaluiert, wobei die Experimente von der Simulation bis zum Realwelt-Einsatz reichten.

Effektivität des Test-Time-Scalings:
- Eine Erhöhung der Kandidatenmenge ( $N$ ) verbessert die Leistung konsistent.
- Eine $R_{dyn}$ -alleinige Selektion erreicht eine hohe Tracking-Erfolgsrate (0.990), führt aber zu einer Verschlechterung der semantischen Ausrichtung (VLM-Judge-Score sinkt auf 4.924).
- Eine $R_{text}$ -alleinige Selektion erreicht eine hohe semantische Ausrichtung (6.110), bietet aber nur minimale Verbesserungen beim Ausführungserfolg (0.885).
- TEXEDO balanciert beide Faktoren erfolgreich aus und erreicht eine Tracking-Erfolgsrate von 0.984 sowie einen VLM-Judge-Score von 6.054 (bei $N=32$ ), was die Baseline ( $N=1$ ) mit 0.873 Erfolg und 5.722 Ausrichtung signifikant übertrifft.
Zero-Shot-Generalisierung:
- Generator-Agnostisch: Bei der Anwendung auf einen ungesehenen Generator (Kimodo) ohne erneutes Trainieren der Verifier verbesserte TEXEDO sowohl die Ausführungsqualität als auch die semantische Ausrichtung, was zeigt, dass die Selektionskriterien über Generator-Architekturen hinweg transferierbar sind.
- Out-of-Distribution (OOD): Bei Prompts aus dem ungesehenen BONES-SEED Datensatz verbesserte TEXEDO den Tracking-Erfolg von 0.860 auf 0.980 und reduzierte die Tracking-Fehler signifikant, was eine robuste Generalisierung auf OOD-Prompts zeigt.
Real-World-Deployment:
- TEXEDO wurde auf einem physischen Unitree G1 über 30 diverse Prompts (Lokomotion, Gesten, Kombinationen) hinweg eingesetzt.
- Es führte alle 30 Prompts erfolgreich aus und wählte konsistent Bewegungen aus, die stabil waren und den intendierten Semantiken entsprachen, während Baseline-Methoden oft fehlschlugen oder instabile Verhaltensweisen zeigten.

Bedeutung und Ansprüche

Das Paper behauptet, dass geerdete Verifizierung ein effektiver Weg hin zu einsetzbaren, sprachgesteuerten humanoiden Bewegungen ist. Indem TEXEDO die dynamische Machbarkeit als harte Bedingung behandelt und die semantische Ausrichtung als Selektionsziel nutzt, ermöglicht es die Verwendung leistungsstarker, vorab trainierter Text-zu-Bewegung-Generatoren, ohne deren Training oder die komplexe Modifikation des Controllers zu erfordern.

Die Autoren betonen, dass dieser Ansatz es ermöglicht, zusätzliche Rechenleistung zur Inferenzzeit (Sampling weiterer Kandidaten) in eine einzige, hochwertige Referenz-Trajektorie umzuwandeln, die sowohl sprachlich ausgerichtet als auch physisch geerdet ist. Die Methode zeigt, dass es möglich ist, die Lücke zwischen semantischer Generierung und physischer Steuerung zu schließen, was konsistente Gewinne sowohl in der Simulation als auch bei der Ausführung auf echter Hardware liefert. Die Arbeit legt nahe, dass Test-Time-Scaling, gekoppelt mit controller-bewussten Verifiern, eine praktikable Strategie ist, um die Zuverlässigkeit humanoider Roboter in offenen Aufgaben zu verbessern.