💻 computer science

SAMoR: Motion Modelling for Articulated Objects of Any Skeleton and Topology

SAMoR führt eine neuartige, skelettbewusste Bewegungsrepräsentation ein, die artikulierte Objekte beliebiger Topologie mittels funktionaler Gelenkgruppen in ein gemeinsames, diskretes Teil-Codebuch kodiert und dadurch eine präzise Bewegungsrekonstruktion, Topologie-übergreifenden Transfer sowie textkonditionierte Generierung ermöglicht, ohne auf feste Skelettstrukturen angewiesen zu sein.

Ursprüngliche Autoren: Yuhao Zhang, Gerard Pons-Moll, Tolga Birdal

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuhao Zhang, Gerard Pons-Moll, Tolga Birdal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboter, einem Wolf, einem Vogel und einer mechanischen Spinne beibringen, wie man tanzt, indem Sie dieselbe Gruppe von Anweisungen verwenden. Das Problem ist, dass sie alle unterschiedliche Körperteile haben. Der Roboter hat 96 Gelenke, der Wolf hat 22, der Vogel hat 14. Wenn Sie versuchen, ihnen eine Liste von Anweisungen für jedes einzelne Gelenk zu geben (wie „bewege Gelenk 1, dann Gelenk 2“), ergeben die Anweisungen für den Roboter keinen Sinn für den Vogel. Wenn Sie versuchen, ihnen eine einzige riesige Anweisung für den ganzen Körper zu geben („tanze!“), verlieren Sie all die coolen Details, wie etwa das Flattern der Flügel eines Vogels oder das Tippen der Beine einer Spinne.

SAMoR ist ein neues System, das dies löst, indem es eine „mittlere Ebene“ der Bewegungssprache findet.

Die Kernidee: Der Übersetzer für „Funktionale Gruppen“

Anstatt über die Bewegung in individuellen Gelenken zu sprechen (was zu spezifisch ist) oder über den ganzen Körper (was zu vage ist), spricht SAMoR über funktionale Gruppen.

Denken Sie daran, eine Tanzroutine nicht dadurch zu beschreiben, dass man jeden Finger und Zeh auflistet, sondern indem man sie in 8 Hauptrollen gruppiert:

Kopf/Hals
Oberkörper
Unterkörper
Linker Arm (oder Flügel, oder Vorderbein)
Rechter Arm
Linkes Bein (oder Hinterbein)
Rechtes Bein
Schwanz

Ob Sie nun ein Mensch, ein Wolf oder ein Roboter sind – sie alle besitzen etwas, das wie ein „linker Arm“ oder ein „Schwanz“ fungiert. SAMoR lernt, die spezifischen Gelenke eines jeden Wesens diesen 8 universellen Rollen zuzuordnen.

Wie es funktioniert: Der „Schlaue Übersetzer“

Das Paper beschreibt einen dreistufigen Prozess, um dies zu ermöglichen:

Der Graph-Transformer (Das Gehirn):
Stellen Sie sich einen Übersetzer vor, der das Skelett (die Karte seiner Knochen) und die Bewegung eines Wesens betrachtet. Dieser Übersetzer betrachtet die Knochen nicht isoliert; er versteht, wie sie miteinander verbunden sind, wie ein Stammbaum. Er nimmt die rohen Bewegungsdaten entgegen und bereitet sie für die Übersetzung vor.
Der „Attention“-Trick (Die Geheimzutat):
Hier kommt der knifflige Teil. Wenn man das System einfach nur bittet, 8 Gruppen zu finden, könnte es faul werden und alles in eine einzige Gruppe stecken, was die 8 Gruppen nutzlos machen würde.
Um dies zu verhindern, gaben die Forscher dem System einen „Supervisor“. Während des Trainings zeigten sie dem System Beispiele dafür, wie ein „Bein“ oder ein „Arm“ normalerweise aussieht. Das System wurde bestraft, wenn es versuchte, ein Bein und einen Arm in dieselbe Gruppe zu mischen.

Die Analogie: Stellen Sie sich einen Lehrer vor, der einem Schüler sagt: „Du musst diese 100 Spielzeuge in 8 Kisten sortieren.“ Wenn der Schüler alle Spielzeuge in Kiste 1 legt, sagt der Lehrer: „Nein! Kiste 1 ist für Autos, Kiste 2 ist für Puppen.“ Das System lernt so, die Gelenke basierend darauf, was sie tun, und nicht nur darauf, wie sie heißen, in die richtigen „Boxen“ zu sortieren.
Das Sicherheitsnetz: Manchmal kann ein Roboter ein Gelenk mit einem seltsamen Namen wie „Link_42“ haben, das nicht nach einem „Bein“ klingt. Das System wird darauf trainiert, den Namen zu ignorieren, wenn er verwirrend ist, und stattdessen nur darauf zu achten, wie das Gelenk sich bewegt. Wenn es sich wie ein Bein bewegt, kommt es in die „Bein“-Box.

Das Digitale Codebuch (Das Wörterbuch):
Sobald die Bewegung in diese 8 Gruppen sortiert ist, wandelt das System sie in einen kurzen, digitalen Code um (wie eine Geheimsprache). Da alle dieselben 8 Gruppen verwenden, wird dieses Codebuch geteilt. Ein Code für „Flügel flattern“ bei einem Vogel ist dasselbe „Wort“ wie das „Winken eines Arms“ bei einem Menschen.

Was können Sie damit machen?

Das Paper zeigt, dass man mit dieser gemeinsamen Sprache drei coole Dinge tun kann:

Motion Transfer (Der „Körpertausch“): Sie können einen von einem Menschen ausgeführten Tanz nehmen und ihn sofort auf einen Roboter oder einen Drachen übertragen. Das System übersetzt die „linke Arm“-Bewegung des Menschen in die „linke mechanische Gliedmaßen“-Bewegung des Roboters und behält dabei Rhythmus und Stil bei.
Text-to-Motion (Der „Zauberstab“): Sie können „ein Roboter, der glücklich tanzt“ eintippen, und das System generiert diese Bewegung für jedes beliebige Roboterskelett, das Sie wählen, weil es das Konzept von „Roboter“ und „glücklichem Tanz“ in seiner gemeinsamen Sprache versteht.
Part Editing (Der „Laserschneider“): Sie können nur einen Teil der Bewegung ändern. Sie können dem System zum Beispiel sagen: „Behalte den Tanz bei, aber lass die Beine schneller bewegen.“ Das System bearbeitet dann nur die „Bein“-Tokens und lässt die „Kopf“- und „Arm“-Tokens exakt so, wie sie waren.

Warum ist das besser?

Frühere Methoden waren so, als würde man versuchen, einen quadratischen Klotz in ein rundes Loch zu pressen. Sie funktionierten entweder großartig für Menschen, versagten aber bei Tieren, oder sie funktionierten für Tiere, verloren aber alle feinen Details.

SAMoR ist das erste System, das erfolgreich ein universelles Bewegungsvokabular geschaffen hat.

Es ist 5,8-mal genauer darin, Bewegungen zwischen verschiedenen Arten von Skeletten zu kopieren, als die besten bisherigen Versuche.
Es verliert keine Details; es bewahrt das „Flattern“ eines Flügels und das „Tippen“ eines Fußes, selbst wenn es sie von einem Vogel auf einen Roboter überträgt.

Kurz gesagt: SAMoR lehrt Computer, dass ein Bein eines Wolfes und ein Flügel eines Vogels zwar unterschiedlich aussehen, sich aber in ähnlicher Weise bewegen – und indem es sich auf dieses Bewegungsmuster konzentriert, kann es jedes Charakter zu derselben Melodie tanzen lassen.

Technisches Resümee: SAMoR – Bewegungsmodellierung für artikulierte Objekte beliebiger Skelette und Topologien

1. Problemstellung

Die Modellierung von Bewegungen für artikulierte Objekte mit beliebigen Skelett-Topologien (z. B. Menschen, Vierbeiner, Vögel, Insekten und mechanische Rigs) bleibt eine erhebliche Herausforderung. Bestehende State-of-the-Art-Bewegungsgeneratoren, insbesondere Text-zu-Bewegungs-Systeme, sind typischerweise an ein festes menschliches Skelett (z. B. SMPL) mit einer spezifischen Anzahl an Gelenken, einer bestimmten Ordnung und Konnektivität gebunden. Während Erweiterungen auf Tierkategorien existieren, setzen diese im Allgemeinen eine vordefinierte Topologie voraus.

Cross-Topology-Ansätze sind entstanden, stehen jedoch vor folgenden Einschränkungen:

Single-Token-Ansätze (K=1): Komprimieren unterschiedliche Bewegungsdetails in eine globale Repräsentation, wodurch die Dynamik von Gliedmaßen und Anhängen verloren geht.
Pro-Gelenk-Ansätze (K=J): Behandeln jedes Gelenk unabhängig, was das Teilen eines diskreten Bewegungsvokabulars über Rigs mit unterschiedlichen Gelenkzahlen hinweg verhindert.
Mangel an gemeinsamem Vokabular: Es gibt kein fest definiertes diskretes Bewegungs-Codebuch, das für Aufgaben wie Motion Transfer oder Token-basierte Generierung über heterogene Skelette hinweg wiederverwendet werden kann.

Die Kernschwierigkeit liegt darin, dass die Bewegung auf Gelenkebene nicht sauber über Spezies hinweg korrespondiert (aufgrund unterschiedlicher Gelenkzahlen und Konnektivität), während funktionale Gengruppen (z. B. ein menschlicher Arm, ein Wolfsvorderbein und ein Vogelflügel) semantisch ähnliche Bewegungsstrukturen teilen.

2. Methodik: SAMoR

Die Autoren schlagen SAMoR (Skeleton-Aware Motion Representation for Articulated Objects) vor, eine Cross-Topology-Bewegungsrepräsentation, die Bewegungssegmente in eine kleine, feste Anzahl von K=8 Part-Tokens kodiert, die über beliebige Skelette hinweg geteilt werden.

Architektur-Übersicht

SAMoR ist als Skeleton-Aware Part VQ-VAE (Vector Quantized Variational Autoencoder) implementiert, bestehend aus den folgenden Komponenten:

Input-Repräsentation:
- Bewegungsmerkmale: Per-Joint-Positionen und Geschwindigkeiten ( $x_t^j \in \mathbb{R}^6$ ). Lokale Rotationen werden in der Cross-Topology-Umgebung aufgrund inkonsistenter Ruheposen über heterogene Assets hinweg weggelassen.
- Skelett-Konditionierung: Der Encoder und Decoder werden über drei Signale an das Zielskelett konditioniert:
  - Pose Anchors: Per-Joint-3D-Lokationen (erste Frame für Cross-Topology; kanonische Ruhepose für HumanML3D).
  - Joint Name Embeddings: CLIP-Embeddings von Gelenknamen (z. B. "forearm", "wing_L1").
  - Graph-Struktur: Gelernte Biases, die in die räumliche Attention-Logits injiziert werden, basierend auf dem kinematischen Baum-Hop-Abstand, der Kettenmitgliedschaft und dem Edgetyp.
Encoder (Graph-Transformer):
- Verarbeitet Bewegungs-Chunks mittels eines Stacks von Transformer-Blöcken, die zwischen zeitlicher Self-Attention (entlang der Zeit $T$ ) und räumlicher Self-Attention (entlang der Gelenke $J$ ) alternieren.
- Die räumliche Attention nutzt die oben definierten strukturellen Graph-Biases.
- Eine gestreifte 1D-Konvolution downsampled die Zeitachse um den Faktor 4 $\times$ .
Part Pooling (Gelenke zu Tokens):
- Cross-Attention Pooling: $K=8$ lernbare Query-Vektoren komprimieren die $J$ kodierten Gelenke in $K$ fest definierte Part-Tokens.
- Spezialisierungsmechanismus: Ohativ wird die Tendenz bestehen, dass diese Queries in identische Verteilungen kollabieren (effektiv $K=1$ ). Um dies zu verhindern, führen die Autoren eine Attention-Supervision ein.
- Attention-Supervision Loss ( $L_{attn}$ ): Während des Trainings leiten kanonische funktionale Gruppen-Labels (abgeleitet aus Gelenknamen) die Cross-Attention-Maps. Jede Query wird dazu angehalten, eine distinkte funktionale Gruppe zu beachten (z. B. linkes Bein, Schwanz, Kopf). Gelenke ohne passende Labels ( $y_j = -1$ ) tragen Null zum Loss bei, werden aber dennoch durch die gelernte Attention geroutet.
- Joint-Name Dropout: Um die Robustheit gegenüber Rigs mit fehlenden oder nicht-semantischen Namen zu gewährleisten, werden Joint-Name-Embeddings während des Trainings zufällig gedroppt. Dies zwingt das Modell, sich eher auf Bewegungsmuster und Skelett-Topologie als auf reine Text-Labels zu verlassen.
Quantisierung:
- Die $K$ Part-Tokens werden mittels Residual Vector Quantization (RVQ) mit einem gemeinsamen Codebuch quantisiert. Dies erzeugt ein diskretes Bewegungs-Vokabular ( $Z \in \{1, \dots, V\}$ ), das über alle Rigs hinweg geteilt wird.
Decoder:
- Spiegelt den Encoder wider, expandiert jedoch die $K$ quantisierten Part-Tokens zurück zu den $J$ Ziel-Gelenken via Inverser Cross-Attention.
- Der Decoder wird durch den Pose-Anchor, die Gelenknamen und die Graph-Biases des Zielskeletts konditioniert. Dies ermöglicht es, dieselben Quell-Tokens auf ein völlig anderes Rig zu dekodieren (Cross-Topology Transfer), ohne ein Retraining durchzuführen.

Downstream-Aufgaben

Text-konditionierte Generierung: Ein MaskGIT-Transformer wird über das $(T/4) \times K$ Token-Grid trainiert, konditioniert auf Text und das Zielskelett.
Part-wise Editing: Spezifische Part-Tokens können maskiert und in-gefüllt werden, was eine lokalisierte Editierung funktionaler Gruppen ermöglicht (z. B. die Beinarbeit ändern, während die Armbewegung erhalten bleibt).

3. Zentrale Beiträge

Graph-Transformer-basierte Bewegungs-Tokenisierung: Ein VQ-VAE, das die Bewegung beliebiger Skelette in $K=8$ gemeinsame Part-Tokens komprimiert und so ein einziges diskretes Bewegungs-Vokabular über heterogene Skelette hinweg liefert.
Attention-Supervision für Query-Spezialisierung: Eine neuartige Loss-Funktion, welche die Query-Symmetrie bricht, indem sie jede Query an eine distinkte funktionale Gelenkgruppe bindet. Dies verhindert den Kollaps der $K=8$ Queries in eine einzige globale Repräsentation. In Kombination mit Joint-Name-Dropout generalisiert dies auf ungesehene Skelette.
Vereinheitlichtes heterogenes Bewegungs-Korpus: Ein kuratiertes Datenset von $\sim71k$ Charakteren und $\sim100k$ Bewegungen aus HumanML3D (Menschen), Truebones Zoo (65 Tierarten) und animierten Objaverse-XL Assets. Dies beinhaltet automatisierte kanonische Gelenk-Matching- und funktionale Gruppen-Annotationen.
Demonstrierte Downstream-Fähigkeiten: Der gemeinsame Part-Token-Raum unterstützt Cross-Topology Motion Transfer, text-konditionierte Generierung und lokalisierte Part-wise Editing.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SAMoR auf gehaltenen Charakteren mit ungesehenen Skeletten.

Cross-Topology Rekonstruktion:
- SAMoR erreichte einen normalisierten MPJPE von 2,75 $\times 10^{-2}$ .
- Dies ist 5,8 $\times$ niedriger (besser) als der stärkste adaptierte variable- $J$ Tokenizer-Baseline (MoGenTS, 16,14 $\times 10^{-2}$ ).
- Es übertrifft signifikant sowohl Single-Token globale Repräsentationen ( $K=1$ ) als als auch Per-Joint-Tokenisierungen ( $K=J$ ).
- Ablationsstudien bestätigten, dass das Entfernen der Attention-Supervision ( $L_{attn}$ ) den Fehler fast verdoppelte und das Entfernen von RVQ den Fehler um 44% steigerte.
HumanML3D Benchmark:
- Wenn SAMoR in einem für HumanML3D kompatiblen Setting instanziiert wird, bleibt es wettbewerbsfähig mit Fixed-Skeleton-Spezialisten.
- Text-to-Motion: FID von 0,039, vergleichbar mit MoGenTS (0,033) und besser als MoMask (0,045).
- VQ-VAE Rekonstruktion: SAMoR-H3D erreichte 17,3 mm MPJPE und übertraf damit MoMask (29,5 mm) und T2M-GPT (58,0 mm).
Cross-Topology Transfer:
- Qualitative Ergebnisse (Abb. 3) zeigen, dass SAMoR die Appendage-Dynamik (Gliedmaßen, Schwänze, Flügel) über Topologie-Shifts hinweg bewahrt, während $K=1$ Baselines nur grobe Körperrhythmen beibehalten.
- Die Round-Trip-Konsistenz (Quelle $\to$ SMPL $\to$ Quelle) war am höchsten für SAMoR, was darauf hindeutet, dass die Part-Token-Repräsentation die Bewegungsstruktur durch intermediäre Topologien hindurch bewahrt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass SAMoR das fundamentale Problem adressiert, dass aktuelle Bewegungsmodelle an feste Topologien gebunden sind. Durch die Identifizierung, dass funktionale Gelenkgruppen die angemessene Abstraktionsebene für Cross-Topology-Bewegung sind (statt einzelner Gelenke oder des gesamten Körpers), ermöglicht SAMoR:

Wiederverwendbarkeit: Ein einzelnes diskretes Codebuch kann für Menschen, Tiere und mechanische Rigs verwendet werden.
Transfer: Bewegung kann direkt zur Dekodierzeit auf ungesehene Skelette übertragen werden.
Editing: Lokalisierte Editierung funktionaler Gruppen ist ohne Retraining möglich.

Die Autoren betonen, dass die intermediäre Granularität ( $K=8$ ) entscheidend ist; $K=1$ verliert Details, während $K=J$ das Teilen des Vokabulars verhindert. Die Attention-Supervision Loss wird als die kritische Komponente identifiziert, die den Query-Kollaps verhindert und es dem Modell ermöglicht, aus einer Mischung aus Bewegung, Struktur und (optionalen) Text-Labels funktionale Cluster zu lernen.

Eingeständliche Limitationen:

In der Cross-Topology-Umgebung operiert SAMoR auf Gelenkpositionen statt auf Rotationen, da heterogene Assets keine vereinheitlichte Ruhepose-Referenz besitzen. Die Rekonstruktion von Knochenrotationen für Linear Blend Skinning (LBS) erfordert einen Inverse-Kinematics (IK) Post-Process, der Twist-Ambiguitäten einführt.
Die $K=8$ Gruppierung ist eine feste Designentscheidung; das automatische Lernen der Anzahl und Struktur der Gruppen wird als zukünftige Arbeit vorgeschlagen.