Skeleton-to-Image Encoding: Enabling Skeleton Representation Learning via Vision-Pretrained Models

Die vorgestellte Arbeit führt das "Skeleton-to-Image Encoding" (S2I) ein, eine Methode, die 3D-Gerüstsequenzen in bildähnliche Darstellungen umwandelt, um leistungsstarke, visuell vortrainierte Modelle für das selbstüberwachte Lernen von Skelettrepräsentationen nutzbar zu machen und so die Verarbeitung heterogener Skelettdaten zu vereinheitlichen.

Das Wesentliche

🦴 Vom Skelett zum Bild: Eine neue Art, Bewegungen zu verstehen

Stell dir vor, du möchtest einem sehr klugen, aber etwas sturen Roboter beibringen, wie Menschen tanzen, laufen oder winken. Bisher gab es ein großes Problem: Der Roboter war ein Bild-Experte. Er konnte Millionen von Fotos von Hunden, Autos und Landschaften analysieren und daraus lernen. Aber wenn man ihm eine 3D-Skelettdaten-Reihe (also nur eine Reihe von Punkten, die Gelenke darstellen, ohne Haut oder Kleidung) zeigte, war er völlig verwirrt. Für ihn sah das aus wie ein Haufen zufälliger Punkte, nicht wie ein Bild.

Die Forscher in diesem Papier haben eine geniale Lösung gefunden, die sie "Skelett-zu-Bild-Kodierung" (S2I) nennen.

1. Das Problem: Zwei verschiedene Sprachen

• Der Bild-Experte (KI): Spricht nur "Bild". Er erwartet ein Rechteck mit Pixeln (z. B. 224x224), das Farben und Formen hat.
• Das Skelett: Ist wie eine Puppe aus Stäbchen und Kugeln. Es hat keine "Pixel" und keine "Farben". Es ist nur eine Liste von Koordinaten (x, y, z) für jeden Gelenk-Punkt über die Zeit.

Bisher mussten die Forscher für jedes neue Skelett-Format (z. B. 20 Gelenke vs. 25 Gelenke) einen komplett neuen Roboter bauen. Das war ineffizient und teuer.

2. Die Lösung: Eine Übersetzungsmaschine

Die Forscher haben eine Art "Übersetzer" gebaut, der das Skelett in eine Sprache verwandelt, die der Bild-Experte versteht. Hier ist, wie das funktioniert, mit einer einfachen Analogie:

Stell dir das Skelett wie einen Tanz vor:

• Schritt 1: Die Körperteile sortieren.
  Statt alle Gelenke wild durcheinander zu werfen, teilen die Forscher den Körper in fünf logische Bereiche auf: Rumpf, linker Arm, rechter Arm, linker Bein, rechtes Bein. Das ist wie wenn man die Zutaten für einen Kuchen sortiert: Erst die Eier, dann das Mehl, dann der Zucker.
• Schritt 2: Die Bewegung in Farben gießen.
  Jetzt kommt der magische Teil. Die Forscher nehmen die 3D-Bewegung eines Gelenks (x, y, z) und stecken sie direkt in die drei Farbkanäle eines Bildes (Rot, Grün, Blau).
  • Bewegt sich das Knie nach oben? -> Das Bild wird etwas roter.
  • Bewegt es sich zur Seite? -> Es wird grüner.
  • Es ist also keine echte Farbe, sondern eine "Bewegungs-Farbe".
• Schritt 3: Das Zeit-Video als Bild.
  Da eine Bewegung über die Zeit stattfindet, stapeln sie diese "Bewegungs-Farben" wie Blätter in einem Buch übereinander. Das Ergebnis ist ein einziges, großes Bild, das nicht nur eine Momentaufnahme zeigt, sondern die gesamte Tanzbewegung in sich trägt.

3. Der große Vorteil: Ein万能-Werkzeug (Universal-Tool)

Früher musste man für jedes Datenset (z. B. ein Datenset mit 20 Gelenken und eines mit 25 Gelenken) einen speziellen Roboter trainieren.
Mit dieser neuen Methode ist es so, als würde man alle Skelette – egal ob sie 13, 20 oder 25 Gelenke haben – zuerst durch diesen Übersetzer schicken. Am Ende sieht das Ergebnis für den Bild-Experten immer gleich aus: Ein perfektes Bild.

Das bedeutet:

• Man kann die besten Bild-KIs der Welt (die schon Millionen Bilder gelernt haben) nutzen, um Skelette zu verstehen.
• Man muss keinen neuen Roboter erfinden. Man nutzt einfach den bestehenden, mächtigen "Bild-Experten".
• Der Roboter lernt viel schneller und besser, weil er auf das Wissen von Millionen Bildern aufbauen kann, statt bei Null anzufangen.

4. Das Ergebnis: Ein Meister-Tänzer

Die Forscher haben ihren neuen Ansatz an verschiedenen Tests (wie NTU-60, NTU-120) ausprobiert.

• Ergebnis: Der Roboter, der nur "Bilder" sehen konnte, aber durch den Übersetzer Skelette sah, war extrem gut darin, Bewegungen zu erkennen.
• Besonders stark: Er konnte Bewegungen von einem Datenset auf einen ganz anderen Datenset übertragen, selbst wenn die Gelenk-Anzahl völlig unterschiedlich war. Das war vorher kaum möglich.

Zusammenfassung in einem Satz

Die Forscher haben eine Brücke gebaut, die Skelett-Bewegungen in Bilder verwandelt, damit die stärksten KI-Modelle der Welt, die eigentlich für Fotos gemacht sind, auch lernen können, wie Menschen sich bewegen – und das funktioniert sogar, wenn die Skelette unterschiedlich viele Gelenke haben.

Es ist, als würde man einem Maler, der nur Ölgemälde kennt, eine Skizze geben, die er sofort als Ölgemälde erkennt und perfekt verstehen kann.

Technische Zusammenfassung

1. Problemstellung

Die Arbeit adressiert die Herausforderung, große, vortrainierte Vision-Modelle (wie Vision Transformers, ViTs, oder Masked Autoencoder, MAE) direkt auf 3D-Skelettdaten anzuwenden.

• Format-Inkompatibilität: Vision-Modelle erwarten dichte Bilddaten (z. B. $3 \times 224 \times 224$), während Skelettdaten typischerweise als spärliche, zeitliche Sequenzen von 3D-Koordinaten ($T \times J \times 3$) vorliegen.
• Strukturelle Heterogenität: Verschiedene Datensätze verwenden unterschiedliche Gelenkdefinitionen (z. B. 13, 20 oder 25 Gelenke) und Koordinatensysteme. Herkömmliche Skelett-Modelle sind oft starr an spezifische Gelenkformate gebunden, was ihre Skalierbarkeit und Generalisierungsfähigkeit bei datenübergreifenden Aufgaben einschränkt.
• Datenknappheit: Es gibt einen Mangel an großen, annotierten Skelettdatensätzen im Vergleich zu Bilddatensätzen wie ImageNet. Die direkte Nutzung von vortrainierten Vision-Modellen könnte dieses Problem lösen, ist aber aufgrund der oben genannten Formatunterschiede derzeit nicht möglich.

2. Methodik: Skeleton-to-Image Encoding (S2I)

Die Autoren schlagen eine neue Repräsentationsmethode namens Skeleton-to-Image Encoding (S2I) vor, die Skelettsequenzen in bildähnliche Daten transformiert, um die Nutzung vortrainierter Vision-Modelle zu ermöglichen.

• Semantische Partitionierung: Das Skelett wird in fünf semantische Körperteile unterteilt: Rumpf (Spine), linker Arm, rechter Arm, linkes Bein und rechtes Bein.
• Sortierung und Reihung: Innerhalb jedes Körperteils werden die Gelenke nach ihrer kinematischen Kette sortiert (z. B. Hüfte → Knie → Knöchel → Fuß). Dies erhält die räumlichen Beziehungen.
• Zeitliche Stapelung: Die 3D-Koordinaten ($x, y, z$) der Gelenke über $T$ Zeitrahmen werden gestapelt.
• RGB-Mapping: Die drei räumlichen Koordinatenachsen werden direkt auf die drei Farbkanäle (R, G, B) eines Bildes abgebildet.
• Interpolation und Skalierung: Die resultierende $T \times J$-Struktur wird durch lineare Interpolation auf eine standardisierte Bildgröße (z. B. $224 \times 224$) skaliert.
• Ergebnis: Eine Skelettsequenz wird in ein „Pseudo-Bild" umgewandelt, das strukturell mit den Eingaben von Vision-Transformern kompatibel ist, ohne dass das Modellarchitektur angepasst werden muss.

Trainingsstrategie:

• Self-Supervised Learning (SSL): Die Autoren nutzen Masked Modeling (ähnlich wie MAE und DiffMAE). Ein Teil des „Skelett-Bildes" wird maskiert, und das Modell muss die fehlenden Bereiche rekonstruieren.
• Transfer Learning: Die Modelle werden mit Gewichten von ImageNet vortrainiert und dann auf Skelettdaten weiter vortrainiert (Pretraining), bevor sie für Downstream-Aufgaben (wie Action Recognition) feinabgestimmt (Fine-Tuning) oder linear abgetastet (Linear Probing) werden.
• Masking-Strategien: Es werden verschiedene Maskierungsstrategien untersucht (zufällig, blockweise, Gelenk-spezifisch, zeitlich), wobei zufälliges Maskieren mit 75% Maskierungsrate als optimal identifiziert wurde.

3. Hauptbeiträge

1. Neue Pipeline: Die erste Methode, die vortrainierte Vision-Modelle (MAE, DiffMAE) erfolgreich für das selbstüberwachte Lernen von Skelett-Repräsentationen nutzt, indem sie die Modalitätslücke zwischen Bildern und Skeletten schließt.
2. S2I-Representation: Eine einheitliche, formatunabhängige Darstellung, die spärliche 3D-Skelettdaten in bildähnliche Eingaben umwandelt. Dies ermöglicht die Verarbeitung heterogener Skelettformate (unterschiedliche Gelenkanzahlen) durch ein einziges Modell.
3. Universal Pretraining: Die Autoren demonstrieren erstmals das „Universal Skeleton Representation Learning", bei dem Modelle gemeinsam auf mehreren heterogenen Datensätzen (NTU-60, NTU-120, PKU-MMD, Toyota, NW-UCLA) vortrainiert werden, um die Generalisierungsfähigkeit zu maximieren.

4. Ergebnisse

Die Methode wurde auf fünf Benchmark-Datensätzen evaluiert: NTU-60, NTU-120, PKU-MMD, NW-UCLA und Toyota Smarthome.

• State-of-the-Art Performance: S2I erreicht wettbewerbsfähige bis führende Ergebnisse in selbstüberwachten Szenarien.
  • Auf NTU-60 (Cross-Subject) erreicht die Fine-Tuning-Variante mit Multi-Stream-Fusion (Gelenk, Bewegung, Knochen) 93,1%, was einen neuen Rekord darstellt.
  • In semi-supervised Szenarien (nur 1% gelabelte Daten) erreicht S2I 71,4% (Cross-Subject), was deutlich über bestehenden Methoden liegt.
• Cross-Format Transfer Learning: Ein entscheidender Vorteil ist die Fähigkeit, Modelle, die auf einem Datensatz (z. B. NTU-60 mit 25 Gelenken) trainiert wurden, direkt auf Datensätze mit anderen Gelenkformaten (z. B. Toyota mit 13 Gelenken) zu übertragen, ohne manuelle Anpassungen oder Downsampling. Hier übertrifft S2I bestehende Methoden signifikant.
• Universal Pretraining: Das gemeinsame Vortraining auf mehreren Datensätzen führt zu einer konsistenten Leistungssteigerung auf allen Ziel-Datensätzen im Vergleich zum Vortraining auf einzelnen Datensätzen (z. B. +5,3% auf PKU-II).
• Effizienz: Die Methode nutzt die starken Vorkenntnisse aus ImageNet, was besonders bei kleinen Skelettdatensätzen zu erheblichen Leistungsverbesserungen führt.

5. Bedeutung und Ausblick

Die Arbeit ist signifikant, da sie einen Paradigmenwechsel in der Skelett-basierten Aktionserkennung einleitet:

• Überwindung der Datenknappheit: Durch die Nutzung von ImageNet-Vorkenntnissen wird die Abhängigkeit von riesigen, spezifischen Skelettdatensätzen reduziert.
• Einheitlichkeit: S2I bietet eine universelle Schnittstelle, die die Fragmentierung der Forschung (viele spezialisierte Modelle für verschiedene Gelenkformate) beendet und zu einem einzigen, robusten Framework führt.
• Zukunftsperspektiven: Die Autoren planen, S2I auf noch größere Vision-Modelle (z. B. Vision-Language Models) zu erweitern und die Methode für multimodale Aufgaben (Kombination von RGB-Videos und Skelettdaten) zu nutzen.

Zusammenfassend beweist das Paper, dass die Transformation von Skelettdaten in ein bildähnliches Format eine effektive Brücke zu den mächtigsten Werkzeugen des Computer Vision ist und dabei gleichzeitig die Probleme der strukturellen Heterogenität und Datenknappheit löst.