Factorized Spatio-Temporal Convolutions for Human Pose Estimation from Planar Lidar

Stellen Sie sich vor, Sie versuchen, einem Roboter das Sehen der Welt beizubringen. Die meisten Roboter von heute sind wie Menschen mit einer Brille: Sie nutzen Kameras, um Fotos zu machen und suchen nach Formen und Farben, um herauszufinden, wo eine Person steht und in welche Richtung sie blickt. Das funktioniert großartig in einem sonnigen Raum, aber wenn das Licht ausgeht oder der Roboter in einem belebten Flur ist, in dem die Kamera blockiert wird, wird der Roboter blind. Um dies zu lösen, tragen viele Roboter einen „Laserscanner“ (genannt LiDAR), der unsichtbare Lichtstrahlen in einem vollen Kreis aussendet, wie ein Leuchtturm. Er sieht keine Farben oder Gesichter; er sieht nur, wie weit entfernt Dinge sind. Das Problem ist, dass eine einzelne Momentaufnahme dieses Laserscanners wie der Blick durch ein Schlüsselloch ist: Man sieht vielleicht ein Bein, aber man kann nicht sagen, ob die Person auf einen zukommt oder von einem weggeht, oder ob es überhaupt eine Person ist.

Um aus dieser verschwommenen, eindimensionalen Sicht Sinn zu ergeben, müssen Wissenschaftler einen Trick namens „spatio-temporale“ Verarbeitung anwenden. Stellen Sie sich „spatial“ (räumlich) als das Betrachten der Form eines Objekts im jetzigen Moment vor, und „temporal“ (zeitlich) als das Beobachten, wie sich diese Form über die Zeit verändert. Wenn Sie beobachten, wie eine Person an einem Schlüsselloch vorbeiläuft, sehen Sie nicht nur ein Bein; Sie sehen ein Bein erscheinen, sich bewegen und verschwinden. Durch das Aneinanderreihen dieser Momente kann der Roboter die vollständige Pose einer Person erraten. Diese Arbeit widmet sich der Herausforderung, einen Roboter genau dazu zu bringen: aus einem Strom dieser Laserscans nicht nur zu erkennen, wo ein Mensch ist, sondern auch, in welche Richtung er schaut – und das alles, während er auf dem kleinen, schwachen Computergehirn eines Roboters läuft, ohne einen Supercomputer zu benötigen.

---

Der Laser-Leuchtturm und der zeitreisende Detektiv

Treffen Sie den Roboter. Es ist ein Serviceroboter, die Art, die man in einem Hotel oder Krankenhaus sehen könnte, der auf Rädern rollt. Er hat einen 360-Grad-Laserscanner, der um seine Taille rotiert und jede Sekunde 360 unsichtbare Strahlen aussendet. Aber es gibt einen Haken: Ein einzelner Strahl ist nur ein Punkt der Distanz. Wenn eine Person vor dem Roboter steht, sieht der Laser einen „Klumpen“ von Punkten. Ist es eine Person? Ein Stuhl? Ein Mülleimer? Und wenn es eine Person ist, schaut sie den Roboter an, um Hallo zu sagen, oder schaut sie weg, um ihn zu ignorieren?

Die Forscher erkannten, dass das Betrachten nur einer einzigen Momentaufnahme so ist, als würde man versuchen, die Handlung eines Films aus einem einzigen Standbild zu erraten. Man braucht die ganze Szene, damit sie abläuft. Also bauten sie ein spezielles „Zeitreisendes Detektiv“-Netzwerk. Anstatt nur den aktuellen Laserscan zu betrachten, betrachtet dieses Netzwerk einen kurzen Film der Scans der letzten paar Sekunden. Es beobachtet, wie sich die „Klumpen“ über die Zeit bewegen und ihre Form verändern.

Die Magie des „faktorisierten“ Denkens

Hier ist der clevere Teil. Die meisten Computergehirne versuchen, alles gleichzeitig zu erledigen: Sie betrachten die Form und die Bewegung in einem einzigen großen, chaotischen Gehirnzellen-Block. Die Autoren dieser Arbeit sagten: „Teilen wir die Aufgabe auf.“ Sie erschufen einen neuen Typus von Gehirnzelle namens Space-Time Block (Raum-Zeit-Block).

Stellen Sie sich vor, Sie versuchen, einen Tanz zu beschreiben.

1. Der räumliche Schritt: Zuerst schauen Sie sich die Pose des Tänzers genau jetzt an. Sind die Arme oben? Sind die Beine weit gespreizt? Dies ist der „räumliche“ Teil. Das Netzwerk des Roboters macht dies, indem es die Laserstrahlen in einem Kreis betrachtet und dabei berücksichtigt, dass der erste und der letzte Strahl tatsächlich nebeneinander liegen (wie ein Ring).
2. Der zeitliche Schritt: Als Nächstes beobachten Sie, wie sich der Tänzer von einer Sekunde zur nächsten bewegt. Hat er sich gedreht? Ist er einen Schritt vorwärts gegangen? Dies ist der „zeitliche“ Teil.

Die große Entdeckung der Arbeit ist, dass der Roboter viel besser darin wird, die Richtung zu erraten, wenn man diese beiden Schritte trennt – zuerst die Analyse der Form, dann die Analyse der Bewegung. Es ist, als hätte man einen Spezialisten für „Formen“ und einen Spezialisten für „Filme“, die zusammenarbeiten, anstatt eines Generalisten, der versucht, beides gleichzeitig zu tun. Diese Methode, genannt faktorisierte spatio-temporale Konvolution, ermöglicht es dem Roboter, eine Person zu entdecken und deren Blickrichtung viel genauer zu bestimmen, als bisherige Methoden, die alles vermischten.

Der „Schattenlehrer“-Trick

Nun stellt sich die größte Hürde: Wie bringt man einem Roboter bei, Menschen anhand von Laserstrahlen zu erkennen, wenn man nicht Millionen von Stunden an menschlichen Daten in Laserscans besitzt? Normalerweise müsste ein Mensch dort sitzen und in jedem einzelnen Laserscan Kästen um jede Person zeichnen, was langweilig und teuer ist.

Die Autoren entwickelten einen brillanten Umweg: Selbstüberwachung (Self-Supervision). Sie nutzten einen Roboter, der sowohl einen Laserscanner als auch eine reguläre Kamera (wie eine Webcam mit Tiefensensorik) besitzt. Die Kamera ist gut darin, Menschen zu sehen, und weiß genau, wo sie sind und in welche Richtung sie schauen. Der Laserscanner ist schlecht darin.

So richteten sie ein „Shadow Teacher“-System (Schattenlehrer-System) ein. Die Kamera betrachtet die Person und sagt: „Hey, da ist eine Person in 2 Metern Entfernung, die nach Norden schaut!“ Der Roboter prüft dann den Laserscanner. Wenn der Laserstrahl genau diesen Punkt trifft, sagt der Roboter: „Okay, ich lerne, dass dieses spezifische Muster aus Laserpunkten ‚Person schaut nach Norden‘ bedeutet.“ Aber hier ist der Clou: Der Roboter lernt diese Lektion nur dort, wo die Kamera sehen kann. Für den Rest des 360-Grad-Kreises (hinter dem Roboter, wo die Kamera nicht hinsehen kann) muss der Roboter das Gelernte aus der Vorderseite nutzen, um zu erraten, was hinten passiert. Es ist, als würde man lernen, die Stimme eines Freundes in einem ruhigen Raum zu erkennen, und dann diese Fähigkeit nutzen, um ihn in einer lauten Menge zu erkennen, in der man sein Gesicht nicht sehen kann.

Die Ergebnisse: Schneller, schlauer und bereit für die reale Welt

Das Team testete das „Space-Time Block“-Robotergehirn gegen ältere, einfachere Gehirne. Die Ergebnisse waren beeindruckend.

• Distanz: Der neue Roboter schätzte die Entfernung einer Person mit 38 % weniger Fehler als die alte Methode.
• Position: Er wusste, wo die Person stand, mit 28 % weniger Fehlern.
• Blickrichtung: Er errat die Blickrichtung der Person mit 15 % weniger Fehlern.

Noch aufregender war, dass dieses intelligente Gehirn keinen Supercomputer benötigte, um zu laufen. Die Autoren testeten es auf einem Standard-Serviceroboter mit einem normalen Laptop-Prozessor (einer CPU), und es funktionierte in Echtzeit. Es konnte Menschen sehen, deren Position erraten und sogar feststellen, ob sie den Roboter anschauen, während der Roboter sich in einem belebten Büro oder einem Flur bewegte.

Sie testeten es sogar auf einem öffentlichen Datensatz namens FROG (der wie ein standardisierter Test für Roboter-Vision ist). Ihr Modell schnitt genauso gut ab wie die schweren Modelle, die normalerweise leistungsstarke Grafikkarten (GPUs) benötigen, aber ihr Modell lief reibungslos auf dem eigenen kleinen Computer des Roboters.

Der Praxistest: Der Kellner-Roboter

Um zu beweisen, dass dies nicht nur ein Labortrick war, brachten sie den Roboten in ein reales Szenario. Sie programmierten ihn so, dass er sich wie ein Kellner oder ein Empfangsmitarbeiter verhält. Der Roboter scannt den Raum, findet eine Person und wenn diese Person dem Roboter zugewandt und nah genug ist, rollt der Roboter heran, dreht sich zur Person, um sie anzusehen, und streckt seinen Arm in einer „anbietenden“ Geste aus.

In einem Test entdeckte der Roboter erfolgreich eine Person, die vor ihm stand, obwohl die Person teilweise hinter einem anderen Objekt verborgen war. Der Roboter erkannte korrekt, dass die Person da war und zu ihm schaute. Die Arbeit weist jedoch auch auf Grenzen hin: Wenn zwei Personen aus der Sicht des Roboters exakt übereinander stehen (auf demselben Laserstrahl), wird der Roboter verwirrt und kann nur eine Person sehen. Auch wenn der Raum extrem überladen ist, wird es schwieriger, die Richtung zu erraten. Aber insgesamt zeigten die Experimente, dass dieser leichtgewichtige, zeitbewusste Ansatz ein solider Schritt in Richtung Roboter ist, die sicher und sozial in unserer Welt navigieren können, ohne teure, schwere Ausrüstung zu benötigen.

Kurz gesagt: Indem sie Roboter lehrten, den „Film“ der Laserscans statt nur das „eingefrorene Bild“ zu betrachten, und indem sie eine Kamera die Laser sehen ließen, schufen die Autoren ein Roboter-Sehensystem, das intelligenter, schneller und bereit für die reale Welt ist.