InterMesh: Explicit Interaction-Aware End-to-End Multi-Person Human Mesh Recovery
InterMesh ist ein End-to-End-Framework zur Wiederherstellung menschlicher Meshes bei mehreren Personen, das strukturierte Semantiken der Mensch-Umwelt-Interaktion explizit über einen Mensch-Objekt-Interaktionsdetektor und leichte Module integriert und damit im Vergleich zu bestehenden impliziten, auf Aufmerksamkeitsmechanismen basierenden Methoden die Genauigkeit der Schätzung von Pose und Form in komplexen Interaktionsszenarien erheblich verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen nur anhand eines einzigen Fotos zu erraten, was eine Gruppe von Menschen tut.
Der alte Weg: Das „Raten-Spiel"
Früher versuchten Computer, 3D-Menschformen (wie ein digitales Skelett und eine Haut) zu rekonstruieren, indem sie jede Person auf dem Foto einzeln betrachteten. Sie sagten: „Okay, diese Person steht hier, diese Person ist dort." Sie versuchten, ihre Beziehungen zueinander allein anhand ihrer Posen zu erraten.
Doch das ist wie der Versuch, ein Gespräch in einem lauten Raum zu verstehen, indem man nur die Stimme einer Person hört. Wenn jemand einen Koffer hält oder sich zwei Personen umarmen, gerät der Computer oft in Verwirrung. Er könnte denken, das Bein einer Person sei seltsam gebeugt, weil er den Koffer nicht sieht, den sie hält, oder er übersieht, dass zwei Personen interagieren, weil er nur ihre Körper isoliert betrachtet.
Der neue Weg: InterMesh (Der „soziale Detektiv")
Die Arbeit stellt ein neues System namens InterMesh vor. Denken Sie an InterMesh als einen Detektiv, der nicht nur die Menschen betrachtet, sondern die gesamte Szene und die Beziehungen zwischen allem.
So funktioniert es, anhand einer einfachen Analogie:
Der „soziale Radar" (HOI-Detektor):
Bevor der Computer versucht, den 3D-Körper zu erstellen, nutzt er ein spezielles Werkzeug (einen vortrainierten Detektor), um das Bild zu scannen und zu fragen: „Wer hält was?" und „Wer spielt mit wem?"- Beispiel: Er sieht eine Person und einen Koffer und sagt: „Ah, sie halten den Koffer."
- Beispiel: Er sieht zwei Personen und sagt: „Sie spielen zusammen."
Dies gibt dem Computer eine „Spickzettel" mit sozialen Hinweisen, die die alten Methoden übersehen hatten.
Der „kontextuelle Übersetzer" (Kontextueller Interaktions-Encoder):
Der Computer nimmt all diese Hinweise (halten, spielen, in der Nähe stehen) und ordnet sie. Es ist wie ein Übersetzer, der eine unordentliche Liste von Klatsch in eine klare Geschichte verwandelt. Er erkennt, dass, wenn Person A einen Koffer hält, Person B wahrscheinlich nicht in diesem Koffer steht. Er verbindet die Punkte zwischen allen Interaktionen.Der „Verfeinerer" (Interaktionsgesteuerter Verfeinerer):
Schließlich kehrt der Computer zur Erstellung des 3D-Körpers zurück. Doch diesmal nutzt er diese organisierten Hinweise, um seine Fehler zu korrigieren.- Das Ergebnis: Wenn der Computer im Begriff war, den Arm einer Person in der Luft schweben zu lassen, sagt der „soziale Radar": „Warte, dieser Arm hält eine Tasse!" Der Computer setzt den Arm dann in die korrekte Position.
Warum ist das eine große Sache?
Die Autoren testeten dies an vielen verschiedenen Datensätzen (Sammlungen von Fotos und Videos), auf denen Menschen komplexe Dinge tun: Sport treiben, sich durch Menschenmengen bewegen oder mit Objekten interagieren.
- Die Punktzahl: Bei diesen Tests machte InterMesh deutlich weniger Fehler als die besten vorherigen Methoden.
- Auf einem Datensatz (CMU Panoptic) reduzierte es die Fehler um fast 10 %.
- Auf einem anderen (Hi4D) reduzierte es die Fehler um über 8 %.
Das Fazit
InterMesh ist wie ein Upgrade der Computervision von „Ich sehe eine Person" zu „Ich sehe eine Person, die etwas mit etwas anderem tut." Indem dem Computer explizit beigebracht wird, Interaktionen zu verstehen (wie das Halten einer Tasse oder das Umarmen eines Freundes), kann er viel genauere und realistischere 3D-Modelle von Menschen erstellen, insbesondere in überfüllten oder komplizierten Szenen, in denen Dinge schwer zu erkennen sind.
Die Arbeit behauptet, dies sei die erste Methode, die diese „Interaktionshinweise" explizit direkt in den Prozess des Aufbaus von 3D-Menschmodellen integriert, was zu besseren Ergebnissen führt, ohne die gesamte Architektur des Systems ändern zu müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.