Robust Motion Generation using Part-level Reliable Data from Videos
Diese Arbeit adressiert die Herausforderung von Verdeckungen und Off-Screen-Aufnahmen in videobasierten Bewegungsdaten durch den Vorschlag eines robusten, teilbewussten autoregressiven Modells, das ausschließlich glaubwürdige Informationen auf Teilebene nutzt, um hochwertige menschliche Bewegungen zu generieren, begleitet von der Einführung eines neuen groß angelegten Benchmarks namens K700-M.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, einen digitalen Menschen allein durch das Lesen eines Satzes zu bewegen. Sie könnten „Die Person tanzt“ eingeben und erwarten, dass der Bildschirm eine flüssige, realistische Darbietung zeigt. Dieses Feld, bekannt als Text-zu-Bewegungs-Generierung (Text-to-Motion Generation), hat bemerkenswerte Fortschritte gemacht, ist aber an eine Wand gestoßen. Die bisher besten Ergebnisse erzielen Computer, die mit speziellen, hochwertigen Aufnahmen echter Menschen trainiert wurden, die mit teuren Sensoren in kontrollierten Studios aufgenommen wurden. Obwohl diese Aufnahmen perfekt sind, sind sie selten, begrenzt in ihrer Vielfalt und erfassen oft nicht die chaotischen, komplexen Arten, wie sich Menschen in der realen Welt bewegen. Um diese Barriere zu durchbrechen, haben Forscher sich dem Internet zugewandt, in der Hoffnung, aus den Milliarden von gewöhnlichen Videos, die online verfügbar sind, zu lernen. Die Idee ist simpel: Wenn ein Computer aus der riesigen Bibliothek des Webs lernen kann, könnte er ein viel breiteres Spektrum an Handlungen verstehen. Aber es gibt einen Haken. Wenn ein Computer versucht herauszufinden, wie sich eine Person in einem normalen Video bewegt, kann er oft nicht den ganzen Körper sehen. Eine Person könnte teilweise durch einen Baum verdeckt sein, durch den Rand des Kameraframes abgeschnitten werden oder von einer anderen Person blockiert werden. In diesen Momenten muss der Computer raten, wo die fehlenden Gliedmaßen sind.
Dieses Raten erzeugt ein grundlegendes Problem für das Lernen. Wenn einem Computer ein Video gezeigt wird, in dem nur der Oberkörper sichtbar ist, und er gezwungen ist, aus einer Ganzkörper-Vermutung zu lernen, die unsichtbare Beine einschließt, lernt er möglicherweise die falschen Dinge. Er könnte anfangen zu glauben, dass die unsichtbaren Beine echte Beweise sind, statt nur eine Vermutung. Lange Zeit standen Forscher vor einer schwierigen Wahl: Entweder sie warfen jeden Videoclip weg, der nicht perfekt klar war, wodurch sie den Großteil der Daten verloren, oder sie behielten alle Clips und hofften, dass der Computer die schlechten Vermutungen ignorieren könnte. Beide Ansätze hatten schwerwiegende Mängel. Das Wegwerfen von Clips bedeutete, wertvolle Informationen über spezifische Bewegungen zu verlieren, wie zum Beispiel, wie sich die Arme einer Person beim Sitzen bewegen. Das Behalten aller Clips bedeutete, den Computer mit falschen Informationen zu unterrichten. Ein Team von Forschern hat nun einen Weg gefunden, dies zu lösen, indem sie die Art und Weise änderten, wie der Computer die Daten betrachtet. Anstatt den gesamten Videoclip als entweder gut oder schlecht zu behandeln, brachten sie den Computer bei, den Körper Teil für Teil zu betrachten.
Die Forscher entwickelten ein neues System, das wie ein sorgfältiger Editor agiert. Wenn das System ein Video analysiert, prüft es zuerst, welche Körperteile tatsächlich sichtbar und welche verborgen sind. Wenn die Beine einer Person durch einen Tisch blockiert sind, weiß das System, dass es den Bewegungen der Arme und des Torsos vertrauen, aber die Vermutung des Computers über die Beine ignorieren muss. Es behandelt die sichtbaren Teile als feste Fakten und die verborgenen Teile als Lücken, die später aufgefüllt werden sollen. Dieser Ansatz ermöglicht es dem System, aus tausenden von Videos zu lernen, die zuvor als zu unordentlich galten, um verwendet zu werden. Indem es sich nur auf die Teile des Körpers konzentriert, die die Kamera tatsächlich sieht, baut das System ein zuverlässiges Verständnis von Bewegung auf, ohne durch seine eigenen Vermutungen verwirrt zu werden. Es ist wie das Erlernen der Erkennung eines Vogels, indem man nur die Flügel studiert, wenn der Schwanz verborgen ist, anstatt zu versuchen, eine Zeichnung des gesamten Vogels auswendig zu lernen, die einen erfundenen Schwanz enthält.
Um diese Idee zu testen, erstellte das Team eine massive neue Datensammlung aus dem Internet, die fast zweihunderttausend Paare aus Videoclips und Textbeschreibungen enthält. Sie analysierten diese Clips und fanden heraus, dass in mehr als drei Vierteln der Frames mindestens ein Körperteil nicht vollständig sichtbar war. Dies bestätigte, dass das Problem fehlender Informationen nicht selten ist, sondern die Norm für Web-Videos darstellt. Mit diesem Datensatz trainierten sie ihr neues System und verglichen es mit älteren Methoden, die entweder die unordentlichen Clips wegwarfen oder versuchten, aus allen von ihnen zu lernen, ohne zu filtern. Die Ergebnisse waren eindeutig. Das neue System, das darauf achtet, welche Teile sichtbar sind, erzeugte viel genauere und realistischere Bewegungen als die älteren Methoden. Es war in der Lage, Bewegungen zu generieren, die nicht nur treuer gegenüber der Textbeschreibung waren, sondern auch geschmeidiger und natürlicher wirkten.
Die Studie zeigte, dass es viel besser war, die unordentlichen Clips zu behalten und den Computer zu lehren, die unsichtbaren Teile zu ignorieren, als die Clips wegzuwerfen. Als die Forscher ihr System an einem großen Pool von zweihunderttausend Clips testeten, übertraf es die besten bestehenden Methoden deutlich. Die älteren Methoden, die alle Daten behielten, machten viele Fehler, weil sie versuchten, aus den unsichtbaren Teilen zu lernen, während die Methoden, die die schlechten Daten wegwarfen, zu viel Vielfalt verloren. Das neue System schaffte es, die Vielfalt des großen Datensatzes zu bewahren und gleichzeitig die Fehler zu vermeiden. Es lernte, dass die Beine einer Person, die sitzt und Schlagzeug spielt, vielleicht verborgen sind, aber ihre Armbewegungen dennoch real und nützlich sind, um daraus zu lernen. Durch die Konzentration auf die zuverlässigen Teile konnte das System ein vollständiges Bild der Bewegung zusammensetzen, ohne durch die fehlenden Stücke in die Irre geführt zu werden.
Diese Arbeit legt einen neuen Weg nahe, Computer mithilfe unvollkommener Daten über die physische Welt zu lehren. Sie zeigt, dass wir keine perfekten Aufnahmen in Studioqualität benötigen, um einer Maschine das Bewegen beizubringen. Stattdessen können wir die riesige, unordentliche Sammlung von Videos aus dem Internet nutzen, wenn wir der Maschine beibringen, klug damit umzugehen, was sie vertraut. Das System muss nicht den ganzen Körper sehen, um zu lernen, wie sich ein Mensch bewegt; es muss nur genug vom Körper sehen, um die Handlung zu verstehen. Dieser Ansatz öffnet die Tür für das Training viel größerer und leistungsfähigerer Systeme in der Zukunft, die in der Lage sind, ein viel breiteres Spektrum menschlicher Verhaltensweisen als je zuvor zu verstehen. Die Forscher fanden heraus, dass der Computer durch das Respektieren der Grenzen dessen, was die Kamera sehen kann, mehr lernt, nicht weniger. Dieser Wechsel der Strategie – von der Forderung nach perfekten Daten hin zum Lernen aus teilweisen Beweisen – markiert einen bedeutenden Schritt nach vorn in der Lehre von Maschinen, die menschliche Bewegung zu verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.