Learning to Understand Body Language from Flight through Robust 3D Avatar Placing
Dieses Paper führt Drones2BodyLanguage ein, einen neuartigen Datensatz, der durch das robuste Platzieren von 3D-Avataren mit kommunikativen Intentionen in reale Drohnenaufnahmen unter Verwendung eines leichtgewichtigen geometrischen Weltmodells erstellt wurde, was die Fähigkeit von Luftrobotern signifikant verbessert, die Körpersprache und Intention von Menschen aus Langstrecken-UAV-Videos zu lernen und zu verstehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind eine Drohne, die hoch über einer belebten Stadt oder einer ruhigen Landschaft fliegt. Sie sind ein „sozial intelligenter“ Roboter, was bedeutet, dass Sie verstehen wollen, was die winzigen Menschen unter Ihnen versuchen, Ihnen mitzuteilen. Vielleicht winkt ein Wanderer um Hilfe oder eine Gruppe signalisiert eine bestimmte Richtung. In der Wissenschaft wird dies als Verständnis von „Körpersprache“ oder „kommunikativer Intention“ bezeichnet. Normalen Computern fällt es leicht, diese Signale aus der Nähe zu lesen, etwa bei einem Selfie. Aber wenn man herauszoomt, auf eine Distanz von 50 bis 100 Metern, wird die Person nur noch zu ein paar Pixeln auf einem Bildschirm. Ihre Bewegungen verschwimmen, und der Computer wird verwirrt. Es ist, als würde man versuchen, ein Buch aus der Mitte eines Fußballfeldes zu lesen; die Buchstaben sind da, aber sie sind zu klein, um Sinn zu ergeben.
Um einen Computer zu lehren, diese winzigen, fernen Signale zu lesen, benötigen Wissenschaftler normalerweise tausende von Beispielen. Aber hier liegt der Haken: Niemand hat tausende Videos davon gefilmt, wie Menschen aus 100 Metern Entfernung Drohnen zuwinken – es ist zu schwer zu filmen, und die Menschen könnten zu weit weg sein, um klar zu sehen. Daher haben Wissenschaftler zwei schlechte Optionen: Entweder versuchen sie, echte Menschen zu filmen (was fast unmöglich ist, um genug Material zu sammeln), oder sie erschaffen künstliche, computergenerierte Menschen in einer völlig künstlichen Welt (die jedoch zu perfekt aussieht und nicht mit der chaotischen Realität echter Videos übereinstimmt). Diese Arbeit versucht, einen klugen Mittelweg zu finden. Sie fragt: „Was wäre, wenn wir das Video der realen Welt behalten, aber real aussehende Menschen magisch hineinkopieren, damit der Computer lernen kann, ihre Signale aus der Ferne zu lesen?“
Die Forscher hinter dieser Studie, Dragoş Costea und sein Team, haben ein neues Werkzeug namens Drones2BodyLanguage entwickelt. Denken Sie an eine hochtechnisierte „Ausschneiden-und-Einfügen“-Maschine für Videos, aber mit einer ganz besonderen Wendung. Normalerweise sieht eine Person, die man in ein Video einfügt, wie ein flacher Aufkleber aus, der seltsam herumgleitet. Wenn sich die Kamera bewegt, bewegt sich die Person nicht mit dem Boden; sie schwebt einfach nur dahin. Das ist nicht gut für das Lernen. Der große Durchbruch des Teams liegt in einer Methode, diese digitalen Menschen so zu platzieren, dass sie fest auf dem Boden stehen, an der richtigen Stelle bleiben, während die Drohne fliegt, und sich sogar so drehen, dass sie in die richtige Richtung blicken, genau wie ein echter Mensch es tun würde.
So funktioniert ihre „Magie“. Zuerst nehmen sie ein echtes 4K-Video von einer Drohne auf. Dann nutzen sie ein intelligentes System, um „Anker“ zu finden – stabile Punkte auf dem Boden wie die Ecke eines Gebäudes oder eines Baumes. Selbst wenn der Boden wie glatter, langweiliger Asphalt ohne Muster aussieht, nutzt ihr System einen speziellen Tiefensensor, um zu erraten, wie hoch diese Punkte im 3D-Raum liegen. Sie berechnen dann einen „Sweet Spot“, um einen digitalen Avatar zu platzieren. Das Geheimnis ist ein mathematischer Trick: Sie verfolgen nicht direkt die Füße der Person (da die Füße auf der glatten Straße verschwinden würden), sondern sie verfolgen die stabilen Anker um die Person herum und nutzen eine Formel, um genau vorherzusagen, wo sich die Füße der Person befinden sollten, egal wie sich die Drohne bewegt. Sie berechnen auch, wie der Boden „geneigt“ ist, damit die Person nicht aussieht, als würde sie zur Seite kippen.
Sobach die Person perfekt platziert ist, fügt das Team sie auf drei verschiedene Arten zum Video hinzu, um eine riesige Bibliothek an Trainingsdaten zu erstellen:
- Real: Sie nehmen tatsächliche Videos von Schauspielern, schneiden sie aus und fügen sie ein.
- Retargeted: Sie nehmen die Bewegungen echter Schauspieler und übertragen sie auf realistische 3D-Computercharaktere.
- Generated: Sie nutzen KI, um brandneue Bewegungen zu erfinden, die noch nie zuvor gefilmt wurden.
Sie erstellten einen Datensatz mit über 3.500 dieser „platzierten“ Videoclips, die zeigen, wie Menschen zehn verschiedene kommunikative Signale (wie Winken, Zeigen oder das Signal zum „Stoppen“) aus Entfernungen zwischen 33 und 98 Metern ausführen.
Das Team testete dann, ob diese „falschen“ Daten tatsächlich Computer lehren können, echte Menschen zu verstehen. Sie nahmen zwölf verschiedene Computer-Gehirn-Modelle (Architekturen) und trainierten sie auf diesem neuen Datensatz. Die Ergebnisse waren vielversprechend. Als sie die Computer auf den platzierten Videos trainierten, wurden die Modelle viel besser darin, zu erraten, was die fernen Menschen sagen wollten. Tatsächlich sprang die Genauigkeit signifikant an, verglichen mit Modellen, die diese Art von Daten nicht gesehen hatten.
Interessanterweise fanden sie heraus, dass die Art der Bewegung wichtiger war als das Aussehen der Person. Modelle, die auf den „generierten“ (vollständig künstlichen) Bewegungen trainiert wurden, hatten am meisten Schwierigkeiten, während jene, die auf „retargeted“ (echte menschliche Bewegungen auf künstlichen Körpern) trainiert wurden, sehr gut abschnitten. Dies deutet darauf hin, dass der Computer den Rhythmus und die Form echter menschlicher Bewegung lernen muss, nicht nur das Aussehen eines 3D-Charakters.
Sie testeten ihr System auch auf zwei brandneuen, realen Videos, die sie zuvor noch nie gesehen hatten – eines in der ländlichen Gegend und eines in einem Resort. Obwohl der Computer diese spezifischen Szenen noch nie gesehen hatte, schnitten die Modelle, die mit ihrem gemischten Datensatz (unter Verwendung sowohl realer als auch retargeted Daten) trainiert wurden, am besten ab. Dies deutet darauf hin, dass ihre Methode des „Platzierens“ von Menschen in echte Videos ein solider Weg ist, um Roboter darauf zu trainieren, menschliche Signale aus der Luft zu verstehen.
Die Autoren weisen jedoch vorsichtig darauf hin, dass dies noch keine perfekte Lösung für jede Situation ist. Ihre Methode funktioniert am besten auf flachem, festem Boden und setzt voraus, dass der Boden einigermaßen starr ist. Zudem können die „echten“ Menschen, die sie aus Videos ausschneiden, nicht einfach geändert oder neu animiert werden, ohne den gesamten Prozess zu wiederholen. Insgesamt zeigt diese Arbeit jedoch einen leistungsstarken neuen Weg auf, Drohnen besser darin zu machen, unsere Körpersprache zu lesen, indem sie eine Mischung aus echten Videos und cleverer digitaler Platzierung nutzen und so die Lücke zwischen dem, was wir filmen können, und dem, was Computer lernen müssen, schließen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.