MRBench: A Comprehensive Benchmark for Human Motion-Text Retrieval
Dieses Paper stellt MRBench vor, einen umfassenden Benchmark für die menschliche Bewegungs-Text-Retrieval, der vielfältige, ausgewogene und multigranulare Daten aufweist, um die Einschränkungen bestehender Datensätze zu adressieren, sowie ein leichtgewichtiges granulatitätsbewusstes Modell, das die domänenübergreifende Generalisierung und die Retrieval-Leistung über verschiedene Beschreibungsebenen hinweg signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, menschliche Bewegungen zu verstehen – nicht nur durch das Beobachten, sondern indem Sie zuhören, wie wir sie beschreiben. Dies ist die Welt der Human Motion-Text Retrieval (menschliche Bewegungs-Text-Abfrage), ein Bereich, in dem Computer versuchen, ein Video einer tanzenden oder gehenden Person mit den spezifischen Worten abzugleichen, die diese Handlung beschreiben. Denken Sie an eine supermächtige Bibliothekarin, die nicht nur den Titel des Buches betrachtet, sondern die Geschichte darin versteht, um die exakte Übereinstimmung für eine Anfrage wie „Zeig mir das Video, in dem die Person über ihre eigenen Schnürsenkel stolpert“ zu finden. Lange Zeit haben Wissenschaftler Bibliotheken dieser Bewegungsvideos und Beschreibungen aufgebaut, um ihre Roboter zu trainieren. Es gibt jedoch einen Haken: Wenn die Bibliothek nur Videos enthält, in denen Menschen in einer geraden Linie in einem weißen Raum gehen, und die Beschreibungen alle nur aus „Person geht“ bestehen, lernt der Roboter eine sehr enge, langweilige Version der Welt. Er könnte sehr gut darin sein, genau diesen einen speziellen Gang zu finden, aber er wäre völlig verloren, wenn man ihn bitten würde, jemanden zu finden, der im Park einen Rückwärtssalto macht oder in einer Küche tollpatschig stolpert.
Genau dieses Problem beschlossen ein Team von Forschern der Shanghai Jiao Tong University und der Beijing Zhongguancun Academy anzugehen. Sie erkannten, dass die alten Bibliotheken von Bewegungsdaten zu einfach, zu repetitiv und zu wenig repräsentativ für die chaotische, vielfältige Realität waren, wie sich Menschen tatsächlich bewegen. Also bauten sie eine brandneue, massive Bibliothek namens MRBench. Anstatt nur „gehen“ zu enthalten, umfasst ihre Bibliothek 3.390 verschiedene Bewegungen, die von Indoor-Tanzschritten bis hin zu wilden, realen Aktionen reichen, die aus Videos und sogar computergenerierten Animationen eingefangen wurden. Sie deckten 118 verschiedene Bewegungskategorien ab und stellten so sicher, dass keine einzelne Bewegungsart die Sammlung dominierte. Aber sie hörten nicht nur bei den Videos auf; sie schrieben auch die Beschreibungen um. Sie erstellten drei Detailstufen für jede einzelne Bewegung: eine kurze, prägnante Zusammenfassung (wie „Person fällt“), eine Standardbeschreibung (wie „Person fällt nach hinten auf den Boden“) und eine superdetaillierte, feingliedrige Schilderung (wie „Person steht aufrecht, lehnt sich zurück, kollabiert und landet regungslos“). Dies ermöglicht es ihnen zu testen, ob ein Computer einen einfachen Befehl gegenüber einer komplexen, detaillierten Geschichte verstehen kann.
Als sie ihre neue Bibliothek auf die Probe stellten, stellten sie fest, dass die alten, populären Computermodelle eine böse Überraschung erlebten. Diese Modelle, die bei Tests auf den alten, einfachen Bibliotheken klug erschienen, hatten mit der Vielfalt von MRBench erheblich zu kämpfen. Sie waren wie ein Schüler, der die Antworten auf eine bestimmte Übungsprüfung auswendig gelernt hat, aber durchfiel, als die Fragen anders formuliert wurden oder neue Themen abgefragt wurden. Die Forscher entdeckten, dass diese Modelle sehr empfindlich darauf reagierten, wie detailliert der Text war; sie gerieten oft in Verwirrung, wenn die Beschreibung nicht exakt so war, wie sie es gewohnt waren. Um dies zu beheben, entwarf das Team ein neues, leichtgewichtiges Modell, das wie ein flexibler Übersetzer fungiert. Es behält ein solides Fundament für das Verständnis von Standardbeschreibungen bei, fügt aber spezielle „Adapter“ hinzu, die sich schnell anpassen können, um kurze Zusammenfassungen oder lange, detaillierte Geschichten zu verstehen, ohne den Faden zu verlieren. Durch das Testen dieses neuen Ansatzes zeigten sie, dass es möglich ist, Computer besser darin zu machen, das gesamte Spektrum menschlicher Bewegung und Sprache zu verstehen – vom schnellen „Sprung“ bis hin zu einem detaillierten Play-by-Play einer Gymnastikroutine –, ohne dabei die Grundlagen zu vergessen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.