Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining

In der Welt des Computer Vision ist das Lehren von Maschinen zum Verständnis menschlicher Bewegungen eine grundlegende Herausforderung mit tiefgreifenden Auswirkungen auf die Robotik, Sicherheit und automatisierte Überwachung. Seit Jahrzehnten verlassen sich Forscher auf zwei Hauptstrategien, um dieses Rätsel zu lösen. Die erste Strategie beobachtet die gesamte Szene und analysiert Farben, Lichtverhältnisse und den Hintergrund, um zu erraten, was gerade geschieht. Die zweite Strategie ignoriert die Umgebung vollständig und konzentriert sich stattdessen nur auf das bewegliche Skelett einer Person – die spezifische Anordnung von Gelenken und Gliedmaßen. Während der erste Ansatz intuitiv ist, scheitert er oft, wenn sich der Hintergrund ändert oder die Lichtverhältnisse schlecht sind. Der zweite Ansatz, der das Skelett verfolgt, ist gegenüber diesen Umweltveränderungen wesentlich robuster, litt jedoch historisch gesehen unter einem anderen Problem: Er erfordert einen enormen Arbeitsaufwand durch Menschen, um ihn zu lehren. Um einen Computer darauf zu trainieren, eine bestimmte Aktion wie etwa einen Sturz oder einen Kampf zu erkennen, mussten Forscher traditionell mühsam in tausenden von Videos in jedem einzelnen Frame Boxen um jede Person zeichnen und genau beschriften, was diese gerade taten. Dieser Prozess ist so teuer und zeitaufwendig, dass er die Fähigkeit einschränkt, Computer schnell neue Aktionen lehren zu können.

Ein Team von Forschern hat nun eine neue Methode entwickelt, die diese schwere Last der manuellen Beschriftung umgeht und es Computern ermöglicht, zu lernen, wie sie neue Aktionen erkennen, ohne zuvor ein einziges Beispiel davon gesehen zu haben. Ihr Ansatz, der in einer kürzlich veröffentlichten Studie detailliert beschrieben wird, führt ein System ein, das aus breiten, allgemeinen Videobeschreibungen lernt, anstatt aus Frame-für-Frame-Annotationen. Anstatt dem System gesagt zu werden: „Diese Person schlägt in genau dieser Sekunde zu“, wird das System anhand ganzer Videos mit einfachen Textetiketten trainiert, die die allgemeine Aktivität beschreiben, wie etwa „Golf spielen“ oder „fahren“. Durch den Einsatz einer Technik, die die visuellen Daten menschlicher Skelette mit den Textbeschreibungen von Aktionen abgleicht, lernt das System eine universelle Sprache der Bewegung. Einmal trainiert, kann es ein Video betrachten, das Menschen bei einer Aktion zeigt, die es noch nie zuvor gesehen hat, und sowohl präzise identifizieren, wer es tut, als auch was genau passiert. Die Forscher demonstrierten, dass diese Methode nicht nur die Genauigkeit von Systemen erreicht, die mit massiven Mengen an detaillierten Etiketten trainiert wurden, sondern auch signifikant resistenter ist, wenn die Videoqualität schlecht oder der Hintergrund unübersichtlich ist.

Der Kern dieser Innovation liegt in einer klugen Verschiebung der Art und Weise, wie der Computer Informationen verarbeitet, einem Mechanismus, den die Autoren „Skeleton-Language Feature Pooling Switching“ nennen. Stellen Sie sich ein System vor, das zuerst lernt, die allgemeine Stimmung eines Raumes zu verstehen, indem es eine Zusammenfassung des Gesprächs hört, und dann, wenn es gebeten wird, eine bestimmte Person zu identifizieren, seinen Fokus darauf verlagert, einzelne Stimmen zu hören. In der Trainingsphase betrachtet der Computer ein Video und fasst alle Skelettdaten aller Personen im Clip zu einer einzigen Zusammenfassung zusammen. Er vergleicht diese Zusammenfassung dann mit dem Textetikett, das für das gesamte Video bereitgestellt wurde. Dies ermöglicht es dem System, die Verbindung zwischen einer Art von Bewegung und einem Wort zu lernen, ohne genau wissen zu müssen, wer sich wann bewegt. Wenn das System jedoch in die Testphase übergeht, schaltet es um. Es hört auf, das Video als Ganzes zu betrachten, und isoliert stattdessen jedes Individuum einzeln anhand seines Skeletts. Da es bereits die Verbindung zwischen Bewegungsmustern und Wörtern während der Trainingsphase gelernt hat, kann es nun ein einzelnes Skelett betrachten und fragen: „Sieht das aus wie die Textbeschreibung für ‚Boxen‘?“ Dieser Wechsel ermöglicht es dem System, spezifische Aktionen für bestimmte Personen zu lokalisieren, ohne jemals ein Video gesehen zu haben, in dem genau diese Personen beschriftet waren.

Um dies in komplexen Szenen zu ermöglichen, in denen sich mehrere Personen gleichzeitig bewegen, mussten die Forscher ein schwieriges Problem lösen: Wie bringt man dem Computer bei, zwischen verschiedenen Personen zu unterscheiden, wenn ihm nur ein einziges Etikett für das gesamte Video gegeben wird? Wenn ein Video zeigt, dass eine Person rennt und eine andere geht, und das Etikett lediglich „Sport“ lautet, könnte der Computer verwirrt darüber werden, welche Bewegung zu welchem Etikett gehört. Um dies zu beheben, führte das Team eine Technik namens „Scene-Mixed Discriminative Contrastive Learning“ ein. Diese Methode nimmt Ausschnitte aus verschiedenen Videos und mischt sie während des Trainingsprozesses künstlich zusammen. Durch das Erschaffen eines chaotischen Umfelds, in dem mehrere Aktionen nebeneinander stattfinden, wird das System gezwungen, die subtilen Unterschiede zwischen ihnen zu lernen. Es lernt zu erkennen, dass die Bewegung einer rennenden Person sich von der Bewegung einer springenden Person unterscheidet, selbst wenn sie im selben gemischten Kontext auftreten. Dies stellt sicher, dass das System bei einem realen Video mit mehreren Personen die korrekte Aktion selbstbewusst der korrekten Person zuordnen kann.

Die Ergebnisse dieses Ansatzes wurden gegen mehrere Standarddatensätze getestet, die bewerten, wie gut Computer Aktionen in Videos finden und beschriften können. Auf einem Datensatz mit vierundzwanzig verschiedenen Aktionen erreichte die neue Methode eine Genauigkeit von 34,1 Prozent und übertraf damit frühere schwach überwachte Methoden, die auf weniger anspruchsvollen Trainingsverfahren basierten. Noch beeindruckender war, dass das neue System bei einem Datensatz, der speziell für das Verfolgen von stürzenden Personen entwickelt wurde, eine Genauigkeit von 73,3 Prozent erreichte und damit bestehende Methoden, die auf der Verfolgung von Personenpositionen über die Zeit setzen, deutlich schlug. Die Forscher fanden auch heraus, dass ihr System weitaus robuster gegenüber schlechter Videoqualität ist. Wenn die Eingabevideos unscharf waren oder fehlende Frames aufwiesen, sank die Leistung von Systemen, die auf dem visuellen Erscheinungsbild basieren, drastisch, während das skelettbasierte System seine hohe Genauigkeit beibehielt. Dies deutet darauf hin, dass das System durch die Konzentration auf die Struktur des Körpers anstatt auf das Aussehen der Szene auch unter realen Bedingungen, in denen Kameras wackelig sein könnten oder das Licht schwach ist, zuverlässig funktionieren kann.

Ein weiterer kritischer Befund war die Effizienz des Systems. Während viele moderne KI-Modelle, die Video und Text verstehen können, Milliarden von Parametern und enorme Rechenleistung benötigen, operiert diese neue Methode mit einem Modell, das nur etwa 70 Millionen Parameter umfasst. Trotz dieser geringeren Größe erreichte es eine Genauigkeit von 84,0 Prozent auf einem Datensatz für gewalttätige Handlungen und übertraf damit viel größere und komplexere Modelle. Darüber hinaus ist das System extrem schnell und verarbeitet Videos mit einer Rate von etwa 1900 Frames pro Sekunde, was etwa 240 Mal schneller ist als einige der großen Sprachmodelle, die für ähnliche Aufgaben verwendet werden. Diese Kombination aus hoher Genauigkeit, geringen Rechenkosten und der Fähigkeit, neue Aktionen ohne aufwendiges Nachtraining zu lernen, deutet auf einen praktischen Weg für den Einsatz intelligenter Überwachungs- und Robotiksysteme hin, die sich an neue Situationen anpassen können, ohne dass ein Team von Menschen Wochen mit der Beschriftung von Daten verbringen muss.

Die Studie kommt zu dem Schluss, dass es durch die Verlagerung des Fokus von der teuren Frame-für-Frame-Beschriftung hin zu einem flexibleren, textgesteuerten Lernprozess möglich ist, Systeme zu bauen, die das menschliche Handeln mit einem Grad an Raffinesse verstehen, der zuvor ausschließlich schwer überwachten Modellen vorbehalten war. Die Forscher haben gezeigt, dass es machbar ist, einen Computer darauf zu trainieren, ungesehene Aktionen zu erkennen, indem man ihm die Beziehung zwischen Körperbewegungen und Sprache lehrt, anstatt ihn zu zwingen, jede mögliche Variation eines spezifischen Ereignisses auswendig zu lernen. Dieser Ansatz reduziert nicht nur die Kosten und den Zeitaufwand für die Entwicklung neuer Aktionserkennungssysteme, sondern schafft auch Modelle, die robuster und anpassungsfähiger an die unordentliche, unvorhersehbare Natur der realen Welt sind. Mit der Reifung dieser Technologie könnte sie eine neue Generation von Anwendungen ermöglichen, die die Sicherheit überwachen, die Sportanalyse unterstützen oder Roboter führen – und das alles ohne die prohibitiven Kosten der manuellen Datenannotation, die lange Zeit ein Flaschenhals in diesem Bereich war.