Label-Efficient Transfer Learning for Human Action Recognition Using Pretrained VideoMAE

In der Welt des Computer Vision war das Lehren von Maschinen, menschliche Bewegungen zu verstehen, lange Zeit ein Rätsel von immenser Komplexität. Jahrzehntelang versuchten Forscher, Systeme zu bauen, die ein Video betrachten und identifizieren können, was eine Person tut, sei es ein Tennisserve, ein Händeschütteln oder ein Sturz. Frühe Versuche stützten sich auf handgefertigte Regeln, bei denen Ingenieure manuell definierten, wie Bewegung aussah, aber diese Systeme scheiterten oft, wenn sich der Kamerawinkel änderte oder der Hintergrund unübersichtlich wurde. Das Feld wandelte sich mit der Ankunft des Deep Learning, was es Computern ermöglichte, diese Muster direkt aus Rohvideodaten zu lernen. Dieser neue Ansatz kam jedoch mit einem hohen Preis einher: Er erforderte gewaltige Mengen an beschrifteten Videos, bei denen Menschen mühsam Stunden von Videomaterial beobachteten und jede Aktion markierten. Dieser Prozess ist langsam, teuer und oft unmöglich für spezialisierte Aufgaben, bei denen Experten knapp sind. Um dies zu lösen, wandten sich Wissenschaftler dem selbstüberwachten Lernen (Self-Supervised Learning) zu, einer Methode, bei der ein Computer aus riesigen Ozeanen unbeschrifteter Videos lernt, indem er versucht, fehlende Teile des Bildes vorherzusagen, wodurch er sich effektiv selbst die Struktur von Bewegung ohne menschliche Hilfe beibringt. Die Frage, die bleibt, ist, ob diese selbstgelenten Systeme wirklich bereit für die reale Welt sind, in der beschriftete Daten oft begrenzt sind, oder ob sie immer noch eine starke Hand menschlicher Aufsicht benötigen, um korrekt zu funktionieren.

Ein Forscher am Siddaganga Institute of Technology in Indien ging die Frage an, indem er einen spezifischen Typ eines selbstüberwachten Modells namens VideoMAE testete. Stellen Sie sich einen Studenten vor, der jedes Buch in einer Bibliothek gelesen hat, aber noch nie eine Prüfung abgelegt hat; der Forscher wollte sehen, wie gut dieser Student Prüfungsfragen beantworten könnte, wenn man ihm nur wenige Musterantworten zum Studium gäbe. In seiner Studie verwendete er ein vortrainiertes VideoMAE-Modell, das bereits gelernt hatte, Videos zu verstehen, indem es maskierte Abschnitte von tausenden unbeschrifteten Clips rekonstruierte. Er „fror das Gehirn“ dieses Modells ein, sodass es nichts Neues lernen konnte, und setzte einen einfachen, leichtgewichtigen Klassifikator obenauf. Dieser Aufbau ermöglichte es ihm, das rohe Verständnis des Modells für menschliche Handlungen zu testen, indem er ihm unterschiedliche Mengen an beschrifteten Trainingsdaten zuführte, die von einem winzigen Bruchteil bis hin zum vollständigen Datensatz reichten. Er testete diesen Ansatz an zwei bekannten Benchmarks für die Erkennung menschlicher Handlungen: UCF101, das eine vielfältige Auswahl an Sportarten und täglichen Aktivitäten enthält, und HMDB51, eine schwierigere Sammlung von Clips aus Filmen und öffentlichen Datenbanken, die komplexe Kamerabewegungen und variierende Hintergründe aufweist.

Die Ergebnisse zeigten einen klaren und praktischen Weg für den Einsatz dieser fortschrittlichen Modelle auf. Als der Forscher dem System nur zehn Prozent der verfügbaren beschrifteten Daten gab, gelang es ihm dennoch, Handlungen mit bemerkenswerter Genauigkeit zu identifizieren. Beim UCF101-Datensatz erreichte das Modell mit nur diesem kleinen Ausschnitt an beschrifteten Beispielen eine Erkennungsrate von fast achtundachtzig Prozent. Als sie die Menge der beschrifteten Daten auf fünfundzwanzig Prozent und dann auf fünfzig Prozent erhöhten, stieg die Genauigkeit stetig an und erreichte über zweiundneunzig Prozent, als der vollständige Datensatz verwendet wurde. Die bedeutendste Erkenntnis war jedoch nicht nur, dass das Modell mit wenig Daten funktionierte, sondern dass der Nutzen des Hinzufügens von mehr Daten schnell nachließ. Sobald das System Zugriff auf die Hälfte der beschrifteten Trainingsproben hatte, brachte das Hinzufügen der verbleibenden Hälfte nur eine sehr geringe Verbesserung der Leistung. Dies deutet darauf hin, dass das selbstüberwachte Vortraining bereits den Großteil der visuellen und zeitlichen Informationen erfasst hatte, die zum Verständnis menschlicher Bewegung nötig sind, sodass der einfache Klassifikator nur noch sehr wenig Arbeit leisten musste, um sich an die spezifische Aufgabe anzupassen.

Die Geschichte verlief etwas anders, aber ebenso aufschlussreich, als der Forscher den schwierigeren HMDB51-Datensatz testete. Da diese Videos unordentlicher waren, mit wackeligen Kameras und komplexen Hintergründen, startete das Modell mit einer niedrigeren Genauigkeit von etwa zweiundfünfzig Prozent unter Verwendung von nur zehn Prozent der Labels. Doch als sie mehr beschriftete Daten hinzufügten, verbesserte sich das System weitaus dramatischer als beim leichteren Datensatz und erreichte schließlich eine Genauigkeit von über dreiundsechzig Prozent unter vollständiger Supervision. Dies deutete darauf an, dass, obwohl das selbstüberwachte Fundament stark war, die Umgebung umso chaotischer und komplexer wurde, desto wertvoller einige zusätzliche beschriftete Beispiele wurden. Dennoch erreichte das System auch mit der Hälfte der Daten eine hohe Leistungsfähigkeit, was bewies, dass das selbstgelernte Modell eine robuste Repräsentation von Handlungen gelernt hatte, die eine große visuelle Varianz bewältigen konnte, ohne einen vollständigen manuellen Leitfaden zu benötigen.

Jenseits der Endergebnisse untersuchte der Forscher genau, wie das System lernte und welche Ressourcen es verbrauchte. Er fand heraus, dass der Trainingsprozess über alle Ebenen der Aufsicht hinweg stabil und vorhersehbar war, wobei das Modell glatt konvergierte, ohne erratisches Verhalten zu zeigen. In Bezug auf die Rechenleistung war der Ansatz hocheffizient. Da der Hauptteil des Modells eingefroren war und nur die kleine obere Schicht trainiert wurde, blieb die benötigte Computerarbeit nahezu konstant, unabhängig davon, wie viele beschriftete Daten verwendet wurden. Die Zeit, die für das Training benötigt wurde, nahm mit mehr Daten zwar zu, einfach weil der Computer mehr Beispiele verarbeiten musste, aber der Speicherbedarf wuchs nicht. Dies bedeutet, dass die Methode skalierbar ist und keine teuren Hardware-Upgrades erfordert, nur um ein größeres Dataset zu handhaben. Die Studie untersuchte auch, welche Handlungen das Modell falsch interpretierte, und stellte fest, dass Fehler hauptsächlich bei visuell ähnlichen Bewegungen konzentriert waren – eine natürliche Einschränkung beim Unterscheiden subtiler Variationen menschlicher Bewegungen.

Letztendlich zeigt diese Arbeit, dass die Ära, in der man für jede neue Anwendung massive, perfekt beschriftete Videodatensätze benötigt, möglicherweise zu Ende geht. Der Forscher zeigte, dass ein auf unbeschrifteten Videos trainiertes Modell als leistungsstarke Basis für die Erkennung menschlicher Handlungen dienen kann, wobei nur ein Bruchteil des manuellen Beschriftungsaufwands nötig ist, um eine hohe Leistung zu erzielen. Die Ergebnisse legen nahe, dass Organisationen für viele praktische Anwendungen, wie etwa die Überwachung der Sicherheit in Fabriken oder die Analyse von Sporttechniken, auf diese vortrainierten Systeme vertrauen können, um präzise Ergebnisse zu liefern, ohne die prohibitiven Kosten der Annotation jedes einzelnen Videoframes zu tragen. Während die schwierigsten Datensätze noch von zusätzlichen beschrifteten Beispielen profitieren, ist die Kernfähigkeit bereits im selbstüberwachten Modell vorhanden, was eine praktische und ressourceneffiziente Lösung darstellt, um intelligentes Video-Verständnis in die reale Welt zu bringen.