Let's Split Up: Zero-Shot Classifier Edits for Fine-Grained Video Understanding

Die Arbeit stellt eine neue Methode zur Null-Shot-Bearbeitung von Video-Klassifikatoren vor, die es ermöglicht, grobe Kategorien ohne zusätzliche Daten in feinere Unterkategorien aufzuspalten und dabei die Genauigkeit für die restlichen Klassen zu erhalten.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr klugen Video-Beobachter, einen digitalen Detektiv. Dieser Detektiv wurde trainiert, um Tausende von Videos zu sehen und zu sagen: „Das ist ein Türöffnen."

Das Problem ist: Für unseren Detektiv ist „Türöffnen" alles. Ob Sie die Tür vorsichtig aufdrücken, sie mit einem Fuß aufstoßen, sie nur einen Spalt weit öffnen oder ob Sie eine Schranktür oder eine Kellertür öffnen – für ihn ist es einfach nur „Türöffnen". Er hat keine Ahnung von den feinen Unterschieden.

In der echten Welt wollen wir aber oft mehr Details wissen. Wenn Sie einen Roboter programmieren, der Ihnen hilft, ist es wichtig zu wissen, wie genau die Tür geöffnet wird.

Hier kommt die Idee der Autoren aus diesem Papier ins Spiel. Sie nennen es „Kategorien-Spalten" (Category Splitting).

Das Problem: Der starre Katalog

Normalerweise müsste man, um den Detektiv zu lehren, den Unterschied zwischen „Tür aufstoßen" und „Tür vorsichtig öffnen" zu erkennen, ihm tausende neue Videos zeigen, ihn von Grund auf neu trainieren und dabei hoffen, dass er nicht vergisst, wie man eine Schranktür erkennt. Das ist teuer, langsam und aufwendig.

Andere moderne KI-Modelle (die sogenannten „Vision-Language-Modelle") können zwar Texte verstehen, aber sie brauchen riesige Datenmengen und sind oft nicht so gut darin, die winzigen Bewegungen in Videos zu erkennen.

Die Lösung: Der „Kleber" statt der Neuprogrammierung

Die Autoren sagen: „Warum den ganzen Detektiv neu bauen, wenn wir nur eine kleine Notiz an seinem Notizblock ändern müssen?"

Ihre Methode funktioniert wie ein magischer Kleber, der die bestehenden Fähigkeiten des Detektivs nutzt, ohne ihn neu zu programmieren.

1. Die Entdeckung im Gehirn des Detektivs (Zero-Shot Editing)
Stellen Sie sich vor, der Detektiv hat in seinem Gehirn bereits gelernt, was „nach links schieben" bedeutet (weil er das beim „Kiste nach links schieben" gelernt hat) und was „nach rechts schieben" bedeutet.
Die Autoren haben entdeckt, dass diese feinen Unterschiede („nach links", „nach rechts", „schnell", „langsam") bereits als mathematische Muster in den Gewichten des Modells gespeichert sind, auch wenn er sie noch nie explizit als eigenständige Kategorie gelernt hat.

Ihre Methode ist wie ein Wörterbuch für diese feinen Unterschiede:

• Sie nehmen das Muster für „nach links" aus einem anderen Teil des Gehirns des Detektivs.
• Sie kleben dieses Muster auf die Kategorie „Türöffnen".
• Plötzlich hat der Detektiv zwei neue, feine Kategorien: „Türöffnen nach links" und „Türöffnen nach rechts".
• Das Tolle: Er braucht dafür keine neuen Videos. Er nutzt nur sein vorhandenes Wissen. Das nennt man „Zero-Shot" (Null-Shots = keine neuen Beispiele nötig).

2. Der Feinschliff (Low-Shot Fine-Tuning)
Wenn Sie doch ein paar wenige Beispiele haben (z. B. nur ein einziges Video von jemandem, der eine Tür aufstößt), können Sie den Detektiv noch einmal kurz „feinjustieren".
Statt den ganzen Detektiv neu zu schulen, ändern sie nur den kleinen Abschnitt, der für die neuen Kategorien zuständig ist. Das ist wie das Nachjustieren einer Lupe, statt die ganze Kamera neu zu bauen. Das funktioniert erstaunlich gut und verhindert, dass der Detektiv vergisst, wie man eine normale Tür öffnet.

Warum ist das so wichtig? (Die Analogie)

Stellen Sie sich vor, Sie haben eine Bibliothek, in der alle Bücher nur unter „Geschichte" stehen.

• Der alte Weg: Um Bücher über „Geschichte des 20. Jahrhunderts" und „Geschichte des 19. Jahrhunderts" zu trennen, müssten Sie die ganze Bibliothek schließen, jedes Buch einzeln umsortieren und neue Regale bauen. (Teuer und langsam).
• Der neue Weg (dieses Papier): Sie nehmen ein kleines Etikett, das Sie bereits für andere Bücher haben, und kleben es auf die „Geschichte"-Regale. Plötzlich können Sie die Bücher sofort trennen, ohne die Bibliothek zu schließen. Und wenn Sie ein paar neue Bücher haben, ordnen Sie diese einfach in die neuen Fächer ein.

Das Ergebnis

Die Autoren haben neue Tests (Benchmarks) entwickelt, um das zu prüfen. Ihr Ergebnis ist beeindruckend:

• Ihre Methode ist viel besser als die aktuellen großen KI-Modelle, die versuchen, alles aus Text und Video zu lernen.
• Sie können feine Unterschiede erkennen (z. B. „Etwas fallen lassen, damit es zerbricht" vs. „Etwas fallen lassen, damit es rollt").
• Sie vergisst dabei nicht, wie man die ursprünglichen, groben Kategorien erkennt.

Zusammenfassend:
Dieses Papier zeigt, wie man eine KI, die Videos versteht, schnell und effizient „feiner" macht, ohne sie neu zu trainieren. Man nutzt die versteckten Fähigkeiten, die sie schon hat, wie ein Werkzeugkasten, um neue, spezifische Aufgaben zu lösen. Das spart Zeit, Geld und Daten – und macht die KI viel schlauer im Detail.

Technische Zusammenfassung

Problemstellung

Video-erkennungsmodelle werden typischerweise auf festen Taxonomien trainiert, die oft zu grob sind. Feine Unterscheidungen in Bezug auf Objekte, Ausführungsmethoden (Manner) oder Ergebnisse werden häufig unter einem einzigen Label zusammengefasst. Wenn sich Aufgaben und Definitionen weiterentwickeln, können diese Modelle neue Unterscheidungen nicht berücksichtigen. Das Nachtrainieren mit neuen Annotationen ist jedoch kostspielig und zeitaufwendig.
Bestehende Ansätze wie Vision-Language-Modelle (VLMs) oder Continual Learning haben ebenfalls Grenzen: VLMs benötigen massive Video-Text-Korpora und erfassen oft keine subtilen zeitlichen Hinweise, während Continual Learning meist Zugang zu Trainingsdaten für neue Klassen voraussetzt und sich auf völlig neue Kategorien konzentriert, nicht auf die Aufspaltung bestehender.

Das Paper führt das Problem des Category Splitting (Kategorieteilung) ein: Die Aufgabe besteht darin, einen existierenden Klassifikator so zu bearbeiten, dass eine grobe Kategorie in feinere Unterkategorien aufgespalten wird, während die Genauigkeit für alle anderen Kategorien erhalten bleibt. Dies soll mit keinen oder nur wenigen neuen gelabelten Daten geschehen.

Methodik

Die Autoren schlagen einen Ansatz vor, der die latente kompositionelle Struktur von Video-Klassifikatoren nutzt, um feine Unterscheidungen ohne zusätzliche Daten aufzudecken. Der Kerngedanke ist, dass jede feinere Unterkategorie als eine grobe Basis-Kategorie plus ein Modifier (z. B. „nach links", „bis es bricht") betrachtet werden kann.

Die Methode gliedert sich in zwei Hauptphasen:

1. Zero-Shot Category Splitting (Ohne Daten)

Da oft keine annotierten Beispiele für seltene Ereignisse vorliegen, wird ein Zero-Shot-Ansatz entwickelt, der nur den Klassifikationskopf (Classification Head) bearbeitet, während der Backbone unverändert bleibt.

• Modifier Retrieval (Modifikator-Abfrage):

  • Das System baut ein Wörterbuch von Modifikator-Vektoren auf, indem es existierende, bereits feinere Kategorien im Label-Raum des Modells analysiert.
  • Für eine Gruppe fein-granularer Kategorien (z. B. „Poking so it spins", „Poking so it falls") wird ein pseudo-grobes Zentrum (Mittelwert der Gewichte) berechnet.
  • Die Differenz zwischen den feinen Gewichten und diesem Zentrum ergibt den Modifikator-Vektor ($v_m = w_y - v_{\tilde{c}}$).
  • Um eine neue grobe Kategorie (z. B. „Pushing") zu spalten, wird der passende Modifikator-Vektor aus dem Wörterbuch abgerufen (basierend auf semantischer Ähnlichkeit der Textbeschreibungen) und zum Gewicht der groben Kategorie addiert: $w_{new} = w_{coarse} + v^*_m$.

• Modifier Alignment (Modifikator-Ausrichtung):

  • Um auch Modifikatoren zu handhaben, die nicht im ursprünglichen Label-Raum vorkommen, wird ein leichter Alignment-Modul (ein MLP) trainiert.
  • Dieses Modul lernt eine Abbildung von Text-Embeddings (z. B. von CLIP) direkt in den Gewichtsraum des Klassifikators.
  • Das Training erfolgt rein textbasiert unter Verwendung der im Schritt 1 extrahierten Modifikator-Paare, ohne Video-Daten. Dies ermöglicht die Generierung von Gewichten für völlig neue Modifikatoren.

2. Low-Shot Category Splitting (Mit wenigen Daten)

Wenn nur sehr wenige Beispiele (z. B. 1 Video pro Unterkategorie) verfügbar sind, wird eine Feinabstimmung (Fine-Tuning) durchgeführt.

• Isolierte Feinabstimmung: Nur die neuen Gewichte für die Unterkategorien werden aktualisiert; der Rest des Modells (Backbone und alte Klassen) bleibt eingefroren, um Katastrophales Vergessen zu vermeiden.
• Zero-Shot Initialisierung: Die neuen Gewichte werden nicht zufällig initialisiert, sondern mit der Zero-Shot-Methode (Modifier Retrieval/Alignment) vorgefertigt. Dies führt zu einer signifikant besseren Performance als eine zufällige Initialisierung.

Hauptbeiträge

1. Definition der Aufgabe: Einführung des „Category Splitting" als neues Forschungsproblem zur effizienten Verfeinerung von Klassifikatoren ohne vollständiges Nachtrainieren.
2. Zero-Shot Editing-Methode: Entwicklung einer Technik, die latente kompositionelle Strukturen in Video-Backbones nutzt, um neue Kategorien durch Addition von Modifikator-Vektoren zu erzeugen.
3. Effektivität von Low-Shot: Nachweis, dass eine Feinabstimmung mit extrem wenigen Daten (One-Shot) hochwirksam ist, insbesondere wenn sie durch die Zero-Shot-Initialisierung unterstützt wird.
4. Neue Benchmarks: Erstellung von SSv2-Split und FineGym-Split, zwei neuen Datensätzen, die speziell für die Evaluation von Kategorieteilung konzipiert wurden, mit gemischter Granularität (grobe und feine Labels).
5. Analyse: Umfassende Untersuchung, wo die Methode funktioniert (z. B. bei Richtungs- und Zustandsänderungen) und wo sie an Grenzen stößt (z. B. bei komplexen Interaktionen).

Ergebnisse

Die Experimente wurden auf den neuen Benchmarks SSv2-Split und FineGym-Split durchgeführt.

• Vergleich mit Baselines: Die vorgeschlagene Methode übertrifft Vision-Language-Modelle (wie CLIP, VideoPrism, InternVideo2) deutlich in der Generality (Fähigkeit, die neuen feinen Kategorien zu erkennen).
  • Auf SSv2-Split erreicht die Methode eine Generality von 46,3 % (vs. ~30 % bei den besten VLMs) bei einer Locality von 98,9 %.
  • VLMs erreichen zwar perfekte Locality (da sie extern arbeiten), scheitern aber daran, die subtilen visuellen Unterschiede in den Videos zu erfassen.
• Ablationsstudien:
  • Die Kombination aus Modifier Retrieval und Alignment führt zu den besten Ergebnissen.
  • Die Initialisierung mit Zero-Shot-Wissen verbessert die One-Shot-Performance um ca. 4–8 % gegenüber einer Initialisierung mit dem groben Klassen-Gewicht.
  • Die Methode ist robust gegenüber verschiedenen Backbones (von ViT-Small bis ViT-Large), wobei Video-only Pretraining (z. B. MVD, SIGMA) besser funktioniert als reines Image-Text-Pretraining (CLIP).
• Qualitative Analyse: Die Methode funktioniert besonders gut bei Spaltungen, die auf Richtung, räumlicher Position oder Zustandsänderungen basieren. Sie scheitert eher, wenn völlig neue visuelle Konzepte eingeführt werden müssen, die im Backbone nicht implizit kodiert sind.

Bedeutung und Ausblick

Das Paper zeigt, dass Video-Klassifikatoren bereits reichhaltiges, kompositionelles Wissen enthalten, das für die Verfeinerung von Taxonomien genutzt werden kann, ohne dass teure Datensammlungen oder vollständiges Nachtrainieren nötig sind.

• Effizienz: Ermöglicht schnelle Anpassungen von Modellen in ressourcenbeschränkten Szenarien.
• Interpretierbarkeit: Die Arbeit legt nahe, dass sich feine Unterscheidungen als lineare Kombinationen von Basis-Konzepten und Modifikatoren im Gewichtsraum darstellen lassen.
• Zukunft: Die Autoren sehen Potenzial für die Erweiterung auf Bilder, Audio und multimodale Erkennung sowie für tiefere Eingriffe in das Modell (nicht nur den Kopf), um noch reichhaltigere Anpassungen zu ermöglichen.

Zusammenfassend bietet das Paper einen eleganten und dateneffizienten Weg, um starre Video-erkennungsmodelle dynamisch an neue, feinere Anforderungen anzupassen.