Let's Split Up: Zero-Shot Classifier Edits for Fine-Grained Video Understanding

Dit paper introduceert 'category splitting', een methode om bestaande videoclassificatiemodellen zonder extra data (zero-shot) of met weinig voorbeelden te verfijnen naar fijnere subcategorieën, waardoor nieuwe onderscheidingen mogelijk worden zonder de prestaties op andere categorieën te verstoren.

De kern

Stel je voor dat je een zeer slimme robot hebt die video's kan bekijken en begrijpen wat er gebeurt. Deze robot is getraind met een lijst van categorieën, zoals "iets openen" of "iets gooien". Het probleem is dat deze lijst vaak te grof is. Als de robot "iets openen" ziet, maakt hij geen onderscheid of je een kastdeur duwt, een brievenbus opent of een fles schroeft. Voor de robot is het allemaal hetzelfde: "openen".

In de echte wereld zijn deze verschillen echter cruciaal. Als je een instructievideo bekijkt, maakt het heel veel uit hoe je iets opent.

De auteurs van dit paper (Kaiting Liu en Hazel Doughty) hebben een nieuwe manier bedacht om deze robot slimmer te maken, zonder dat je hem opnieuw hoeft te leren. Ze noemen dit "Category Splitting" (Categorie splitsen).

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De Grove Schets

Stel je voor dat je een schilder hebt die alleen grove schetsen maakt. Hij tekent een lijn en zegt: "Dit is een vogel." Maar hij maakt geen onderscheid tussen een duif, een arend of een pinguïn. Als je hem vraagt om een arend te tekenen, zegt hij: "Nee, dat is gewoon een vogel."

Om dit op te lossen, zou je normaal gesproken de hele schilder moeten ontslaan en een nieuwe moeten inhuren die duizenden foto's van arenden, duiven en pinguïns heeft gezien. Dat kost veel tijd en geld.

2. De Oplossing: De "Magische Pen" (Zero-Shot Editing)

De auteurs zeggen: "Wacht even, die robot heeft de antwoorden al in zijn hoofd!"

Hoewel de robot alleen "openen" heeft geleerd, heeft hij in zijn interne geheugen (de neurale netwerken) wel degelijk subtiele patronen opgeslagen. Hij weet misschien niet dat "openen" en "sluiten" verschillende woorden zijn, maar hij heeft wel de gevoelens of patronen van beweging in zijn hoofd.

De nieuwe methode werkt als een magische pen die je alleen op het hoofd van de robot zet (de "classification head"). Je hoeft de rest van de robot niet aan te raken.

• De Analogie van de Lego-blokken:
  Stel je voor dat de robot een bouwwerk van Lego-blokken is. Het blok "openen" is een groot, grijs blok. Maar als je goed kijkt, zie je dat er in de muur van dat blok kleine, onzichtbare richels zitten.
  De auteurs hebben ontdekt dat ze die richels kunnen gebruiken. Ze halen een klein, specifiek blokje uit een ander deel van de muur (bijvoorbeeld het blokje dat "naast" betekent, of "hard" betekent) en plakken dat op het grote "openen"-blok.

  Plotseling verandert het grote blok "openen" in drie nieuwe, specifieke blokken:

  1. Openen (naast iets)
  2. Openen (hard)
  3. Openen (zacht)

  En het beste deel? Ze hebben geen nieuwe video's nodig om dit te doen. Ze gebruiken alleen de kennis die de robot al had. Ze "lezen" de robot en zeggen: "Ah, ik zie dat je het verschil tussen 'naast' en 'voor' al kent bij andere acties. Laten we dat verschil nu ook toepassen op 'openen'."

3. De Twee Manieren om het te doen

Manier A: De Zoektocht (Modifier Retrieval)
Stel je voor dat je een woordenboek hebt met alle mogelijke bijvoeglijke naamwoorden (modifiers) die de robot al kent, zoals "snel", "langzaam", "links", "rechts".
Als je de robot wilt leren om "openen" te splitsen in "snel openen" en "langzaam openen", zoekt de robot in zijn woordenboek naar de definitie van "snel" en "langzaam" die hij al kent (bijvoorbeeld van het woord "rennen"). Hij pakt die definities en plakt ze op het woord "openen". Het is alsof je een bestaand recept gebruikt, maar in plaats van "ei" te zeggen, zeg je nu "ei + snelle beweging".

Manier B: De Vertaler (Modifier Alignment)
Soms heeft de robot een woord in zijn woordenboek dat hij nog niet kent (bijvoorbeeld een heel specifieke manier van bewegen). Dan gebruiken ze een kleine "vertaler" (een klein neuraal netwerkje). Deze vertaler leert hoe je een tekst (bijv. "openen terwijl het breekt") omzet in een patroon dat de robot begrijpt. Het is alsof je een tolk hebt die zegt: "De robot weet niet wat 'breken' is, maar hij weet wat 'buigen' is. Laten we 'breken' vertalen als 'buigen tot het punt van breken'."

4. Waarom is dit geweldig?

• Geen dure training: Je hoeft geen duizenden nieuwe video's te labelen.
• Geen vergeten: De robot vergeet niet hoe hij "openen" of "gooien" moet doen. Hij blijft perfect in alles wat hij al wist, en wordt alleen beter in de nieuwe, fijne details.
• Snelheid: Het is alsof je een auto niet opnieuw hoeft te bouwen om hem sneller te maken; je past alleen de versnelling aan.

Samenvatting in één zin

Deze paper introduceert een slimme truc om een video-robot van "grof" naar "fijn" te schalen door bestaande kennis te herschikken, net als het toevoegen van een nieuwe specerij aan een bestaand gerecht zonder de hele keuken opnieuw in te richten.

Dit maakt video-herkenning veel flexibeler en goedkoper, zodat robots in de toekomst niet alleen "een bal gooien" zien, maar precies kunnen vertellen of het een "zachte worp" was of een "harde worp", zonder dat we ze opnieuw hoeven te leren.

Technische samenvatting

Probleemstelling

Videoherkenningsmodellen worden doorgaans getraind op vaste taxonomieën die vaak te grof zijn. Een enkele label kan vele visueel verschillende situaties omvatten, waardoor subtiele verschillen in objecten, uitvoeringswijze (manner) of uitkomst verloren gaan. Naarmate toepassingen evolueren, worden deze fijne onderscheidingen steeds belangrijker (bijvoorbeeld het onderscheid tussen "deur openen" en "deur openen door te duwen").

Traditionele oplossingen, zoals het opnieuw trainen van het model met nieuwe annotaties, zijn kostbaar en tijdrovend. Bestaande alternatieven zoals Vision-Language Models (VLM's) vereisen enorme datasets die zelden beschikbaar zijn in gespecialiseerde domeinen en missen vaak de subtiele temporele cues. Continue leer (Continual Learning) richt zich meestal op het toevoegen van volledig nieuwe klassen, niet op het splitsen van bestaande klassen in subcategorieën.

Het paper introduceert het probleem van Categorie Splitsing (Category Splitting): het bewerken van een bestaande classifier om een grove categorie te verfijnen in meerdere fijne subcategorieën, terwijl de nauwkeurigheid op alle andere categorieën behouden blijft.

Methodologie

De auteurs stellen een methode voor die gebruikmaakt van de latente compositie-structuur die al aanwezig is in moderne video-backbones. De aanpak bestaat uit twee hoofdfasen: Zero-Shot Editing en Low-Shot Fine-tuning.

1. Zero-Shot Categorie Splitsing

De kerninzicht is dat moderne video-modellen al rijke latente kenmerken bevatten die compositie-variatiën binnen grove klassen coderen, zelfs zonder expliciete labels. De methode bewerkt alleen de classificatiekop (classification head) en laat de achterliggende backbone onveranderd.

• Compositie-principe: Een fijne subcategorie wordt gezien als een combinatie van een grove basisconcept en een "modifier" (bijv. "duwen" + "van links naar rechts").
• Modifier Retrieval (Zoeken naar Modifiers):
  • Het systeem bouwt een woordenboek van "modifier-vectoren" door bestaande fijne categorieën in het model te analyseren.
  • Voor een groep fijne categorieën (bijv. "prikken zodat het valt", "prikken zodat het draait") wordt een pseudo-grove categorie gedefinieerd.
  • De modifier-vector ($v_m$) wordt berekend als het verschil tussen de gewichtvector van de fijne categorie en de gemiddelde gewichtvector van de groep: $v_m = w_y - v_{\tilde{c}}$.
  • Om een nieuwe grove categorie te splitsen, wordt de meest geschikte modifier-vector uit het woordenboek opgehaald (via tekst-embeddings) en opgeteld bij de gewichtvector van de grove categorie om een nieuwe subcategorie te creëren.
• Modifier Alignment (Uitlijning):
  • Om te generaliseren naar modifiers die niet in het originele labelset voorkomen, wordt een lichtgewicht uitlijnmodule ($g_\psi$) getraind.
  • Deze module leert een mapping van tekst-embeddings naar de ruimte van de classifier-gewichten.
  • De training gebruikt de modifier-vectoren uit het woordenboek als supervisie, zonder extra videodata. Hierdoor kunnen nieuwe modifiers direct uit tekst worden gegenereerd.

2. Low-Shot Categorie Splitsing

Wanneer er een beperkt aantal gelabelde voorbeelden beschikbaar is (bijv. één video per nieuwe subcategorie), wordt de zero-shot methode gebruikt als initialisatie.

• Geïsoleerde Fine-tuning: In plaats van het hele model te finetunen (wat leidt tot catastrofale vergeetachtigheid), worden alleen de nieuwe subcategorie-gewichten in de kop bijgewerkt.
• Hybride Strategie: De nieuwe gewichten worden geïnitieerd met de zero-shot modifier-vector ($w_{sc} = w_c + v^*_m$) en vervolgens fijnge tuned op de beschikbare data. Dit combineert de structurele kennis van het model met de specifieke data.

Belangrijkste Bijdragen

1. Definitie van een nieuwe taak: Het introduceren van "Category Splitting" als een specifieke uitdaging voor videomodelaanpassing.
2. Zero-Shot Bewerkingsmethode: Een innovatieve aanpak die gebruikmaakt van de interne compositie-structuur van bestaande classifiers om nieuwe subcategorieën te creëren zonder extra data of backbonetraining.
3. Benchmarks en Metrieken: Het creëren van twee nieuwe benchmarks, SSv2-Split en FineGym-Split, gebaseerd op bestaande datasets, met specifieke metrieken voor Generaliteit (nauwkeurigheid op nieuwe subcategorieën) en Localiteit (behoud van prestaties op oude categorieën).
4. Empirisch Bewijs: Het aantonen dat deze methode aanzienlijk beter presteert dan Vision-Language baselines en dat low-shot fine-tuning sterk profiteert van zero-shot initialisatie.

Resultaten

De experimenten werden uitgevoerd op SSv2-Split en FineGym-Split.

• Vergelijking met VLM's: De voorgestelde methode behaalde een veel hogere generaliteit (bijv. 46,3% op SSv2-Split Subset A) vergeleken met Vision-Language modellen zoals CLIP, VideoCLIP-XL en VideoPrism (die rond de 27-30% bleven), terwijl de localiteit bijna perfect bleef (98,9% vs 100% voor VLM's, maar VLM's hebben geen interne aanpassing).
• Ablatie Studies:
  • Modifier Retrieval en Alignment verbeteren de generaliteit aanzienlijk ten opzichte van puur tekstuele baselines.
  • Bij low-shot setting (1 voorbeeld per klas) presteert de methode met zero-shot initialisatie (75,5% gemiddeld) beter dan volledige data-finetuning (54,4%), omdat volledige training de localiteit vernietigt.
  • De methode werkt robuust over verschillende backbone-pretraining methoden (van scratch tot MVD), hoewel sterkere video-only pretraining (zoals MVD) de beste resultaten geeft.
• Analyse: De methode werkt het beste voor splitsingen gebaseerd op richting, ruimtelijke positie en statische veranderingen. Het heeft meer moeite met objectaantallen of complexe interacties.

Betekenis en Toekomstperspectief

Dit paper toont aan dat video-only classifiers al rijk zijn aan compositie-structuur die kan worden "ontsloten" voor fijnmazig begrip zonder de kosten van volledige hertraining. De methode biedt een efficiënte route voor het aanpassen van modellen aan nieuwe, specifieke eisen in dynamische omgevingen.

De implicaties zijn breed:

• Efficiëntie: Vermijdt de noodzaak van grote datasets en dure trainingcycli voor het verfijnen van taxonomieën.
• Interpreteerbaarheid: Het onthullen van modifier-vectoren biedt inzicht in hoe modellen concepten combineren.
• Toekomst: De auteurs suggereren dat deze aanpak kan worden uitgebreid naar afbeeldingen, audio en multimodale taken, en dat het onderzoek naar diepere modelbewerkingen (niet alleen de kop) en complexere taxonomieën een veelbelovende richting is.