Technische Samenvatting: Gen2Balance

Probleemstelling

Long-tailed video actieherkenning blijft een fundamentele uitdaging waarbij de klassenverdelingen sterk scheefgetrokken zijn, met enkele "head"-klassen die de dataset domineren en veel "tail"- of "few-shot"-klassen die schaarse monsters hebben. Hoewel long-tailed learning vooruitgang heeft geboekt in beeldherkenning, loopt videoherkenning aanzienlijk achter. Bestaande benaderingen, zoals re-sampling, re-weighting en augmentatie in de feature-ruimte, falen vaak in het overbruggen van de prestatiekloof tussen gebalanceerde en long-tailed benchmarks. Zo daalt de nauwkeurigheid op de UCF-101 dataset bijvoorbeeld van 92% in gebalanceerde settings naar 64% onder long-tailed onbalans. Bovendien worden huidige video-generatiemodellen geconfronteerd met uitdagingen met betrekking tot temporele dynamiek, fysieke plausibiliteit en objectpermanentie, wat vragen oproept over de vraag of synthetische video's voldoende divers en getrouw kunnen zijn aan actieklassen om herkenning te ondersteunen.

Methodologie: Gen2Balance

De auteurs stellen Gen2Balance voor, een framework dat long-tailed videoherkenning aanpakt door de trainingsset aan te vullen met synthetische video's gegenereerd via een text-to-video model. De methode bestaat uit twee primaire componenten: een generatieve invullingspipeline en een tweestaps trainingsstrategie.

1. Generatieve Invullingspipeline

Om diverse, klasse-getrouwe video's te synthetiseren voor ondervertegenwoordigde klassen, gebruiken de auteurs een gestructureerde pipeline met behulp van een multimodale Large Language Model (LLM) en een text-to-video generator (WAN 2.1). De pipeline adresseert semantische ambiguïteit en een gebrek aan diversiteit via vier stappen:

• Diversificatie van Tekstprompts: De LLM genereert prompts die variëren langs negen assen (bijv. omgeving, camerakader, demografie van de acteur, belichting, sociale context) om visuele diversiteit te waarborgen.
• Actieprofielen: Om semantische ambiguïteiten op te lossen (bijv. "Robot Dansen" dat verwijst naar een menselijke dansstijl in plaats van een mechanische robot), genereert de LLM een "Actieprofiel" dat een definitie, positieve restricties (belangrijke visuele kenmerken) en negatieve restricties (veelvoorkomende misvattingen) bevat.
• In-Context Exemplars: Om het actieprofiel verder te verankeren in de juiste semantiek, wordt de LLM voorzien van een few-shot set van echte trainingsvideo's als in-context exemplars. Cruciaal is dat deze exemplars het profiel informeren maar niet direct de uiteindelijke prompts, waardoor de promptdiversiteit behouden blijft.
• Video Generatie: De gediversifieerde prompts, geconditioneerd op de gegronde actieprofielen, worden gevoed aan de text-to-video generator om synthetische clips te produceren.

2. Tweestaps Trainingsstrategie

Direct trainen op een mix van echte en synthetische data introduceert risico's op overfitting aan synthetische artefacten en domeinverschuiving. Om dit te mitigeren, hanteert Gen2Balance een tweestaps trainingsproces:

• Fase 1 (Leren van Geaugmenteerde Data): Het model wordt getraind op de gecombineerde dataset ($D_{train} \cup D_{gen}$) met behulp van Balanced Softmax (BSCE) loss. Cruciaal is dat de loss-marges worden berekend op basis van de echte datafrequenties ($N_c$) in plaats van de geaugmenteerde frequenties. Dit stelt het model in staat om de overvloed aan synthetische data te benutten voor feature-leren, terwijl de beslissingsgrenzen gekalibreerd blijven op de ware klassenprioriteiten.
• Fase 2 (Rehearsal op Echte Data): Het model wordt exclusief gefinetuned op de originele echte trainingsset ($D_{train}$) met dezelfde BSCE loss met een verlaagde learning rate. Deze fase corrigeert domeinverschuivingen en voorkomt catastrofaal vergeten van representaties die geleerd zijn van synthetische data.

Belangrijkste Bijdragen

1. Framework Voorstel: Introductie van Gen2Balance, een generatieve balanceringsbenadering die imbalanced video-datasets omzet in gebalanceerde combinaties van echte en synthetische clips.
2. Automatische Pipeline & Dataset: Ontwikkeling van een automatische pipeline met behulp van een multimodale LLM (Gemini 2.5 Pro) en video-generator (WAN 2.1) om klasse-getrouwe video's te synthetiseren. De auteurs publiceren een complementaire dataset van 140K synthetische video's met gedetailleerde prompts verspreid over 223 actieklassen binnen UCF-LT, K100-LT en RareAct.
3. Analyse van Trainingsstrategie: Demonstratie dat een tweestaps trainingsstrategie (geaugmenteerd dan echt) gecombineerd met een klasse-gebalanceerde loss met uit de echte data afgeleide marges superieure resultaten oplevert vergeleken met standaard training of single-stage benaderingen.
4. Uitgebreide Evaluatie: Uitgebreide evaluatie op long-tailed splits van Kinetics-100 (K100-LT) en UCF-101 (UCF-LT), evenals zeldzame acties uit de RareAct dataset.

Experimentele Resultaten

De auteurs evalueren Gen2Balance op long-tailed versies van standaard benchmarks:

• K100-LT: Gen2Balance verbetert de klasse-gemiddelde nauwkeurigheid met 7,0% ten opzichte van de sterkste long-tail baseline (BSCE), waarbij een totale nauwkeurigheid van 72,6% wordt bereikt. Het verhoogt de nauwkeurigheid van few-shot klassen aanzienlijk met +38,8%.
• UCF-LT: De methode verbetert de nauwkeurigheid met 5,1% ten opzichte van de sterkste baseline, reikend tot 88,9% totaal, met een winst van +48,0% op few-shot klassen.
• RareAct: Op zeldzame, compositionele acties (bijv. "toetsenbord snijden"), verbetert Gen2Balance de nauwkeurigheid met 31,9%, wat de effectiviteit demonstreert voor werkelijk schaarse acties.
• Ablatie & Schaling:
  • Partiële Balancering: Het behalen van 79% van de prestatiewinsten met slechts 27% van de rekenkosten (door een partiële invullingsdrempel in te stellen) benadrukt de schaalbaarheid van de methode.
  • Databronnen: Gen2Balance presteert beter dan web-retrieval augmentatie en statische beeldgeneratie, wat de noodzaak van bewegingskenmerken en de superioriteit van de specifieke prompting-pipeline boven naïeve templating bevestigt.
  • Robuustheid: De methode blijft robuust, zelfs wanneer few-shot klassen statistisch zeldzaam zijn in de trainingsdistributie van de generator (Web-Popularity re-indexing).

Betekenis en Claims

Het artikel beweert dat Gen2Balance een belangrijke stap voorwaarts vertegenwoordigt in long-tailed videoherkenning door generatieve modellen te gebruiken om ontbrekende diversiteit te synthetiseren, in plaats van te vertroukken op web-retrieval of feature-ruimte interpolatie. De auteurs benadrukken dat:

• Huidige generatieve modellen, wanneer ze zorgvuldig geprompt worden met gegronde actieprofielen, video's produceren van voldoende kwaliteit om state-of-the-art prestaties te behalen in long-tailed settings.
• De tweestaps trainingsstrategie domeinverschuiving effectief mitigeert, waardoor modellen kunnen leren van synthetische data zonder de prestaties op echte data in gevaar te brengen.
• De aanpak praktisch en schaalbaar is, aangezien partiële balancering substantiële winsten biedt tegen een fractie van de computationele kosten.
• De vrijgegeven dataset van 140K synthetische video's dient als een hulpbron voor toekomstig onderzoek naar generatieve balancering voor video-begrip.

Het werk claimt niet alle problemen in video-generatie op te lossen (het erkent uitdagingen met fysica en objectpermanentie), maar voert aan dat de gegenereerde inhoud voor de specifieke taak van actieherkenning voldoende divers en semantisch correct is om datatekort te overwinnen.