💻 computer science

USV: Towards Understanding the User-generated Short-form Videos

Dit artikel introduceert USV, een grootschalige dataset van 224.000 door gebruikers gegenereerde korte video's die is ontworpen om geavanceerd semantisch video-begrip te bevorderen door de vaststelling van taken voor onderwerpsherkenning en video-tekstretrieval, vergezeld van voorgestelde basismodellen en uitgebreide benchmarks.

Oorspronkelijke auteurs: Haoyue Cheng, Su Xu, Liwei Jin, Wayne Wu, Chen Qian, Limin Wang

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haoyue Cheng, Su Xu, Liwei Jin, Wayne Wu, Chen Qian, Limin Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorme, chaotische bibliotheek. Jarenlang hebben onderzoekers die zich bezighouden met "video-interpretatie" boeken georganiseerd die lijken op Hollywood-films of professionele documentaires. Deze boeken zijn goed geschreven, duidelijk gelabeld en volgen strikte regels. Maar recentelijk is een nieuwe, wilde sectie van de bibliotheek ontploft: door gebruikers gegenereerde korte video's (denk aan TikTok, Instagram Reels of Kwai). Dit zijn geen gepolijste films; het zijn miljoenen snelle, rommelige, creatieve clips die elke dag door gewone mensen worden gemaakt.

Tot nu toe had niemand een goede kaart voor deze nieuwe sectie gebouwd. Dit paper, getiteld "USV: Towards Understanding the User-generated Short-form Videos," is het team dat eindelijk die kaart heeft gebouwd.

Hier is de opsplitsing van hun werk in eenvoudige termen:

1. Het Probleem: De Bibliotheek is Te Rommelig

De auteurs leggen uit dat bestaande videodatasets lijken op een bibliotheek van encyclopedieën. Ze richten zich op het herkennen van specifieke acties (zoals "een persoon die springt") in lange, professionele video's. Maar de nieuwe korte video's zijn anders:

Ze zijn kort en gefocust: Een clip van 15 seconden heeft meestal maar één hoofdzin (zoals "ASMR" of "een grappige kat"), geen complex verhaal.
Ze zijn tekstrijk: Ze staan vol met titels, ondertitels en opmerkingen die uitleggen wat er gebeurt.
Ze zijn chaotisch: Miljoenen worden dagelijks geüpload. Het handmatig controleren en labelen van elke individuele video zou mensen honderden jaren kosten.
Ze zijn divers: Het gaat niet alleen om mensen die dansen; het zijn lezingen, dia's, podcasts en vreemde experimenten.

2. De Oplossing: Het USV Dataset

Het team heeft een nieuw dataset gecreëerd genaamd USV-1.0.

Hoe ze het kregen: In plaats van mensen in te huren om video's te bekijken en te labelen (wat te traag is), gebruikten ze een "web-supervised" truc. Ze vroegen de videoplatforms: "Laat me alle video's zien over 'ASMR' of 'Blockchain'." De eigen zoekmachine van het platform deed het werk.
Het Resultaat: Ze verzamelden 224.000 video's die 212 verschillende onderwerpen bestrijken.
De Kous: Omdat ze niet elke video handmatig hebben gecontroleerd, is het dataset "ruisig". Sommige video's gelabeld als "ASMR" gaan misschien wel degelijk over iets anders. Maar de auteurs betogen dat deze ruis een realistische weergave van de echte wereld is, en dat het beter is om een groot, lichtjes rommelig dataset te hebben dan een klein, perfect dataset.

3. De Nieuwe Spellen: Twee Nieuwe Uitdagingen

Om te testen of computers deze rommelige bibliotheek kunnen begrijpen, bedachten de auteurs twee nieuwe "spellen" (taken):

Spel A: Onderwerpherkenning (Het "Wat is dit?"-Spel)

Het Doel: Kijk naar een video en raad het hoofdonderwerp (bijvoorbeeld: "Gaat dit over koken of reizen?").
De Twist: Je kunt niet alleen naar het beeld kijken. Je moet ook naar de audio luisteren en de ondertitels lezen. Een video kan eruitzien als een strand, maar als de audio een lezing is over "economie", dan is het onderwerp economie.
Het Hulpmiddel: Ze bouwden een Multi-Modality Fusion Network (MMF-Net). Stel je een robot met drie hoofden voor: één oog voor video, één oor voor geluid en één brein voor het lezen van tekst. Het combineert alle drie om een slimme gok te doen.

Spel B: Video-Tekst Retrieval (Het "Matching Spel")

Het Doel: Koppel een video aan de door de gebruiker geschreven titel (of andersom).
De Twist: De titels zijn vaak vaag. Een video van een strand kan de titel "Vakantievreugde" hebben. Een computer moet begrijpen dat "Vakantievreugde" semantisch overeenkomt met een strandscène, zelfs als de woorden niet letterlijk in de video staan.
Het Hulpmiddel: Ze gebruikten Video-Text Contrastive Learning (VTCL). Denk hierbij aan het leren van de computer om "matchende" paren (video + titel) dichter bij elkaar te trekken in een mentale ruimte en "niet-matchende" paren verder uit elkaar te duwen.

4. Wat Ze Vonden

Meer is Beter: Voor deze korte video's helpt het om meer frames (tijd) te bekijken om het onderwerp beter te begrijpen.
Vertrouw de Oude Kaarten niet: Modellen die zijn getraind op professionele films (zoals Kinetics) werkten hier niet goed. De "korte video"-stijl is gewoon te verschillend.
De Kracht van Drie: De belangrijkste bevinding is dat het combineren van video, audio en tekst het beste werkt.
- Als je alleen naar de video kijkt, mis je misschien het punt.
- Als je alleen luistert, mis je misschien de visuele context.
- Maar wanneer je alle drie fuseert, krijgt de computer een "holistische" begrijping, net zoals een mens dat doet bij het kijken naar een TikTok.

Samenvatting

Dit paper is een fundamentele stap. Het zegt: "Stop met alleen gepolijste films te bestuderen. Hier is een enorm, real-world dataset van korte, rommelige video's. We hebben twee nieuwe manieren gedefinieerd om AI daarop te testen, en we hebben aangetoond dat AI om deze video's echt te begrijpen, moet lezen, luisteren en kijken tegelijkertijd."

Ze beweerden niet dat dit direct videorecommandaties zal verbeteren of ziekten zal diagnosticeren; ze legden simpelweg de grondslag (het dataset en de baseline-methoden) zodat andere onderzoekers kunnen beginnen met het bouwen van betere tools voor deze specifieke, chaotische en snel groeiende wereld van korte video's.

Technische Samenvatting: USV: Op weg naar het begrijpen van door gebruikers gegenereerde korte video's

Probleemdefinitie
Ondanks de proliferatie van grootschalige videodatasets die het videobegrip vooruit helpen, blijft het specifieke domein van door gebruikers gegenereerde korte video's (UGC) onderbelicht. Bestaande datasets richten zich voornamelijk op professionele inhoud (bijv. films, televisie) of herkenning op instantieniveau (bijv. actieherkenning, objectdetectie) in langdurige video's. Ze slagen er niet in om de unieke kenmerken van korte UGC aan te pakken:

Topicconcentratie: Video's worden gedwongen om binnen enkele seconden één hoofdonderwerp te communiceren.
Tekstrijkdom: Grote afhankelijkheid van door gebruikers gegenereerde tekst (titels, ondertitels, opmerkingen) voor semantische betekenis.
Hoge activiteit: Snel evoluerende trends (bijv. ASMR, blockchain) maken handmatige annotatie en verificatie op grote schaal onpraktisch.
Grote diversiteit: Een breed scala aan genres en verhalen die multi-modale aanwijzingen vereisen voor begrip.

De huidige literatuur mist een dataset en benchmark die multi-modaliteit benut om hoogwaardige semantische informatie in dit specifieke domein te begrijpen.

Methodologie
Het artikel introduceert USV-1.0, een nieuwe dataset, en stelt twee specifieke taken en basismethoden voor om de uitdagingen van het begrijpen van korte UGC-video's aan te pakken.

Datasetconstructie (USV-1.0):
- Schaal: Bevat ongeveer 224.000 video's over 212 micro-topiccategorieën (afgeleid van 32 macro-thema's).
- Verzamelstrategie: Video's werden verzameld via labelqueries van UGC-platforms (bijv. TikTok, Kwai) zonder extra handmatige verificatie of bijsnijden. De querywoorden dienen als topiclabels, en door gebruikers geüploade titels dienen als tekst voor ophaal.
- Modale extractie: De dataset bevat ruwe visuele frames, audiosporen en geëxtraheerde ondertitels (via OCR).
- Ruisonderdrukking: Met erkenning van het kenmerk "Hoge activiteit" nemen de auteurs een web-gesuperviseerde aanpak. Alleen de validatie- en testsets ondergingen beperkte menselijke verificatie (verwijdering van ~21,7% van de ruisige labels), terwijl de trainingsset ongeverifieerd blijft om schaalbaarheid te behouden.
Taak 1: Topicherkenning:
- Definitie: Een meerklassificatie-taak waarbij het doel is om het hoogwaardige semantische onderwerp van een video te identificeren. In tegenstelling tot actieherkenning vereist dit het integreren van visuele, auditieve en tekstuele aanwijzingen.
- Methode (MMF-Net): Een Multi-Modale Fusie-Netwerk dat een drie-tak late-fusie-architectuur gebruikt:
  - Visuele tak: 2D (TSN) of 3D (I3D, SlowFast) convolutienetwerken.
  - Auditieve tak: 2D ResNet-18 die log-Mel-spectrogrammen verwerkt.
  - Teksttak: Vooraf getraind meertalig BERT dat via OCR geëxtraheerde ondertitels verwerkt.
  - Fusie: De voorspellingsscores van de drie takken worden gewogen en gemiddeld om een consensus te vormen.
Taak 2: Video-tekst ophaal:
- Definitie: Video's ophalen op basis van door gebruikers gegenereerde titels (en vice versa). Dit behandelt titels als natuurlijke, zwakke bijschriften, en vormt het probleem als cross-modale zelf-supervised learning.
- Methode (VTCL): Een Video-tekst Contrastief Leerkader.
  - Het beeldt video-clips en titels af in een gedeelde $d$ -dimensionale inbeddingsruimte.
  - Het maakt gebruik van een InfoNCE-verlies om bijpassende video-titelparen dichter bij elkaar te brengen en niet-bijpassende paren uit elkaar te duwen.
  - De video-encoder concateneert kenmerken van visuele, auditieve en tekst-takken voordat projectie plaatsvindt.

Belangrijkste resultaten

Basisprestaties:
- Topicherkenning: De MMF-Net-basis bereikte een gemiddelde klassen-nauwkeurigheid (mca) van 78,84% bij het fuseren van visuele, auditieve en tekst-takken. Opmerkelijk is dat 2D-modellen (TSN) op deze dataset beter presteerden dan 3D-modellen (SlowFast, I3D), wat suggereert dat dichte temporele modellering minder kritiek is dan multi-modale integratie voor korte topics. Vooraf trainen op Kinetics-400 of ImageNet bood geen voordeel, wat wijst op een aanzienlijke domein-kloof.
- Video-tekst ophaal: Het VTCL-kader toonde aan dat het toevoegen van auditieve en tekstuele modaliteiten de ophaalprestaties consistent verbeterde ten opzichte van alleen visuele basissen. De beste configuratie (V+A+T) bereikte een Recall@1 van 23,51% (Video-naar-Titel) en 23,71% (Titel-naar-Video).
Zero-Shot vermogen: Het artikel toonde aan dat de VTCL-inbeddingen konden worden gebruikt voor zero-shot topicherkenning zonder fine-tuning, met een mca van 29,01%, wat de semantische uitlijning valideert die door het contrastieve kader is geleerd.
Impact van multi-modaliteit: Ablatiestudies bevestigden dat hoewel individuele auditieve en tekst-takken op zichzelf slecht presteerden (vaak <50%), hun fusie de algehele systeemprestaties aanzienlijk verhoogde, wat de noodzaak van multi-modale aanwijzingen voor hoogwaardig semantisch begrip benadrukt.

Betekenis en claims
De auteurs claimen drie primaire bijdragen:

Nieuwe data: USV-1.0 is de eerste grootschalige dataset die is gewijd aan het begrijpen van korte video's uit de echte wereld, en adresseert de kloof in de bestaande literatuur die zich richt op professionele inhoud of inhoud op instantieniveau.
Nieuwe taken: De definitie van Topicherkenning (hoogwaardige semantische classificatie) en Video-tekst ophaal (gebaseerd op door gebruikers gegenereerde titels) verschuift de focus van herkenning op instantieniveau naar holistisch semantisch begrip.
Nieuwe methoden: De voorstellen van MMF-Net en VTCL dienen als de eerste effectieve basissen die audio en ondertitels gebruiken voor deze specifieke taken.

Het artikel positioneert zichzelf als een voorlopige verkenning om toekomstig onderzoek te faciliteren. Het benadrukt dat de voorgestelde methoden "eenvoudig maar effectief" zijn als basissen, ontworpen om het potentieel van multi-modale aanwijzingen te demonstreren in plaats van state-of-the-art records te vestigen door complexe architecturen. Het werk beoogt de grens van het begrijpen van door gebruikers gegenereerde inhoud te verleggen door gebruik te maken van de inherente multi-modale aard van korte video's.