ClimateVID -- Social Media Videos Analysis and Challenges Involved

1. Probleemstelling

De proliferatie van video's in kort formaat op sociale media heeft het publieke discours over klimaatverandering fundamenteel veranderd. Hoewel visuele themaanalyse cruciaal is voor het begrijpen van deze verhalen, staan bestaande methoden voor aanzienlijke uitdagingen:

• Datacomplexiteit: Video's op sociale media bevatten temporale redundantie, veranderende perspectieven en meerdere distincte scènes, waardoor ze moeilijker te analyseren zijn dan statische afbeeldingen.
• Modelbeperkingen: Huidige Vision-Language Models (VLM's) worstelen vaak met zero-shot classificatie op content van sociale media, met name wat betreft specifieke klimaatcategorieën, memes en content buiten de verdeling (out-of-distribution).
• Clusteringgranulariteit: Traditionele clusteringmethoden produceren vaak ruwe resultaten die geen fijne visuele thema's of distincte sub-onderwerpen binnen bredere categorieën vastleggen.
• Gebrek aan richtlijnen: Er is een schaarste aan praktische richtlijnen voor onderzoekers over hoe video-data te pre-processen (frame-selectie, combinatie van embeddings) en hoe geschikte modellen te selecteren voor grootschalige, ongesuperviseerde themadiscovery.

2. Methodologie

De auteurs stellen een dual-strategy framework voor voor het analyseren van een dataset van ongeveer 78.000 unieke Twitter-video's gerelateerd aan klimaatverandering (verzameld 2019–2022).

A. Zero-Shot Classificatie (Supervisiebenadering)

De studie evalueert het vermogen van drie open-source Video Large Language Models (VLM's) tegen een frame-voor-frame baseline:

• Geëvalueerde Modellen: VideoChatGPT, PandaGPT, VideoLLaVA en een baseline met CLIP (frame-voor-frame).
• Prompting-strategie: Er werd een hiërarchische prompting-aanpak gebruikt. Eerst screenen "Ja/Nee"-prompts op brede groepen (Dieren, Gevolgen, Klimaatactie). Bij een positief resultaat vroegen gedetailleerde prompts om specifieke categorie-nummers.
• Categorieën: 59 distincte categorieën over 5 groepen: Dieren, Gevolgen, Klimaatactie, Setting en Type.
• Evaluatie: Modellen werden getest op semantische coherentie en trouw (naleving van het outputformaat).

B. Ongesuperviseerde Clustering (Discovery-benadering)

Om latente thema's te ontdekken zonder vooraf gedefinieerde labels, hebben de auteurs het Minimum Cost Multicut (MP) probleem aangepast voor video-data.

• Pipeline:
  1. Frame-selectie: Vergelijking van Static Selection (uniforme sampling bij 1 fps) versus Dynamic Selection (clustering-gebaseerde keyframe-extractie).
  2. Embedding-generatie: Gebruik van twee foundation-modellen: DINOv2 (ViT-architectuur) en ConvNeXt V2 (masked autoencoder).
  3. Frame-combinatie: Aggregatie van frame-embeddings tot een enkele video-level vector met methoden zoals Simple Average, Weighted Diversity en Temporal Coherence.
  4. Clustering: Constructie van een similariteitsgrafiek en partitionering daarvan met het MP-algoritme om visueel vergelijkbare contentgroepen te identificeren.
• Metrieken: Geëvalueerd met standaard clustering-metrieken (Silhouette, Davies-Bouldin, Calinski-Harabasz) en pragmatische metrieken (Gini-coëfficiënt voor balans, Singleton-ratio voor over-fragmentatie, en Top-10 dekking).

3. Belangrijkste Bijdragen

1. Uitgebreide VLM-evaluatie: Een kritische beoordeling van VideoChatGPT, PandaGPT en VideoLLaVA voor klimaatanalyse op sociale media, die aanzienlijke beperkingen in zero-shot prestaties blootlegt in vergelijking met frame-voor-frame CLIP.
2. Methodologische uitbreiding: Succesvolle uitbreiding van Minimum Cost Multicut-clustering naar video-data, met ablatiestudies over frame-selectie en strategieën voor embedding-combinatie.
3. Praktische richtlijnen: Vaststelling van best practices voor analyse van video's op sociale media, met aanbevelingen voor specifieke modelkeuzes (ConvNeXt V2) en verwerkingspipelines (statische sampling + eenvoudige middeling) voor thematische discovery.
4. Open bronnen: Publicatie van een gecureerde dataset met tweet-ID's en code voor reproduceerbaarheid.

4. Belangrijkste Resultaten

Bevindingen Zero-Shot Classificatie

• VLM-falen: VideoChatGPT en PandaGPT leverden zeer onbetrouwbare resultaten op, gekenmerkt door:
  • Positionele bias: Sterke neiging om de eerste in de prompt genoemde categorie te selecteren.
  • Formaatfouten: Inconsistent naleven van outputformaten (bijvoorbeeld het teruggeven van tekst in plaats van categorie-nummers).
  • Over-classificatie: Neiging om meerdere, vaak tegenstrijdige, labels toe te wijzen aan één video (bijvoorbeeld het labelen van een video als bevattende "Alle" dierentypen).
• CLIP-succes: Frame-voor-frame CLIP bleek het meest betrouwbare model. Hoewel het geen temporale redenering heeft, leverde het consistente, interpreteerbare waarschijnlijkheidsverdelingen over frames.
• Aanbeveling: Voor classificatie van video's op sociale media met vooraf gedefinieerde categorieën is frame-voor-frame analyse met CLIP momenteel superieur aan end-to-end VLM's.

Bevindingen Clustering

• Verschillen in embedding-ruimte:
  • DINOv2: Produceerde minder, bredere clusters (totaal 50). Het groepeerde video's op basis van hoog-niveau visuele aanwijzingen (kleurenpalet, compositie, brede thema's zoals "Arctisch IJs"). De top 5 clusters bevatten 94,8% van alle video's.
  • ConvNeXt V2: Produceerde fijnere clusters (totaal 71). Het onderscheidde fijne details zoals specifieke objecten, productiestijlen en contexten (bijvoorbeeld het scheiden van "huisdieren" van "wild"). Het toonde een meer gebalanceerde verdeling, met slechts 13,1% van de video's in de top 5 clusters.
• Impact frame-selectie: De keuze tussen statische en dynamische frame-selectie had een benigne effect op de kwaliteit van de clustering. Statische sampling (uniform) was voldoende en computationeel efficiënt.
• Optimale configuratie: De auteurs adviseren ConvNeXt V2-embeddings met statische frame-selectie en eenvoudige middeling voor video-clustering. Deze opstelling leverde de meest betekenisvolle en interpreteerbare visuele thema's op.

Inzichten in Content

• Dominante thema's: "Klimaatactie" (politiek, protesten, energie) was de meest voorkomende content (65%), gevolgd door "Gevolgen" (56%) en "Dieren" (53%).
• Visuele trends: "Memes" waren een dominante video-soort. "De ruimte" (Aarde vanuit de ruimte) was een verrassend veelvoorkomende setting, vaak gebruikt voor abstracte klimaatdiscussies.
• Temporale verschuivingen: In de loop van de tijd was er een verschuiving van abstracte visualisaties naar realistischere content (woon-/commerciële settings).

5. Betekenis en Conclusie

Dit paper benadrukt een kritieke kloof in huidige AI-capaciteiten: terwijl VLM's uitblinken in algemeen dialoog, worstelen ze met de specifieke, ruizige en meme-rijke aard van klimaatdiscours op sociale media. De studie toont aan dat simpelere, frame-gebaseerde benaderingen (CLIP) gecombineerd met robuste ongesuperviseerde clustering (ConvNeXt V2 + Multicut) momenteel effectiever zijn voor grootschalige thematische analyse dan complexe generatieve VLM's.

Het werk biedt een vitale routekaart voor onderzoekers en practitioners, met gevalideerde methodologieën om bruikbare inzichten te halen uit enorme hoeveelheden video-data van sociale media, waardoor monitoring van publiek discours en de ontwikkeling van gerichte klimaatcommunicatiestrategieën worden ondersteund.