Technische Samenvatting: CLARA – Clip-Level Multimodal Alignment met door VLM afgeleide rationales voor detectie van haatdragende video's

Probleemstelling

Detectie van haatdragende video's is een cruciale maar onderbelichte uitdaging binnen moderatie van content, vooral naarmate video-gecentreerde sociale mediaplatforms groeien. In tegenstelling tot tekst of statische multimodale content (bijv. memes), ontstaat de haatdragende betekenis in video's vaak door complexe, temporeel afhankelijke interacties tussen spraak, audio en visuele signalen. Deze signalen zijn vaak kortstondig, impliciet en contextgevoelig, en ontstaan progressief over meerdere clips in plaats van beperkt te zijn tot een enkele frame of uiting.

Bestaande benaderingen vertrouwen voornamelijk op grove video-niveau modellering, waarbij volledige video's worden gecodeerd naar globale representaties voordat fusie en classificatie plaatsvinden. Dit paradigma lijdt onder drie belangrijke beperkingen:

1. Verlies van Temporele Granulariteit: Het comprimeren van een video tot een enkele representatie brengt het risico met zich mee dat korte, beslissende haatdragende momenten worden verdund door lange neutrale segmenten.
2. Rigide Fusiestrategieën: Vaste fusieregels slagen er niet in om zich aan te passen aan dynamische verschuivingen in de bijdrage van modaliteiten (bijv. wanneer haat verschuift van gesproken woorden naar de visuele context) over de tijd.
3. Gedesconnecteerde Lokaal-Globaal Modellering: Voorgaand werk modelleert zelden expliciet de relatie tussen lokale signalen en de bredere discursieve context, wat essentieel is voor het interpreteren van impliciete haat.

Methodologie: Het CLARA-framework

De auteurs stellen CLARA voor (Clip-Level Multimodal Alignment met door VLM afgeleide rationales), een framework dat de basis eenheid van modellering verschuift van de gehele video naar uitspraak-gealigneerde clips. De architectuur bestaat uit zes hoofdonderdelen:

1. Uitspraak-gealigneerde Clipsegmentatie

In plaats van segmentatie met vaste lengtes, worden video's gesegmenteerd op basis van uitspraakgrenzen met behulp van Whisper-large-v3 transcripties en tijdstempels. Dit zorgt ervoor dat elke clip overeenkomt met een semantisch coherente eenheid. Stille intervallen worden afgehandeld door pauzes korter dan 1 seconde samen te voegen met aangrenzende clips, terwijl langere pauzes als afzonderlijke segmenten worden behouden om de discursieve structuur te bewaren.

2. MoE-gebaseerde Clip Encoder

Voor elke clip worden multimodale kenmerken geëxtraheerd:

• Audio: Ruwe embeddings van Whisper-large-v3.
• Visueel: Frame-niveau embeddings van een vooraf getrainde ViT, waarbij het aantal frames proportioneel wordt toegewezen aan de clipduur.
• Tekst: Geconcateneerde embeddings van transcripties en OCR-tekst (geëxtraheerd via PaddleOCR) gecodeerd door BERT.

Deze kenmerken worden geprojecteerd in een gedeelde latente ruimte en gefuseerd met behulp van een Mixture-of-Experts (MoE) encoder. Een gating-netwerk routeert inputs dynamisch naar een subset van experts (Top-K), wat zorgt voor input-afhankelijke, adaptieve multimodale alignment in plaats van statische fusie. Een load-balancing loss zorgt voor efficiënt gebruik van de experts.

3. Local-Global Segment Contrastive Learning

Om lokale signalen en de globale context te overbruggen, wordt een contrastieve doelstelling geïntroduceerd. Het model construeert:

• Lokale Segmenten: Korte sequenties van opeenvolgende clips.
• Globale Segmenten: Langere temporele spans die de video beslaan.
  De doelstelling dwingt consistentie af tussen lokale en globale segmenten uit dezelfde video (positieve paren) terwijl segmenten van verschillende video's uit elkaar wordt geduwd (negatieve paren). Dit stimuleert het model om zowel kortetermijn-signalen als langetermijn-temporele afhankelijkheden te vangen.

4. VLM-gestuurde Rationale Generatie

Een Vision-Language Model (Qwen3VL-8B-Instruct) genereert video-niveau rationales via een tweestaps prompting-proces:

1. Objectieve Analyse: Het beschrijven van visuals, het samenvatten van tekst en het verklaren van hun relatie.
2. Haat Verificatie: Het bepalen van de haatdragendheid (expliciet/impliciet) en het leveren van bewijs-gebaseerde redenen.
   Deze rationales dienen als hoog-niveau semantische sturing.

5. Rationale-Gated Transformer

De gegenereerde rationale-embedding en de sequentie van clip-embeddings worden geïntegreerd via een gated Transformer. Een lichtgewicht gating-mechanisme moduleert de bijdragen van de rationale- en de clip-tak voordat de temporele codering plaatsvindt. Dit stelt het model in staat om dynamisch de hoog-niveau semantische redenering af te wegen tegen de fijnmazige clip-bewijslast voordat ze worden geaggregeerd tot een definitieve video-representatie.

6. Trainingsdoelstelling

Het model wordt geoptimaliseerd met een combinatie van:

• Supervised Cross-Entropy Loss: Voor de uiteindelijke haat-classificatie.
• Contrastive Loss ($L_{CL}$): Voor lokaal-globale alignment.
• Load-Balancing Loss ($L_{LB}$): Voor MoE-stabiliteit.

Belangrijkste Bijdragen

1. Clip-Level Paradigma: CLARA gaat verder dan grove video-niveau modellering door video's expliciet te representeren als sequenties van uitspraak-gealigneerde clips, waardoor fijnmazige temporele eenheden waar haatdragende signalen opduiken, behouden blijven.
2. Adaptieve Architectuur: Het framework combineert een MoE clip encoder voor dynamische fusie, een lokaal-globaal contrastief doel voor cross-scale temporele consistentie, en een gated Transformer die VLM-afgeleide rationales integreert voor semantische sturing.
3. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat CLARA bestaande baselines consequent overtreft op meerdere datasets.

Experimentele Resultaten

De auteurs evalueerden CLARA op drie datasets: HateMM, MultiHateClip (Chinese en Engelse subsets) en DeHate.

• Prestaties: CLARA behaalde state-of-the-art resultaten over alle datasets en metrieken (Accuracy, Macro-F1, Macro-Precision, Macro-Recall).
  • Op HateMM behaalde CLARA 87,9% Accuracy en 87,2% Macro-F1, waarmee het de op één na beste methode (MM-HSD) versloeg met 4,0% in Accuracy (0,879 vs 0,839) en 3,9% in Macro-F1 (0,872 vs 0,833).
  • Vergelijkbare significante verbeteringen werden waargenomen op MHC_CN, MHC_EN en DeHate, met absolute verbeteringen over alle datasets variërend van 2,4% tot 5,3% in Accuracy en 2,7% tot 7,4% in Macro-F1.
• Ablatie Studies: Het verwijderen van een component (modaliteiten, MoE, contrastief leren, rationales of de gated Transformer) resulteerde in prestatievermindering. Opvallend genoeg veroorzaakte het verwijderen van de gated Transformer een significante daling, wat het belang van expliciete temporele modellering onderstreept.
• Parameter Analyse:
  • MoE: Optimale prestaties werden gevonden met 10 experts en Top-2 routing, hoewel configuraties met 8–10 experts over het algemeen sterke resultaten produceerden.
  • Contrastive Gewicht: Een gematigd gewicht ($\lambda_{CL} \approx 0,4$) bood de beste balans tussen alignment en classificatie.
  • Frame Budget: Een relatief klein budget (40 frames) was voldoende; grotere budgetten boden geen extra voordeel.

Betekenis en Claims

Het artikel claimt dat effectieve detectie van haatdragende video's niet alleen de integratie van meerdere modaliteiten vereist, maar ook wanneer en op welke temporele granulariteit deze worden gealigneerd. Door de multimodale interactie te verschuiven naar de uitspraak-gealigneerde clip-niveau, mitigeert CLARA de verdunning van beslissende haatdragende signalen die voorkomt bij globale video-modellering.

De auteurs stellen dat hun aanpak de uitdaging van impliciete en contextafhankelijke haat effectief aanpakt door:

1. Fijnmazige temporele structuren te behouden.
2. Lokaal bewijs expliciet te koppelen aan de bredere discourse via contrastief leren.
3. VLM-afgeleide rationales te gebruiken om interpretatie op sequentieniveau te sturen in plaats van na compressie.

Dit werk positioneert CLARA als een robuuste, state-of-the-art oplossing die het veld voorbij vaste fusiestrategieën en grove representaties brengt, en een genuanceerder begrip biedt van hoe haatdragende betekenis zich in de loop van de tijd ontvouwt.