Technische Samenvatting: MatchLM2Lite

Probleemstelling

Contentmoderatie op platforms voor korte video's staat voor een kritieke uitdaging in de Identificatie van Gereproduceerde Content (RCI). Het doel is om video's te detecteren die gemodificeerde varianten zijn van bestaande content (via inkorten, filters of bewerkingen), zonder de originele content of legitieme transformaties te bestraffen.

Bestaande oplossingen vertrouwen primair op visuele encoders om visuele gelijkenissen te matchen, waarbij ze vaak cruciale audio- en tekstsignalen negeren waar gebruikers mee in interactie gaan. Bovendien leiden traditionele multi-tower retrieval-frameworks, die modaliteiten afzonderlijk verwerken, tot een hoge systeemcomplexiteit, verhoogde latentie en zwakke cross-modale uitlijning. Hoewel Multimodale Large Language Models (MLLM's) een superieur begrip bieden, maken hun omvang en hoge inferentie-latentie ze ongeschikt voor real-time, high-throughput productieomgevingen (bijv. het bedienen van 3.000+ verzoeken per seconde).

Methodologie

De auteurs stellen MatchLM2Lite voor, een tweestaps-framework dat is ontworpen om de hoge nauwkeurigheid van MLLM's te balanceren met de efficiëntie die vereist is voor real-time implementatie. Het systeem werkt op paren video's (Query en Kandidaat) en modelleert gezamenlijk visuele, audio- en tekstmodaliteiten.

1. Architectuurontwerp

Het framework bestaat uit twee verschillende modellen:

• MatchLM (Teacher): Een hoogwaardige MLLM gebaseerd op LLaVA-One-Vision (0.5B), gebruikmakend van een SigLIP visuele encoder en een Qwen2 LLM-backbone.

  • Multimodale Input: Het breidt de standaard MLLM uit om geïnterleavde tokensequenties te accepteren: Prompt + [Video1] + [Audio1] + [Video2] + [Audio2].
  • Audioverwerking: Audio wordt gecodeerd met behulp van Whisper-small, getransformeerd naar log-mel-features, en geaggregeerd tot een enkele token via een leerbare saliency-weighting laag voordat het in de LLM wordt geïnjecteerd.
  • Doel: Het fungeert als een gepaard video-representatie-extractor in plaats van een generatief model, waarbij de laatste verborgen toestand van de laatste token wordt gebruikt voor classificatie.

• MatchLite (Student): Een lichtgewicht model ontworpen voor efficiënte inferentie, bestaande uit drie modules:

  • Multimodale Perceptiemodule: Gebruikt bevroren encoders (Swin Transformer voor visie, Sentence-BERT voor tekst, Whisper-small voor audio). Het maakt gebruik van Bidirectional Cross-Attention (BiXT) om gemengde modaliteit-embeddings te creëren (bijv. visueel-tekst, visueel-audio).
  • Paired Feature Fusion Module: Berekent cosinus-gelijkenis matrices en dichte paar-tensoren voor alle modaliteit-paren. Visuele gerelateerde features worden versterkt via lichtgewicht CNN's.
  • Compact Decision Module: Een ResNet-34-gebaseerd netwerk dat geconcateneerde features verwerkt om de uiteindelijke classificatiescore te produceren.

2. Tweestaps Trainingsrecept

Het framework maakt gebruik van een specifiek trainingsproces om kennis van de teacher naar de student over te dragen:

• Fase 1 (Supervised Training): Zowel MatchLM als MatchLite worden onafhankelijk getraind op gelabelde video-paren met behulp van standaard cross-entropy loss voor multi-task classificatie (de hoofdtaak RCI plus aanvullende sub-labels).
• Fase 2 (Knowledge Distillation): MatchLM is bevroren en fungeert als een teacher. MatchLite wordt verder getraind met een gecombineerde loss-functie:
  • Embedding Distillation: Minimaliseert de cosinusafstand tussen de representatie van de student en de laatste verborgen toestand van de teacher (directionele consistentie).
  • Logit Distillation: Gebruikt Kullback–Leibler (KL) divergentie om de voorspellende distributies (softmax logits) van de student en de teacher uit te lijnen.
  • Totale Loss: $L_{total} = \lambda \cdot L_{distill} + L_{class}$, waarbij $\lambda=1.5$ wordt gebruikt om de invloed van distillatie tegenover de gesuperviseerde classificatie-taak te balanceren.

Belangrijkste Bijdragen

1. Unified Multimodal Framework: Het artikel introduceert een nieuwe benadering voor RCI, geformuleerd als een video-paar matching probleem dat gezamenlijk visuele, audio- en tekstsignalen codeert en uitlijnt, waarmee de beperkingen van visuele-alleen baselines worden aangepakt.
2. Scalable MLLM-to-Lite Systeem: Het ontwerp van MatchLM2Lite slaagt erin de kloof te overbruggen tussen high-performance MLLM's en productiebeperkingen. Het maakt gebruik van kennisdistillatie om een compact student-model de cross-modale uitlijning en semantische rijkdom van een grote teacher-model te laten erven.
3. Validatie van Grootschalige Implementatie: Het systeem wordt gevalideerd door middel van uitgebreide offline experimenten en online A/B-testen op een groot platform voor korte video's, wat het vermogen aantoont om high-throughput verkeer met lage latentie te verwerken.

Experimentele Resultaten

De auteurs evalueerden het systeem op een aangepaste dataset van 0,8 miljoen video-paren (4,77% gereproduceerd).

• Impact van Modaliteit: Het integreren van audio en tekst verbeterde de prestaties aanzienlijk ten opzichte van visuele-alleen baselines. Voor MatchLite leverde het toevoegen van audio en tekst een verbetering op van +3,68 AP en +3,56 F1 ten opzichte van het visuele-alleen model.
• Prestatievergelijking:
  • MatchLM (Teacher): Behaalde een F1-score van 79,12 en een R@P80 (Recall bij 80% Precisie) van 75,92. Dit is een verbetering van +8,57 F1 ten opzichte van het vorige productiemodel van het platform.
  • MatchLite (Student): Na kennisdistillatie behaalde MatchLite een F1-score van 77,10 en een R@P80 van 66,92. Dit is een winst van +6,55 F1 ten opzichte van het vorige productiemodel, terwijl de computationele kosten met 35× werden verminderd.
• Effectiviteit van Distillatie: Het distillatieproces herstelde aanzienlijke prestaties. Zonder distillatie behaalde het student-model (MatchLite+) een F1 van 74,48; met distillatie steeg dit naar 77,10. Ablatie-studies toonden aan dat distillatie winsten opleverde die verder gingen dan eenvoudige parameter-schaling (bijv. het vervangen van een kleine visuele encoder door een grotere zonder distillatie).
• Online Impact: In online A/B-testen leidde de implementatie van MatchLM2Lite tot een reductie van 2,5% in het weergavepercentage van gereproduceerde video's zonder de gebruikersbetrokkenheid te verslechteren. Het systeem werkt met een end-to-end latentie van minder dan 30 seconden en ondersteunt meer dan 3.000 queries per seconde (QPS).

Betekenis

Het artikel stelt dat MatchLM2Lite de haalbaarheid aantoont van het implementeren van MLLM-niveau intelligentie in real-time contentmoderatiesystemen. Door een hoogwaardige MLLM succesvol te distilleren naar een lichtgewicht model, bereikt het framework een "sweet spot" waarbij het systeem een hoge nauwkeurigheid behoudt bij het identificeren van complexe, beleidsafhankelijke gereproduceerde content, terwijl het voldoet aan de strikte latentie- en doorvoereisen van een wereldwijd videoplatform. Het werk benadrukt dat gezamenlijke multimodale modellering essentieel is voor effectieve RCI en dat kennisdistillatie een levensvatbare strategie is om de capaciteiten van MLLM's naar productieomgevingen te schalen.