Technische Samenvatting: MoTIF – Tijdelijk Concept Bottleneck Model voor Interpreteerbare Videoclassificatie

Probleemstelling

Hoewel Concept Bottleneck Models (CBM's) succesvol interpreteerbare beeldclassificatie mogelijk hebben gemaakt door voorspellingen te structureren rond menselijk begrijpelijke concepten, blijft het uitbreiden van dit paradigma naar video een uitdaging. In tegenstelling tot statische beelden bevat videodata een tijdelijke component waarbij concepten evolueren in de tijd, en kunnen veel acties niet worden afgeleid uit een enkel frame. Bestaande benaderingen worstelen vaak met twee hoofdproblemen:

1. Tijdelijke Modellering versus Interpreteerbaarheid: Standaard transformers excelleren in het vastleggen van lange-afhangende afhankelijkheden, maar maken gebruik van dichte tijdelijke kenmerkvermenging die conceptniveau-toeschrijvingen vertroebelt, waardoor ze ongeschikt zijn voor interpreteerbare CBM-modellering.
2. Conceptextractie: Het handmatig annoteren van concepten voor video is arbeidsintensief. Hoewel Vision-Language Models (VLM's) een weg bieden voor automatische ontdekking, is het uitbreiden hiervan tot het vastleggen van tijdelijk verankerde, klass-geconditioneerde concepten zonder handmatige tussenkomst niet triviaal.

De kernuitdaging is het ontwerpen van een architectuur die variabele lengte-videoinvoer verwerkt en tijdelijke dynamiek modelleert, terwijl strikte conceptniveau-interpreteerbaarheid behouden blijft en het "black box"-karakter van standaard deep learning-modellen wordt vermeden.

Methodologie: MoTIF

De auteurs introduceren MoTIF (Moving Temporal Interpretable Framework), een transformer-gebaseerd CBM dat is toegespitst op videoclassificatie. Het framework werkt op sequenties van vensterniveau-conceptactivaties en bestaat uit drie primaire componenten:

1. VLM-gebaseerde Conceptontdekkingspijplijn

In plaats van te vertrouwen op vooraf gedefinieerde conceptvocabulaires, maakt MoTIF gebruik van een taakagnostische ontdekkingsfase:

• Proces: Per klasse wordt een kleine subset van trainingsvideo's bemonsterd. Een Vision-Language Model (VLM), geconditioneerd op de klasselabel, genereert natuurlijke-taal kandidaten voor objecten en acties binnen elk tijdelijk venster.
• Filtering: Deze kandidaten worden ingebed met CLIP-gebaseerde modellen. Bijna-duplicaten worden verwijderd via cosine-similariteitsfiltering (drempel > 0,9), wat resulteert in een diverse, globale conceptbank $C$.
• Activering: Voor elk videovenster worden visuele embeddings vergeleken met de conceptbank om een conceptactivatiematrix $X \in \mathbb{R}^{T \times K}$ te genereren, waarbij $T$ het aantal vensters is en $K$ het aantal concepten.

2. Per-kanaal Tijdelijke Zelf-Attention (Diagonale Attention)

De kernarchitecturale innovatie is een tijdelijke module die redenering voor elk concept isoleert:

• Diagonale Structuur: In tegenstelling tot standaard transformers die kanalen mengen via volledige lineaire projecties ($W_Q \in \mathbb{R}^{C \times C}$), maakt MoTIF gebruik van dieptewijze 1$\times$1 convoluties om Query-, Key- en Value-projecties voor elk conceptkanaal onafhankelijk te genereren.
• Mechanisme: Elk conceptkanaal $c$ berekent zijn eigen attentiescores $W_{c,t,u}$ over de tijdelijke sequentie. Dit zorgt ervoor dat bewijs van het ene concept niet naar een ander kan stromen, waardoor strikte concepttoeschrijving behouden blijft.
• Output: De output is een gewogen som van waarden voor elk concept, waarbij de onafhankelijkheid van conceptkanalen behouden blijft terwijl wordt gemodelleerd wanneer en hoe concepten in de tijd terugkeren.

3. Classificatie en Uitleg

• Affiene Transformatie: Activaties ondergaan een niet-negatieve affiene transformatie ($\gamma_c X + \delta_c$) gevolgd door een Softplus-niet-lineariteit om niet-negatieve, differentieerbare activaties te garanderen.
• Pooling: Een Log-Sum-Exp (LSE) poolingsmechanisme aggregeert per-tijdstap logits tot een video-niveau voorspelling. Dit dient als een zachte benadering van max-pooling en biedt een profiel van tijdsbelang.
• Drie-Modus Uitleg: MoTIF ontbindt voorspellingen in:
  1. Globale Concepten: Geaggregeerde relevantie over de volledige video.
  2. Lokale Concepten: Relevantie binnen specifieke tijdelijke vensters met hoge gewichten.
  3. Tijdelijke Afhankelijkheden: Attention-kaarten die tonen hoe een conceptkanaal focus over de tijd verdeelt (bijvoorbeeld het identificeren van tijdelijke ankers of aanhoudende aanwezigheid).

Belangrijkste Bijdragen

1. MoTIF Architectuur: Een Video CBM dat per-kanaal tijdelijke zelf-attention gebruikt om tijdelijke dynamiek op het individuele conceptniveau te modelleren, terwijl conceptonafhankelijkheid behouden blijft.
2. Multi-Graan Uitleg: Het framework biedt drie complementaire uitlegmodi (globale, lokale en tijdelijke afhankelijkheidskaarten) om besluitvorming in de tijd te traceren.
3. VLM-gebaseerde Ontdekking: Een pijplijn die object- en actiegerichte tekstuele concepten direct uit trainingsvideo's extrahert met behulp van zwakke supervisie van klasselabels, waardoor de noodzaak voor handmatige annotatie wordt weggenomen en de conceptdekking wordt verbeterd.

Experimentele Resultaten

De auteurs evalueerden MoTIF op vier benchmarks: Breakfast Actions, HMDB51, UCF101 en Something-Something V2 (SSv2).

• Prestaties versus Globale CBM: MoTIF presteert consequent beter dan een Globale CBM (die vensterrepresentaties middelpoolt voordat classificatie plaatsvindt). Op Breakfast Actions bijvoorbeeld verbeterde MoTIF de nauwkeurigheid met 11–18 procentpunten ten opzichte van de Globale CBM, wat de waarde van tijdelijk gelokaliseerde conceptmodellering aantoont.
• Prestaties versus Black-Box Modellen: Hoewel er nog een kloof blijft met state-of-the-art black-box modellen (zoals VideoMAE V2), verkleint MoTIF deze kloof aanzienlijk terwijl het interpreteerbaarheid behoudt. Op SSv2 behaalde de space-time variant (MoTIF-ST) 41,9% nauwkeurigheid, vergeleken met 33,6% voor de Globale CBM.
• Tijdelijke Sensitiviteit: Ablatiestudies met synthetische benchmarks en venster-shuffling bevestigden dat MoTIF vertrouwen stelt op tijdelijke orde in plaats van statische uiterlijkssignalen, met name op datasets zoals SSv2 waar relationele labels cruciaal zijn.
• Interventieanalyse: Destructieve interventies (nulstellen van topconcepten) verminderden de voorspellingsoverlap aanzienlijk, terwijl corrigerende interventies (bewerken van concepten) misclassificaties succesvol repareerden, wat de causale link tussen concepten en voorspellingen valideert.
• Afwegingen: De auteurs merken een beheersbare afweging op: het afdwingen van diagonale attention behoudt interpreteerbaarheid, maar kan de nauwkeurigheid op zeer complexe datasets licht verminderen ten opzichte van volledige attention-varianten. Echter, volledige attention verweeft kanalen, wat de interpreteerbaarheid vermindert.

Betekenis en Claims

Het artikel positioneert MoTIF als een principieel framework voor het leren en verklaren van tijdelijke conceptrepresentaties. De betekenis hiervan ligt in:

• De Kloof Overbruggen: Het toont aan dat tijdelijk redeneren kan worden geïntegreerd in concept bottleneck-modellen zonder de conceptniveau-structuur te verwerpen, en biedt een levensvatbaar alternatief voor ondoorzichtige black-box videoclassificatoren.
• Interpreteerbaarheid zonder Opoffering: Door tijdelijk redeneren per concept te isoleren, stelt MoTIF gebruikers in staat fouten terug te traceren naar ontbrekende of ambiguë tijdelijke concepten in plaats van ondoorzichtige kenmerkinteracties.
• Modulariteit: Het framework is compatibel met verschillende embedding-ruggengraten (CLIP, SigLIP, Perception Encoders) en conceptontdekkingsmethoden (tekstueel of visueel), wat suggereert dat verbeteringen in conceptkwaliteit en architecturale schaling complementaire paden zijn naar betere prestaties.

De auteurs concluderen dat, hoewel prestaties sterk afhankelijk zijn van conceptkwaliteit, MoTIF een robuuste, interpreteerbare basis biedt voor video-interpretatie die state-of-the-art prestaties bereikt onder CBM's, terwijl het concurrerend blijft met niet-interpreteerbare baselines.