Riepilogo Tecnico: MoTIF – Modello Temporal Concept Bottleneck per la Classificazione Interpretabile di Video

Enunciato del Problema

Sebbene i Concept Bottleneck Models (CBM) abbiano permesso con successo la classificazione interpretabile di immagini strutturando le previsioni attorno a concetti comprensibili dall'uomo, estendere questo paradigma ai video rimane una sfida. A differenza delle immagini statiche, i dati video contengono una componente temporale in cui i concetti evolvono nel tempo e molte azioni non possono essere inferite da un singolo fotogramma. Gli approcci esistenti spesso faticano con due problemi principali:

1. Modellazione Temporale vs. Interpretabilità: I transformer standard eccellono nel catturare dipendenze a lungo raggio ma impiegano una miscelazione densa delle caratteristiche temporali che oscura le attribuzioni a livello di concetto, rendendoli inadatti alla modellazione CBM interpretabile.
2. Estrazione dei Concetti: L'annotazione manuale dei concetti per i video è laboriosa. Sebbene i Vision-Language Models (VLM) offrano una via per la scoperta automatica, estendere questo approccio per catturare concetti fondati temporalmente e condizionati dalla classe senza intervento manuale non è banale.

La sfida principale consiste nel progettare un'architettura che gestisca input video di lunghezza variabile e modelli le dinamiche temporali, preservando al contempo una rigorosa interpretabilità a livello di concetto ed evitando la natura "scatola nera" dei modelli di deep learning standard.

Metodologia: MoTIF

Gli autori introducono MoTIF (Moving Temporal Interpretable Framework), un CBM basato su transformer adattato per la classificazione di video. Il framework opera su sequenze di attivazioni di concetti a livello di finestra e consiste in tre componenti principali:

1. Pipeline di Scoperta dei Concetti Basata su VLM

Invece di fare affidamento su vocabolari di concetti predefiniti, MoTIF impiega una fase di scoperta agnostica rispetto al compito:

• Processo: Viene campionata una piccola sottoinsieme di video di training per classe. Un Vision-Language Model (VLM), condizionato sull'etichetta di classe, genera candidati in linguaggio naturale per oggetti e azioni all'interno di ogni finestra temporale.
• Filtraggio: Questi candidati vengono incorporati utilizzando modelli basati su CLIP. I duplicati quasi identici vengono rimossi tramite filtraggio della similarità coseno (soglia > 0,9), risultando in una banca globale di concetti diversificata $C$.
• Attivazione: Per ogni finestra video, gli embedding visivi vengono confrontati con la banca dei concetti per generare una matrice di attivazione dei concetti $X \in \mathbb{R}^{T \times K}$, dove $T$ è il numero di finestre e $K$ è il numero di concetti.

2. Self-Attention Temporale Per-Canale (Attenzione Diagonale)

L'innovazione architettonica centrale è un modulo temporale che isola il ragionamento per ciascun concetto:

• Struttura Diagonale: A differenza dei transformer standard che mescolano i canali tramite proiezioni lineari complete ($W_Q \in \mathbb{R}^{C \times C}$), MoTIF utilizza convoluzioni 1$\times$1 depthwise per generare proiezioni Query, Key e Value per ciascun canale di concetto in modo indipendente.
• Meccanismo: Ogni canale di concetto $c$ calcola i propri punteggi di attenzione $W_{c,t,u}$ sulla sequenza temporale. Ciò garantisce che le prove provenienti da un concetto non possano fluire in un altro, preservando l'attribuzione rigorosa del concetto.
• Output: L'output è una somma pesata dei valori per ciascun concetto, mantenendo l'indipendenza dei canali di concetto mentre si modella quando e come i concetti si ripresentano nel tempo.

3. Classificazione e Spiegazione

• Trasformazione Affine: Le attivazioni subiscono una trasformazione affine non negativa ($\gamma_c X + \delta_c$) seguita da una non linearità Softplus per garantire attivazioni non negative e differenziabili.
• Pooling: Un meccanismo di pooling Log-Sum-Exp (LSE) aggrega i logit per ogni passo temporale in una previsione a livello di video. Ciò funge da approssimazione soft del max-pooling e fornisce un profilo di importanza temporale.
• Spiegazione a Tre Modalità: MoTIF scompone le previsioni in:
  1. Concetti Globali: Rilevanza aggregata sull'intero video.
  2. Concetti Locali: Rilevanza all'interno di specifiche finestre temporali ad alto peso.
  3. Dipendenze Temporali: Mappe di attenzione che mostrano come un canale di concetto distribuisce il focus nel tempo (ad esempio, identificando ancoraggi temporali o presenza persistente).

Contributi Chiave

1. Architettura MoTIF: Un Video CBM che utilizza l'attenzione self-attentiva temporale per canale, modellando le dinamiche temporali a livello di singolo concetto mentre preserva l'indipendenza dei concetti.
2. Spiegazione Multi-Granulare: Il framework fornisce tre modalità di spiegazione complementari (mappe di concetti globali, locali e di dipendenza temporale) per tracciare il processo decisionale nel tempo.
3. Scoperta Basata su VLM: Una pipeline che estrae concetti testuali incentrati su oggetti e azioni direttamente dai video di training utilizzando supervisione debole dalle etichette di classe, eliminando la necessità di annotazione manuale e migliorando la copertura dei concetti.

Risultati Sperimentali

Gli autori hanno valutato MoTIF su quattro benchmark: Breakfast Actions, HMDB51, UCF101 e Something-Something V2 (SSv2).

• Prestazioni vs. CBM Globale: MoTIF supera costantemente un CBM Globale (che effettua il pooling medio delle rappresentazioni delle finestre prima della classificazione). Ad esempio, su Breakfast Actions, MoTIF ha migliorato l'accuratezza di 11–18 punti percentuali rispetto al CBM Globale, dimostrando il valore della modellazione temporale localizzata dei concetti.
• Prestazioni vs. Modelli Black-Box: Sebbene rimanga un divario con i modelli black-box all'avanguardia (ad esempio VideoMAE V2), MoTIF riduce significativamente questo divario mantenendo l'interpretabilità. Su SSv2, la variante spazio-temporale (MoTIF-ST) ha raggiunto un'accuratezza del 41,9% rispetto al 33,6% del CBM Globale.
• Sensibilità Temporale: Studi di ablazione utilizzando benchmark sintetici e mescolamento delle finestre hanno confermato che MoTIF si basa sull'ordine temporale piuttosto che su indizi di aspetto statico, in particolare su dataset come SSv2 dove le etichette relazionali sono critiche.
• Analisi dell'Intervento: Interventi distruttivi (azzeramento dei concetti principali) hanno ridotto significativamente la sovrapposizione delle previsioni, mentre interventi correttivi (modifica dei concetti) hanno riparato con successo le classificazioni errate, validando il legame causale tra concetti e previsioni.
• Compromessi: Gli autori notano un compromesso controllabile: imporre un'attenzione diagonale preserva l'interpretabilità ma può ridurre leggermente l'accuratezza su dataset altamente complessi rispetto alle varianti con attenzione completa. Tuttavia, l'attenzione completa intreccia i canali, riducendo l'interpretabilità.

Significato e Affermazioni

Il paper posiziona MoTIF come un framework principiato per l'apprendimento e la spiegazione delle rappresentazioni temporali dei concetti. Il suo significato risiede in:

• Colmare il Divario: Dimostra che il ragionamento temporale può essere integrato nei concept bottleneck models senza scartare la struttura a livello di concetto, offrendo un'alternativa praticabile ai classificatori video opachi di tipo black-box.
• Interpretabilità senza Sacrificio: Isolando il ragionamento temporale per concetto, MoTIF permette agli utenti di tracciare gli errori fino a concetti temporali mancanti o ambigui piuttosto che a interazioni di caratteristiche opache.
• Modularità: Il framework è compatibile con varie backbones di embedding (CLIP, SigLIP, Perception Encoders) e metodi di scoperta dei concetti (testuali o visivi), suggerendo che i miglioramenti nella qualità dei concetti e il scaling architetturale sono percorsi complementari per prestazioni migliori.

Gli autori concludono che, sebbene le prestazioni dipendano fortemente dalla qualità dei concetti, MoTIF fornisce una base robusta e interpretabile per la comprensione dei video, raggiungendo prestazioni all'avanguardia tra i CBM mentre rimane competitivo rispetto ai baseline non interpretabili.