Riepilogo Tecnico: Distillazione Multi-Modale tramite l'Apprendimento della Matrice Gram a Livello di Modaltà del Docente

1. Enunciato del Problema

Il lavoro affronta una specifica limitazione nella ricerca esistente sulla Distillazione della Conoscenza Multi-Modale (KD). Sebbene i metodi KD tradizionali trasferiscano con successo la conoscenza da grandi reti "docenti" a reti "studenti" più piccole, gli approcci attuali nel dominio multi-modale (ad esempio, combinando testo e immagini) si concentrano prevalentemente sulla distillazione del solo output finale della rete docente.

Gli autori sostengono che questo approccio ignora le ricche informazioni relazionali tra le diverse modalità all'interno della rete docente. Di conseguenza, rimangono profonde differenze tra le reti docente e studente, impedendo allo studente di apprendere efficacemente le complesse dipendenze inter-modo (ad esempio, come interagiscono le caratteristiche di immagine e testo) che il docente ha appreso. Il lavoro ipotizza che imitare semplicemente l'output di classificazione finale sia insufficiente per compiti multi-modali in cui l'interazione tra le modalità è critica.

2. Metodologia

Il metodo proposto introduce un paradigma di Distillazione delle Relazioni di Modaltà. Invece di abbinare esclusivamente i logit finali, la rete studente è costretta ad apprendere la Matrice Gram a Livello di Modaltà del docente.

Componenti Principali:

• Modalità di Input: Il framework elabora tre tipi di input sia per le reti docente che studente:
  1. Solo testo ($x_t$)
  2. Solo immagine ($x_i$)
  3. Testo-Immagine congiunto ($x_{i+t}$)
• Funzioni di Perdita: L'obiettivo complessivo di addestramento combina tre componenti:
  1. Perdita KD Tradizionale ($L_{IKD}$): Minimizza la differenza tra i logit di output finali del docente e dello studente utilizzando una funzione di perdita standard (ad esempio, divergenza di Kullback-Leibler o entropia incrociata con target soft).
  2. Perdita di Entropia Incrociata ($L_{CE}$): Una strategia di aumento dei dati in cui lo studente viene addestrato sulle etichette di verità fondamentale per tutte e tre le modalità di input (testo, immagine e congiunto). Questa è definita come:
     $$L_{CE} = \alpha CE(f(x_t), y) + \beta CE(f(x_i), y) + \gamma CE(f(x_{i+t}), y)$$
  3. Perdita di Relazione di Modaltà ($L_{mr}$): Questo è il contributo innovativo. Costringe lo studente a replicare la Matrice Gram degli output di modalità del docente.
     • Sia $A$ a rappresentare i risultati di output della rete per le tre modalità (Testo, Immagine, Congiunto) per un singolo campione.
     • La Matrice di Relazione di Modaltà $G$ è definita come la Matrice Gram: $G = A \cdot A^T$.
     • La perdita minimizza l'Errore Quadratico Medio (MSE) tra la matrice di relazione del docente ($A_t$) e la matrice di relazione dello studente ($A_s$):
       $$L_{mr} = MSE(A_t, A_s)$$

Architettura:

• Docente: Una rete UNITER pre-addestrata a 12 livelli.
• Studente: Una rete UNITER a 2 livelli (stessa dimensione nascosta di 768, ma con meno livelli).
• Processo: Lo studente impara ad allineare la sua rappresentazione interna delle interazioni di modalità (catturata dalla Matrice Gram) a quella del docente, oltre ad abbinare l'output di classificazione finale.

3. Contributi Chiave

Gli autori identificano i seguenti contributi primari:

1. Spostamento del Focus della Distillazione: Andare oltre il focus convenzionale sull'output finale del docente per modellare e trasferire esplicitamente le informazioni relazionali inter-modo.
2. Matrice Gram a Livello di Modaltà: Proporre l'uso di una Matrice Gram per catturare le relazioni tra gli output di diverse modalità (testo, immagine, congiunto) all'interno di un singolo campione, fungendo da nuovo target di distillazione.
3. Framework Innovativo: Progettare un framework guidato dalle relazioni di modalità che trasferisce efficacemente la conoscenza dell'"interazione" dal docente allo studente, affrontando le profonde differenze che persistono nei metodi KD standard per compiti multi-modali.

4. Risultati Sperimentali

Il metodo è stato valutato su tre dataset multi-modali:

• Hateful-Memes: Classificazione binaria per il rilevamento di discorsi d'odio.
• SNLI-VE: Implicazione Visiva (prevedere se un'immagine implica una frase; classi: Implicazione, Neutrale, Contraddizione).
• NLVR: Ragionamento Visivo in Linguaggio Naturale (analisi semantica di immagini sintetiche).

Prestazioni:
Il metodo proposto ("Ours") ha superato la KD Convenzionale di base su tutti i dataset e le divisioni di valutazione (test e validazione).

• SNLI-VE (Test): Miglioramento dal 71,22% (KD) al 72,45%.
• NLVR (Test): Miglioramento dal 73,62% (KD) al 75,33%.
• Hateful-Memes (Test): Miglioramento dal 68,22% (KD) al 69,54%.

Visualizzazione:
Gli autori hanno visualizzato le matrici di relazione apprese. Hanno osservato che all'inizio dell'addestramento, la matrice dello studente differiva significativamente da quella del docente a causa di disturbi nell'input. Man mano che l'addestramento procedeva, la matrice dello studente diventava sempre più simile a quella del docente, e la differenza assoluta (matrice delle distanze) diminuiva, indicando un apprendimento riuscito delle relazioni di modalità.

5. Significato e Affermazioni

Il lavoro afferma che il suo significato risiede nell'affrontare le "profonde differenze" tra le reti docente e studente in contesti multi-modali. Costringendo lo studente ad apprendere le informazioni di relazione di modalità (tramite la Matrice Gram) piuttosto che solo l'output finale, il metodo permette allo studente di replicare meglio lo spazio di convergenza del docente e la comprensione di come le diverse modalità interagiscono.

Gli autori affermano che questo approccio sfrutta efficacemente il trasferimento di conoscenza dai docenti agli studenti modellando le informazioni relazionali tra le diverse modalità, migliorando così le prestazioni della distillazione multi-modale senza richiedere che lo studente sia grande quanto il docente. Il lavoro suggerisce che la KD standard è insufficiente per compiti multi-modali perché non riesce a catturare le relazioni strutturali tra le modalità che sono cruciali per compiti come l'Implicazione Visiva.