Technische Samenvatting: Multi-Modale Distillatie via het Leren van de Gram-matrix op Modaal Niveau van de Leraar

1. Probleemstelling

Het artikel behandelt een specifieke beperking in het bestaande onderzoek naar Multi-Modale Kennisdistillatie (KD). Waar traditionele KD-methoden succesvol kennis overdragen van grote "leraar"-netwerken naar kleinere "student"-netwerken, richten huidige benaderingen in het multi-modale domein (bijvoorbeeld het combineren van tekst en afbeeldingen) zich voornamelijk op het distilleren van alleen de eindoutput van het leraar-netwerk.

De auteurs betogen dat deze aanpak de rijke relatie-informatie tussen verschillende modaliteiten binnen het leraar-netwerk negeert. Bijgevolg blijven diepe verschillen bestaan tussen het leraar- en het student-netwerk, waardoor de student de complexe inter-modale afhankelijkheden (bijvoorbeeld hoe afbeeldings- en tekstkenmerken met elkaar interageren) die de leraar heeft geleerd, niet effectief kan leren. Het artikel stelt dat het simpelweg nabootsen van de eindclassificatie-output ontoereikend is voor multi-modale taken waarbij de interactie tussen modaliteiten cruciaal is.

2. Methodologie

De voorgestelde methode introduceert een paradigma van Modale Relatie-distillatie. In plaats van alleen de eindlogits te matchen, wordt het student-netwerk gedwongen om de Gram-matrix op modaal niveau van de leraar te leren.

Kerncomponenten:

• Input-modaliteiten: Het framework verwerkt drie soorten inputs voor zowel leraar- als student-netwerken:
  1. Alleen tekst ($x_t$)
  2. Alleen afbeelding ($x_i$)
  3. Gecombineerde tekst-afbeelding ($x_{i+t}$)
• Verliesfuncties: Het totale trainingsdoel combineert drie componenten:
  1. Traditionele KD-verliesfunctie ($L_{IKD}$): Minimaliseert het verschil tussen de eindoutput-logits van de leraar en de student met behulp van een standaardverliesfunctie (bijvoorbeeld Kullback-Leibler-divergentie of cross-entropy met zachte doelen).
  2. Cross-Entropy-verliesfunctie ($L_{CE}$): Een data-augmentatiestrategie waarbij de student wordt getraind op de ground-truth labels voor alle drie de input-modaliteiten (tekst, afbeelding en gecombineerd). Dit wordt gedefinieerd als:
     $$L_{CE} = \alpha CE(f(x_t), y) + \beta CE(f(x_i), y) + \gamma CE(f(x_{i+t}), y)$$
  3. Modale Relatie-verliesfunctie ($L_{mr}$): Dit is de nieuwe bijdrage. Het dwingt de student om de Gram-matrix van de modale outputs van de leraar te repliceren.
     • Laat $A$ de outputresultaten van het netwerk voor de drie modaliteiten (Tekst, Afbeelding, Gecombineerd) voor een enkele steekproef voorstellen.
     • De Modale Relatiematrix $G$ wordt gedefinieerd als de Gram-matrix: $G = A \cdot A^T$.
     • Het verlies minimaliseert de Mean Squared Error (MSE) tussen de relatiematrix van de leraar ($A_t$) en de relatiematrix van de student ($A_s$):
       $$L_{mr} = MSE(A_t, A_s)$$

Architectuur:

• Leraar: Een 12-laags voorgeprogrammeerd UNITER-netwerk.
• Student: Een 2-laags UNITER-netwerk (dezelfde verborgen grootte van 768, maar minder lagen).
• Proces: De student leert om zijn interne representatie van modale interacties (vastgelegd door de Gram-matrix) af te stemmen op die van de leraar, naast het matchen van de eindclassificatie-output.

3. Belangrijkste Bijdragen

De auteurs identificeren de volgende primaire bijdragen:

1. Verschuiving in Distillatiefocus: Van de conventionele focus op de eindoutput van de leraar af, naar het expliciet modelleren en overdragen van inter-modale relatie-informatie.
2. Gram-matrix op Modaal Niveau: Het voorstellen van het gebruik van een Gram-matrix om de relaties tussen verschillende modale outputs (tekst, afbeelding, gecombineerd) binnen een enkele steekproef vast te leggen, dienend als een nieuw distillatiedoel.
3. Nieuw Framework: Het ontwerpen van een door modale relaties gedreven framework dat effectief de "interactie"-kennis van de leraar naar de student overdraagt, waarmee de diepe verschillen worden aangepakt die bestaan in standaard KD-methoden voor multi-modale taken.

4. Experimentele Resultaten

De methode werd geëvalueerd op drie multi-modale datasets:

• Hateful-Memes: Binaire classificatie voor detectie van haatzaaiende taal.
• SNLI-VE: Visuele Implicatie (voorspellen of een afbeelding een zin impliceert; klassen: Implicatie, Neutraal, Contradictie).
• NLVR: Natuurtaalkundig Visueel Redeneren (semantische parsing van synthetische afbeeldingen).

Prestaties:
De voorgestelde methode ("Ours") presteerde beter dan de baseline Conventionele KD op alle datasets en evaluatiesplits (test en validatie).

• SNLI-VE (Test): Verbeterd van 71,22% (KD) naar 72,45%.
• NLVR (Test): Verbeterd van 73,62% (KD) naar 75,33%.
• Hateful-Memes (Test): Verbeterd van 68,22% (KD) naar 69,54%.

Visualisatie:
De auteurs visualiseerden de geleerde relatiematrices. Zij observeerden dat aan het begin van de training de matrix van de student aanzienlijk verschilde van die van de leraar vanwege inputverstoring. Naarmate de training vorderde, werd de matrix van de student steeds meer gelijk aan die van de leraar, en nam het absolute verschil (afstandsmatrix) af, wat wijst op succesvol leren van de modale relaties.

5. Betekenis en Claims

Het artikel claimt dat de betekenis ervan ligt in het aanpakken van de "diepe verschillen" tussen leraar- en student-netwerken in multi-modale settings. Door de student te dwingen de modale relatie-informatie (via de Gram-matrix) te leren in plaats van alleen de eindoutput, stelt de methode de student in staat het convergentiegebied en het begrip van de leraar over hoe verschillende modaliteiten met elkaar interageren, beter na te bootsen.

De auteurs stellen dat deze aanpak effectief gebruikmaakt van de kennisoverdracht van leraars naar studenten door de relatie-informatie tussen verschillende modaliteiten te modelleren, waardoor de prestaties van multi-modale distillatie worden verbeterd zonder dat de student even groot hoeft te zijn als de leraar. Het werk suggereert dat standaard KD ontoereikend is voor multi-modale taken omdat het de structurele relaties tussen modaliteiten niet vastlegt, die cruciaal zijn voor taken zoals Visuele Implicatie.