Efficient Audio-Visual Event Recognition via Knowledge Distillation and Dynamic INT8 Quantization of a Hybrid Cross-Attention Network

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt nicht nur durch das Sehen, sondern auch durch das Hören zu verstehen. Dies ist die Welt der Audio-Visuellen Ereigniserkennung (Audio-Visual Event Recognition, AVER). Denken Sie an einen Detektiv, der Verbrechen löst, indem er sowohl die Szene betrachtet als auch die Geräusche in der Umgebung hört. Wenn ein Detektiv nur ein zerbrochenes Fenster sieht, könnte er an einen Sturm denken. Aber wenn er auch das Krachen eines Baseballschlägers hört, weiß er, dass ein Kind beim Spielen war. Computer werden in dieser „Detektivarbeit“ immer besser, indem sie spezielle gehirnähnliche Strukturen namens Transformer nutzen. Diese sind wie superintelligente Bibliotheken, die ein ganzes Buch (oder ein ganzes Video) auf einmal lesen können, um Verbindungen zwischen Wörtern oder Klängen zu finden.

Es gibt jedoch einen Haken. Diese superintelligenten Bibliotheken sind riesig, schwer und hungrig nach Energie. Sie sind wie ein massiver High-End-Supercomputer, der einen ganzen Raum benötigt, um gekühlt zu werden. Wenn Sie diesen Detektiv auf einen kleinen Roboter, eine Smartwatch oder eine Drohne bringen wollen, die durch eine Stadt fliegt, ist dieser Supercomputer zu groß und verbraucht zu viel Akku. Die große Frage für Wissenschaftler ist: Wie schrumpfen wir dieses riesige Gehirn zusammen, damit es in eine Hosentasche passt, ohne dass es vergisst, wie man klug ist? Dies ist das Rätsel, das ein Team von Forschern der Universität Porto und ResoSight lösen wollte.

Die große Idee: Ein Chefkoch und ein Sous-Chef

Die Forscher entwickelten einen cleveren dreistufigen Plan, um ihren riesigen audio-visuellen Detektiv zu verkleinern, ohne seine Schärfe zu verlieren. Sie behandelten das Problem wie das Training eines neuen Mitarbeiters in einer geschäftigen Küche.

Schritt 1: Der Chefkoch (Der Lehrer)
Zuerit bauten sie ein „Lehrer“-Modell. Dies ist der riesige, superpräzise Detektiv. Er nutzt zwei leistungsstarke Werkzeuge: eines zum Verständnis von Videos (genannt VideoMAE) und eines zum Verständnis von Ton (den Audio Spectrogram Transformer). Diese Werkzeuge sind wie zwei Expertenköche, die bereits alles über das Kochen gelernt haben. Der Lehrer kombiniert ihr Wissen mithilfe eines speziellen „Cross-Attention“-Mechanismus. Stellen Sie sich das so vor, dass die beiden Köche ständig miteinander flüstern: „Hey, schau dir diesen Ton an!“ oder „Hast du diese Bewegung gesehen?“. Dies hilft ihnen, die ganze Geschichte zu verstehen. Aber dieser Lehrer ist zu schwer, um ihn mit sich zu führen.

Schritt 2: Der leichtgewichtige Lehrling (Der Schüler)
Als Nächstes bauten sie ein „Schüler“-Modell. Dies ist die leichtgewichtige Version, die für ein kleines Gerät konzipiert ist. Anstatt ein neues Gehirn von Grund auf neu zu bauen, nahmen sie das Gehirn des Lehrers und machten es kleiner. Sie änderten nicht die Art und Weise, wie das Gehirn arbeitet (die Architektur); sie machten nur die Teile kleiner.

• Sie reduzierten die „verborgene Dimension“ (wie viel Information das Gehirn gleichzeitig speichert) von 512 auf 256.
• Sie verringerten die Anzahl der „Attention Heads“ (die Anzahl der Dinge, auf die sich das Gehirn gleichzeitig konzentrieren kann) von acht auf vier.
• Sie schrumpften das „Feed-Forward-Netzwerk“ (den Teil, der die Informationen verarbeitet) von 1024 auf 512.

Es ist, als würde man eine massive Bibliothek nehmen und die Hälfte der Regale und Bücher entfernen, aber das Layout so beibehalten, dass der Bibliothekar immer noch weiß, wo alles hingehört.

Schritt 3: Das geheime Nachhilfeunterricht (Wissensdestillation)
Hier liegt der Zaubertrick. Man kann ein Gehirn nicht einfach nur schrumpfen und erwarten, dass es funktioniert; das wäre so, als würde man einem Schüler einen kleineren Rucksack geben und erwarten, dass er das gleiche Wissen in Mathematik besitzt. Deshalb nutzten die Forscher die Wissensdestillation (Knowledge Distillation).
Stellen Sie sich vor, der Chefkoch bereitet ein komplexes Gericht zu. Anstatt dem Lehrling nur das Rezept zu geben, lässt der Chef den Lehrling das Gericht probieren und erklärt ihm, warum es gut schmeckt. Der Lehrling lernt nicht nur das Endergebnis (was für ein Ereignis stattgefunden hat), sondern auch die „weichen“ Gefühle und Beziehungen zwischen verschiedenen Klängen und Sichtweisen. Der Schüler lernt, den Denkprozess des Lehrers nachzuahmen. Auf diese Weise lernt der Schüler, obwohl er kleiner ist, wie der Riese zu denken.

Schritt 4: Die digitale Kompression (Dynamische INT8-Quantisierung)
Schließlich war die Dateigröße selbst nach der Verkleinerung des Gehirns noch etwas zu groß für winzige Geräte. Also wandten sie die dynamische INT8-Quantisierung an.
Betrachten Sie die Zahlen des Modells als Messungen. Normalerweise verwendet der Computer sehr präzise Messungen (wie 32-Bit-Fließkommazahlen), was so ist, als würde man einen Kuchen mit einem Mikroskop vermessen. Das ist super genau, nimmt aber viel Platz ein. Die Forscher wechselten dazu, mit einem Standardlineal (8-Bit-Ganzzahlen) zu messen. Sie mussten den Schüler nicht neu unterrichten; sie änderten nur die Art und Weise, wie die Zahlen gespeichert werden. Es ist wie bei einem hochauflösenden Foto, das man in eine kleinere JPEG-Datei komprimiert. Das Bild sieht immer noch gut aus, aber die Datei ist winzig.

Was sie herausfanden

Die Ergebnisse waren beeindruckend, wie das Finden eines Weges, ein voll ausgestattetes Auto in eine Garage zu passen, ohne es zu zerquetschen.

• Die Schrumpfung: Das Schüler-Modell hatte am Ende 59,06 % weniger trainierbare Parameter als der Lehrer. Einfach ausgedrückt: Sie haben die Größe des „Gehirns“ um mehr als die Hälfte reduziert.
• Die Intelligenz: Trotz der halben Größe verlor der Schüler nicht viel an Intelligenz. Seine Genauigkeit sank im Vergleich zum riesigen Lehrer nur um 2,14 %. Er erreichte 82,05 % statt 84,19 % der korrekten Ereignisse. Das ist ein sehr geringer Preis für die enorme Verkleinerung.
• Die endgültige Kompression: Nach der abschließenden „Lineal“-Kompression (INT8-Quantisierung) sank die Modellgröße von 10,71 MB auf nur noch 2,04 MB. Das ist eine massive Reduktion, die es klein genug macht, um auf vielen ressourcenbeschränkten Geräten zu laufen.
• Der Kompromiss: Das endgültige, super-komprimierte Modell erkannte immer noch 81,20 % der Ereignisse korrekt. Die Forscher stellten fest, dass das Modell zwar unglaublich klein wurde, die Geschwindigkeit auf einem Standard-Computerprozessor jedoch nicht schneller wurde (sie war aufgrund des Overheads der neuen Kompressionsmethode sogar etwas langsamer), aber die enormen Speicherersparnisse machen es perfekt für Geräte, denen der Platz ausgeht.

Warum das wichtig ist

Das Paper legt nahe, dass man sich nicht zwischen einer smarten KI und einer kleinen KI entscheiden muss. Durch die Kombination von architektonischer Verkleinerung, klugem Tutoring (Destillation) und intelligenter Zahlenspeicherung (Quantisierung) haben sie ein Framework geschaffen, das den „Detektiv“ scharf hält, während es ihn gleichzeitig leicht genug macht, um getragen zu werden.

Sie testeten dies am AVE-Datensatz, einer Sammlung von über 4.000 Videos mit Tönen, und die Methode hielt gut stand. Die Forscher sind zuversichtlich, dass dieser Ansatz gut für Edge-AI funktioniert – jene smarten Geräte, die am „Rand“ des Internets leben, wie Ihr Telefon, Ihr Auto oder ein Roboter, wo Akku und Speicher kostbar sind. Sie haben nicht behauptet, alle Probleme der Welt gelöst zu haben, aber sie haben einen sehr vielversprechenden Weg aufgezeigt, um leistungsstarke audio-visuelle KI für alltägliche Gadgets praktikabel zu machen.