Efficient Audio-Visual Event Recognition via Knowledge Distillation and Dynamic INT8 Quantization of a Hybrid Cross-Attention Network

Technische Samenvatting: Efficiënte Audio-Visuele Eventherkenning via Knowledge Distillation en Dynamische INT8-kwantisatie

Probleemstelling
Audio-visuele eventherkenning (AVER) heeft aanzienlijke prestatiewinst laten zien door middel van transformer-gebaseerde multimodale architecturen, zoals die gebruikmaken van de Audio Spectrogram Transformer (AST) en VideoMAE. Deze modellen met een hoge capaciteit lijden echter onder een hoge computationele complexiteit, grote geheugenvoetafdrukken en dure attention-operaties, met name binnen hybride cross-attention fusienetwerken. Deze factoren belemmeren hun implementatie op hulpbronnenbeperkte edge-apparaten (bijv. autonome robots, wearables en intelligente transportplatforms). Hoewel algemene modelcompressietechnieken bestaan, worden deze vaak toegepast als post-processing stappen voor generieke visuele of talige modellen zonder rekening te houden met de specifieke architecturale kenmerken van multimodale fusienetwerken, wat essentiële cross-modale interactiemechanismen kan verstoren.

Methodologie
De auteurs stellen een architectuurbewust compressiekader voor dat specifiek is ontworpen voor hybride cross-attention-gebaseerde AVER-systemen. Het kader werkt op het trainbare multimodale fusie- en classificatienetwerk, terwijl de vooraf getrainde VideoMAE en AST backbone-encoders (gebruikt voor offline feature extractie) behouden blijven. De aanpak bestaat uit vier geïntegreerde stadia:

1. Teacher Architectuur: Een high-capacity teacher-model wordt getraind met supervised learning. Het integreert VideoMAE voor visuele representatie, AST voor audio feature extractie, en een "Stable Hybrid Cross-Attention" fusienetwerk. Deze fusiemodule maakt gebruik van bidirectionele cross-attention met residual scaling geïnitialiseerd nabij nul om trainingsstabiliteit te garanderen terwijl cross-modale interacties worden geleerd.
2. Student Architectuur Constructie: Een lichtgewicht student-model wordt afgeleid door systematisch de complexiteit van het transformer-fusienetwerk te verminderen terwijl de oorspronkelijke topologie behouden blijft. Specifieke architecturale reducties zijn:
   • Verborgen embedding dimensie: 512 $\to$ 256.
   • Multi-head attention koppen: 8 $\to$ 4.
   • Feed-forward netwerk dimensie: 1024 $\to$ 512.
3. Knowledge Distillation: Het student-model wordt getraind met een combinatie van standaard cross-entropy loss en een distillation loss afgeleid van de soft predictions van de teacher. De parameters van de teacher worden tijdens dit proces bevroren. Een temperatuurparameter ($T=4$) en een weegfactor ($\alpha=0.8$) worden gebruikt om een balans te vinden tussen hard-label en soft-label supervisie, waardoor de student in staat is om inter-class relaties te vatten.
4. Dynamische INT8-kwantisatie: Na de training wordt dynamische INT8 post-training kwantisatie toegepast op het student-model. Dit zet lineaire lagen om van 32-bit floating-point naar 8-bit integer precisie zonder dat hertraining vereist is. Gewichten worden opgeslagen in INT8, terwijl activaties dynamisch worden gekwantiseerd op basis van runtime-distributies.

Belangrijkste Bijdragen

• Architectuurbewust Kader: Het artikel introduceert een compressiekader dat is afgestemd op hybride cross-attention AVER-netwerken, waarbij de multimodale redeneertopologie behouden blijft terwijl de complexiteit van het trainbare fusiemodule wordt verminderd.
• Lichtgewicht Student Design: Een specifiek student-architectuur is ontwikkeld die verborgen dimensies, attention koppen en feed-forward capaciteiten vermindert terwijl de oorspronkelijke fusiestrategie behouden blijft.
• Verenigde Compressie Pipeline: De integratie van architecturale compressie, response-gebaseerde knowledge distillation en dynamische INT8-kwantisatie in één enkele pipeline om kennis over te dragen en opslag te verminderen zonder extra training.
• Empirische Validatie: Uitgebreide experimenten op de AVE benchmark demonstreren het vermogen van het kader om een balans te vinden tussen nauwkeurigheid en efficiëntie.

Resultaten
Experimenten uitgevoerd op de AVE dataset (4.143 videoclips, 28 categorieën) leverden de volgende resultaten op bij de vergelijking tussen de Teacher, de Gecomprimeerde Student (KD) en de Gekwantiseerde Student (INT8):

• Parameterreductie: Het student-model verminderde het aantal trainbare parameters van 6,86 miljoen naar 2,81 miljoen, een reductie van 59,06%.
• Nauwkeurigheidstolerantie: De gecomprimeerde student bereikte een testnauwkeurigheid van 82,05%, wat een afname van 2,14% betekent ten opzichte van de teacher van 84,19%. Het gekwantiseerde INT8-model bereikte 81,20% (een daling van 2,99% ten opzichte van de teacher).
• Modelgrootte Reductie:
  • De grootte van het student-model nam af van 26,16 MB (Teacher) naar 10,71 MB.
  • Dynamische INT8-kwantisatie verminderde de modelgrootte verder naar 2,04 MB (een reductie van 80,9% ten opzichte van de teacher en 80,9% reductie ten opzichte van de ongekwantiseerde student).
  • De checkpoint-grootte werd gereduceerd van 78,53 MB naar 4,25 MB.
• Prestatie-metrieken: De gecomprimeerde modellen behielden concurrerende weighted F1-scores (82,13% voor KD, 81,06% voor INT8) en vertoonden stabiele convergentie tijdens de training zonder significante overfitting.

Betekenis en Claims
Het artikel claimt dat het voorgestelde kader een effectieve afweging biedt tussen herkenningsnauwkeurigheid en computationele efficiëntie, wat het een veelbelovende oplossing maakt voor de implementatie op hulpbronnenbeperkte edge AI-platforms. Door de compressie te richten op het trainbare fusienetwerk in plaats van de volledige pipeline, behoudt de methode het representatievermogen van de vooraf getrainde backbones terwijl de geheugengebruik van het redeneercomponent substantieel wordt verminderd. De auteurs stellen dat de combinatie van architecturale vereenvoudiging, knowledge distillation en dynamische kwantisatie een reductie van meer dan 80% in modelgrootte mogelijk maakt met minder dan 3% nauwkeurigheidsverlies, wat de aanpak valideert voor praktische edge-implementatie. Het artikel merkt op dat hoewel de inferentie-latentie op de CPU iets hoger was voor het gekwantiseerde model vanwege overhead, de opslagbesparing de primaire waarde is voor geheugenbeperkte omgevingen. Toekomstig werk wordt gesuggereerd om gestructureerde pruning, quantization-aware training en evaluatie op grootschaligere benchmarks te verkennen.