SiNGER: A Clearer Voice Distills Vision Transformers Further

Titel: SINGER: A CLEARER VOICE DISTILLS VISION TRANSFORMERS FURTHER

Publicatie: ICLR 2026 (Conference Paper)
Auteurs: Geunhyeok Yu, Sunjae Jeong, Yoonyoung Choi, Jaeseung Kim, Hyoseok Hwang (Kyung Hee University & MOBILTECH CO., LTD)

---

1. Het Probleem: Artefacten in Vision Transformers (ViT)

Hoewel Vision Transformers (ViTs) de standaard zijn geworden voor visuele fundamentele modellen, lijden ze aan een specifiek probleem dat de kwaliteit van de representatie beïnvloedt: hoge-norm artefacten (high-norm artifacts).

• Oorzaak: Volgens eerdere onderzoeken (o.a. Darcet et al., Wang et al.) ontstaan deze artefacten door een accumulatie-effect dat lijkt op macht-iteratie (power-iteration) over residu-blokken. Tokens aligneren zich met de leidende linker singuliere vector van de vooraf getrainde gewichten, wat resulteert in een paar tokens met extreem hoge normen (outliers), vaak in achtergrondgebieden.
• Impact op Knowledge Distillation (KD): Bij het distilleren van kennis van een groot leraar-model (teacher) naar een kleiner student-model, wordt het leerdoel gedomineerd door deze hoge-norm tokens. Omdat de standaard Mean Squared Error (MSE) loss gevoelig is voor de grootte van de fouten, focust de gradiëntupdate zich onevenredig op het nabootsen van deze enkele outliers.
• Gevolg: Het student-model "overfittet" op deze artefacten in plaats van de informatieve signalen (inliers) te leren. Dit leidt tot een degradatie van de representatiekwaliteit en beperkt de prestatieswinst die normaal gesproken uit het gebruik van grotere modellen zou moeten voortvloeien. Bestaande oplossingen, zoals willekeurige masking (ViTKD), zijn niet ideaal omdat ze ook waardevolle informatieve signalen verwijderen.

2. Methodologie: SiNGER Framework

De auteurs introduceren SiNGER (Singular Nullspace-Guided Energy Reallocation), een nieuw distillatiekader dat artefacten onderdrukt zonder informatieve signalen te verliezen.

Kernidee: Nullspace-Gedreven Perturbatie

De methode baseert zich op het principe dat men de leraar-features ($F^T_l$) kan verfijnen door een kleine perturbatie ($\Delta F^T_l$) toe te voegen, zodanig dat:

1. Onderdrukking van Outliers: De normen van de hoge-norm tokens worden verminderd.
2. Behoud van Informatie: De output van het volgende blok in het leraar-netwerk ($W_{l+1}$) blijft onveranderd.

Wiskundig wordt dit bereikt door de perturbatie te beperken tot de linker-ruimten (left-nullspace) van de transformatie $W_{l+1}$ van het volgende blok. Als $\Delta F^T_l$ in de linker-ruimte van $W_{l+1}$ ligt, geldt:
$$\Delta F^T_l W_{l+1} = 0$$
Dit betekent dat de wijziging in de features geen invloed heeft op de uiteindelijke output van het leraar-netwerk, maar wel de verdeling van de energie (normen) binnen de features zelf verbetert.

Implementatie: LoRA-Adapter

Om dit efficiënt te implementeren zonder het leraar-model opnieuw te trainen of zwaar te wijzigen, gebruiken de auteurs een LoRA-based adapter (Low-Rank Adaptation):

• Een lichte adapter wordt toegevoegd aan de leraar-features.
• De initiële gewichten van deze adapter worden geïnitieerd met de linker-singuliere vectoren die corresponderen met de kleinste singuliere waarden van een gelineariseerde versie van het volgende blok ($W_{l+1}$).
• Tijdens het trainingstraject wordt de adapter geoptimaliseerd om de hoge-norm outliers te onderdrukken terwijl de richting van de informatieve features behouden blijft.

Verliesfuncties (Loss Functions)

Het totale trainingsdoel bestaat uit drie componenten:

1. Knowledge Distillation Loss ($L_{KD}$): Het student-model moet de verfijnde leraar-features nabootsen.
2. Outlier Suppression Loss ($L_{outlier}$): Een expliciete term die de adapter aanmoedigt om de normen van de hoogste percentiel-tokens te verlagen.
3. Information Preservation Loss ($L_{info}$): Een Gram-matrix matching loss die ervoor zorgt dat de structurele relaties tussen features (de "informatie") behouden blijven na de perturbatie, zowel voor het huidige als het volgende blok.

3. Belangrijkste Bijdragen

1. Nieuw Distillatiekader: SiNGER lost het fundamentele compromis op tussen het onderdrukken van artefacten en het behoud van informatieve signalen door gebruik te maken van nullspace-gedreven perturbaties.
2. Efficiënte Architectuur: De methode vereist minimale structurele wijzigingen dankzij de LoRA-adapter, wat de rekentijd en het geheugengebruik laag houdt.
3. Theoretische Analyse: De auteurs analyseren de gradiëntbias die ontstaat door outliers en tonen aan dat het verfijnen van de leraar-features essentieel is voor succesvolle ViT-distillatie.
4. Uitgebreide Validatie: Het paper biedt zowel kwantitatieve resultaten op diverse benchmarks als kwalitatieve visualisaties die aantonen dat SiNGER scherpere en interpreteerbaardere feature maps produceert.

4. Resultaten

SiNGER werd geëvalueerd op meerdere downstream taken, waaronder classificatie (ImageNet-1K), semantische segmentatie (ADE-20K), diepteschattting (NYUd-v2), en domeinverschuiving (ImageNet-v2, ImageNet-R).

• Prestatieverbetering: SiNGER overtreft consistent bestaande baselines zoals FitNet en ViTKD.
  • Op ImageNet-1K (ViT-L $\to$ ViT-T) boekte SiNGER een verbetering van +4.4% ten opzichte van de baseline.
  • Bij diepteschattting (NYUd-v2) was de winst zelfs +8.7%.
  • Bij semantische segmentatie (ADE-20K) werd een verbetering van +4.5% gezien.
• Representatiekwaliteit:
  • Visualisaties tonen dat SiNGER-features minder "ruis" (artefacten) bevatten dan de originele leraar of andere distillatiemethoden.
  • De Gram Distance tussen leraar en student is lager bij SiNGER, wat aangeeft dat de relationele structuur van de features beter behouden blijft dan bij methoden die willekeurig maskeren.
  • De CKA (Centered Kernel Alignment) toont aan dat SiNGER een betere balans vindt tussen gelijkenis met de leraar en het behoud van nuttige informatie.
• Robuustheid: De methode werkt goed over verschillende schalen (Van ViT-Small naar ViT-Tiny) en verschillende architecturen (ViT en DeiT-III).

5. Betekenis en Conclusie

Dit werk is significant omdat het een fundamentele beperking in de huidige kennisdistillatie voor Vision Transformers adresseert. In plaats van alleen te kijken naar het comprimeren van het model, richt SiNGER zich op de kwaliteit van de overgedragen representatie.

• Inzicht: Het paper benadrukt dat "groter" niet altijd "beter" is als de grotere modellen artefacten bevatten die de distillatie verstoren.
• Toekomst: De aanpak van nullspace-gedreven perturbatie biedt een nieuw perspectief voor het comprimeren van overgeparameteriseerde modellen en kan mogelijk worden uitgebreid naar andere fundamentele modellen en multi-modale settings.

Kortom, SiNGER zorgt voor een "helderder stem" (clearer voice) van het leraar-model, waardoor het student-model effectiever kan leren zonder de ruis van de artefacten mee te nemen.