SVD-ViT: Does SVD Make Vision Transformers Attend More to the Foreground?

Technische Samenvatting: SVD-ViT

1. Het Probleem: Achtergrondruis in Vision Transformers

Vision Transformers (ViT) zijn krachtige modellen die wereldwijde relaties in afbeeldingen leren via het self-attention mechanisme. Een fundamenteel probleem is echter dat dit mechanisme geen expliciet onderscheid maakt tussen de voorgrond (het relevante object) en de achtergrond.

Omdat self-attention gebaseerd is op gelijkenis tussen patches, kunnen irrelevante achtergrondkenmerken en artefacten (hoog-norm tokens zonder semantische waarde) de feature-representaties vervuilen. Dit leidt tot een verminderde classificatienauwkeurigheid, vooral wanneer de achtergrond complex is of wanneer het model afgeleid wordt door ruis.

2. Methodologie: SVD als Filter voor de Voorgrond

De auteurs baseren hun methode op de hypothese dat de voorgrond een grotere variantie vertoont in de feature-ruimte dan de achtergrond. Door Singular Value Decomposition (SVD) toe te passen op de feature maps, kunnen de belangrijkste componenten (die de voorgrond representeren) worden geïsoleerd van de minder belangrijke componenten (achtergrond/ruis).

Het voorgestelde model, SVD-ViT, bestaat uit drie kerncomponenten:

• SPC Module (Spatial Principal Component module): In plaats van alleen de standaard [CLS] token te gebruiken, genereert de SPC module nieuwe [SPC] tokens. Deze tokens worden verkregen door de feature maps te projecteren op de belangrijkste left singular vectors (verkregen via Randomized SVD). Deze vectoren fungeren als ruimtelijke hoofdcomponenten die de voorgrond benadrukken.
• SSVA (Spatial Singular Value Aggregator): Omdat de grootste variantie niet altijd de meest bruikbare informatie is, introduceert SSVA een mechanisme om de singular vectors dynamisch te mengen. Het gebruikt input-afhankelijke gewichten om een subset van de meest relevante singular directions te selecteren en te aggregeren tot een effectievere set tokens.
• ID-RSVD (Input-Dependent Randomized SVD): Standaard RSVD gebruikt een vaste willekeurige matrix voor projectie, wat niet altijd optimaal is voor specifieke afbeeldingen. ID-RSVD maakt de projectiematrix ($\Omega$) leerbaar en afhankelijk van de input ($X$). Hierdoor kan het model de zoekrichtingen naar de meest discriminerende subruimtes sturen, waardoor de invloed van achtergrondruis wordt geminimaliseerd.

3. Belangrijkste Bijdragen

• Nieuw perspectief op SVD: In tegenstelling tot eerdere toepassingen van SVD in deep learning (die zich richten op modelcompressie of het aanpassen van statische gewichten), past SVD-ViT SVD toe op de dynamische intermediate feature maps voor spectrale analyse en feature-extractie.
• Voorgrond-focus: Het model biedt een expliciet mechanisme om de aandacht van de Transformer te verleggen van de achtergrond naar de voorgrond zonder dat er handmatige labels voor segmentatie nodig zijn.
• Architecturale integratie: De introductie van de SPC-module als een "plugin" die tussen Transformer-lagen kan worden geplaatst, biedt flexibiliteit in hoe het model wordt aangepast.

4. Resultaten

De effectiviteit van SVD-ViT werd getest op vijf datasets (waaronder CUB-200-2011 en FGVC-Aircraft). De belangrijkste bevindingen zijn:

• Verbeterde nauwkeurigheid: SVD-ViT presteert consistent beter dan de standaard ViT-baseline op alle geteste datasets.
• Significante winst in fine-grained classificatie: Op de CUB-200-2011 dataset werd een verbetering van +2,24 tot +2,52 procentpunten waargenomen. Op FGVC-Aircraft was de verbetering zelfs +2,82 procentpunten.
• Kwalitatieve verbetering: Visualisaties tonen aan dat de singular vectors in SVD-ViT stabiele structuren vormen die de vorm van het object volgen, terwijl de "spike-like" artefacten (ruis) in standaard ViT worden onderdrukt.
• Optimale plaatsing: De verbetering is het grootst wanneer de SPC-module in de diepere lagen van het netwerk wordt geplaatst, waar de features semantisch abstracter en coherenter zijn.

5. Betekenis en Conclusie

SVD-ViT bewijst dat spectrale analyse een krachtig instrument is om de representatiekracht van Vision Transformers te versterken. Door SVD te gebruiken om de "ruis" van de achtergrond te scheiden van de "signaal" van de voorgrond, lost het model een fundamenteel probleem van de self-attention architectuur op. Dit werk opent de deur naar nieuwe methoden waarbij wiskundige decompositietechnieken direct worden geïntegreerd in de leerprocessen van neurale netwerken om de focus en robuustheid te verbeteren.