Do All Vision Transformers Need Registers? A Cross-Architectural Reassessment

Probleemstelling

Het trainen van Vision Transformers (ViT) brengt uitdagingen met zich mee, waarbij een specifiek probleem de opkomst van artefacten in attentie- en feature maps is. Deze artefacten, vaak geassocieerd met tokens met een uitzonderlijk hoge L2-norm (de "outliers"), verstoren de interpretabiliteit van het model en kunnen de prestaties van downstream-taken zoals objectontdekking negatief beïnvloeden.

Darcet et al. (2024) onderzochten dit fenomeen en stelden dat ViT's redundantie in beeldpatches "hergebruiken" voor interne berekeningen en het verzamelen van globale informatie, wat leidt tot deze hoge-norm tokens. Als oplossing stelden zij het toevoegen van lege invoertokens, genaamd "registers", voor. Deze registers zouden fungeren als een dedicated ruimte voor interne berekeningen, waardoor de artefacten in de feature maps verdwijnen en de interpretatie verbetert.

De kernvraag van dit paper is: Gelden de bevindingen en de oplossing van Darcet et al. (2024) universeel voor alle Vision Transformer-architecturen, of zijn ze specifiek voor bepaalde modellen (zoals DINOv2)?

Methodologie

De auteurs hebben een uitgebreide reproduceerbaarheidsstudie uitgevoerd om de claims van Darcet et al. (2024) te verifiëren en uit te breiden.

1. Modeldiversiteit: In plaats van zich te beperken tot DINOv2, hebben ze een breed scala aan modellen getest, waaronder:
   • Self-supervised: DINO, DINOv2 (verschillende maten: S, B, L, G).
   • Supervised: DeiT3 (S, M, H).
   • Multimodaal: OpenCLIP (B, H, G).
   • Hiërarchische ViT's (H-ViTs): Pyramid Vision Transformer v2 (PVTv2) en Swin Transformer v2.
2. Datasets: Gebruik van ImageNet-1K, LVD-142M (voor DINO/DINOv2) en LAION-2B (voor OpenCLIP).
3. Definitie en Terminologie: De auteurs hebben de terminologie van het originele paper verduidelijkt. Ze onderscheiden strikt tussen:
   • Attention maps (attentie-scores) en Feature maps (L2-norm van output tokens).
   • Outliers (hoge-norm tokens) en Artefacten (anomale patronen). Ze tonen aan dat deze niet altijd synoniem zijn.
4. Experimentele Taken:
   • Positievoorspelling & Patch-reconstructie: Om te testen of hoge-norm tokens lokale informatie behouden.
   • Beeldclassificatie: Om te testen of hoge-norm tokens globale context coderen.
   • Cosine Similariteit: Om te analyseren of hoge-norm tokens voorkomen in gebieden met redundante visuele informatie.
   • Register-evaluatie: Testen van modellen met en zonder registers op prestaties en visualisatiekwaliteit.

Belangrijkste Bijdragen en Resultaten

1. Nuancering van Claims (Claims 1-4)

• Claim 1 (Artefacten = Hoge-norm tokens): Dit geldt niet universeel. Bij sommige modellen (zoals DINOv2-L) kunnen artefacten in de attentie-map voorkomen zonder dat er een corresponderende hoge-norm token in de feature-map is. De auteurs benadrukken dat "outlier" en "artefact" niet altijd equivalent zijn.
• Claim 2 (Grootte van het model): Hoewel grote modellen (>300M parameters) vaak last hebben van hoge-norm tokens, is dit niet exclusief voor grote modellen. Kleinere modellen (zoals OpenCLIP-B en DeiT3-M) vertonen ook uitbijters, terwijl sommige grote modellen (zoals DINOv2-S) schone feature maps hebben.
• Claim 3 (Redundante informatie): Voor standaard ViT's (zoals DINOv2-G, DeiT3-M, OpenCLIP-B) is de correlatie bevestigd: hoge-norm tokens verschijnen inderdaad in gebieden met redundante visuele informatie. Echter, bij hiërarchische modellen (Swin, PVT) is dit patroon anders of afwezig.
• Claim 4 (Lokale vs. Globale informatie):
  • Standaard ViT's: Hoge-norm tokens bevatten weinig lokale informatie (slechte prestaties in reconstructie/positie) maar coderen wel sterke globale context (goede prestaties in classificatie).
  • Hiërarchische ViT's (Swin & PVT): Hier is de rol van de tokens architectuurafhankelijk.
    • Swin: Hoge-norm tokens bevatten juist rijke lokale/appearance informatie, terwijl normale tokens de ruimtelijke structuur dragen.
    • PVT: Hoge-norm tokens coderen juist de ruwe ruimtelijke structuur (100% nauwkeurigheid in positievoorspelling), terwijl normale tokens de textuur en semantiek dragen.
  • Conclusie: De verdeling van taken tussen "normale" en "outlier" tokens is niet universeel, maar afhankelijk van de architectuur (bijv. pyramidale down-sampling vs. shifted windows).

2. Effectiviteit van Registers (Claim 5)

• Visualisatie: Het toevoegen van registers elimineert effectief de artefacten in de attentie- en feature maps, wat de interpretatie verbetert.
• Prestaties: Registers leiden tot een marginale verbetering of geen verandering in de classificatie-accuraatheid (ImageNet-1K).
• Nieuwe Inzichten: Het gebruik van registers als invoer voor de classificatielaag (in plaats van alleen de [CLS] token) leverde geen significante verbetering op. Dit suggereert dat de globale informatie in registers sterk overlapt met die in de [CLS] token, en dat registers niet noodzakelijk "nieuwe" informatie toevoegen voor de eindtaak.

Significantie en Conclusie

Dit paper is van groot belang omdat het de eerdere bevindingen van Darcet et al. (2024) validatieert, maar ook significant nuanceert:

1. Geen Universele Regel: De dynamiek van tokens (waarom ze hoge normen krijgen en welke informatie ze dragen) is niet universeel voor alle ViT's. Het hangt sterk af van de architectuur (standaard ViT vs. hiërarchische ViT).
2. Terminologische Correctie: De paper corrigeert verwarring tussen attentie-artefacten en feature-map outliers, wat essentieel is voor toekomstig onderzoek.
3. Oplossing voor Interpretatie: Registers zijn een bewezen effectieve methode om visuele artefacten te verwijderen en de interpretatie van modellen te verbeteren, zelfs als ze de classificatie-accuraatheid niet drastisch verhogen.
4. Toekomstige Richting: De oorsprong van de artefacten (waarom de L2-norm stijgt) blijft een open vraag. De auteurs pleiten voor verder onderzoek naar de mechanismen die deze token-dynamiek sturen, met name binnen complexe hiërarchische architecturen.

Kortom, hoewel registers een nuttige tool zijn voor het schoonmaken van feature maps, is de onderliggende theorie dat "alle ViT's redundantie hergebruiken voor globale context" te simplistisch voor de diversiteit aan moderne transformer-architecturen.