Vision Transformers Need Better Token Interaction

Technische Samenvatting: Vision Transformers Behoeven Betere Token-interactie

Probleemstelling
Vision Transformers (ViTs) staan bekend om het leren van sterke beeldniveau-representaties, maar hun patchniveau-representaties verslechteren vaak tijdens langdurige training, waardoor ze minder effectief worden voor dichte voorspellingstaken zoals semantische segmentatie en dieptebepaling. Hoewel eerdere onderzoeken deze "dichte degradatie" hebben toegeschreven aan artefacten met hoge normen of uitbijter-tokens, betogen de auteurs dat dit symptomen zijn in plaats van de oorzaak. De auteurs identificeren het kernprobleem als semantische diffusie: een optimalisatiekorte weg waarbij globale semantische informatie zich ongedifferentieerd verspreidt via patch-tokens, verder dan wat lokaal gerechtvaardigd is. Dit fenomeen stelt het model in staat om de globale herkenning te verbeteren door onbeperkte token-interacties te exploiteren, maar ten koste van de ruimtelijke structuur die nodig is voor dichte taken.

Methodologie
De auteurs stellen dat de oplossing niet ligt in het elimineren van globale context of het volledig onderdrukken van achtergrond-tokens, maar in het maken van token-interacties meer selectief. Zij introduceren sparse attention (verspreide aandacht) als een minimale ingreep om de attentie-geometrie te wijzigen.

• Mechanisme: Het standaard softmax-attentie-mechanisme wordt vervangen door entmax-1.5. In tegenstelling tot softmax, dat dichte waarschijnlijkheidsverdelingen produceert, is entmax-1.5 een sparse waarschijnlijkheidsmapping die exacte nul-gewichten kan toekennen aan interacties met lage bruikbaarheid.
• Implementatie: De methode behoudt de connectiviteit van globale tokens (in tegenstelling tot lokale venster-attentie) en introduceert geen extra parameters, register-tokens of afzonderlijke verwerkingsvertakkingen (in tegenstelling tot specialisatie- of op register gebaseerde benaderingen).
• Hypothese: Door het aanmoedigen van sparse attention-verdelingen, wordt het model gedwongen selectiever te zijn in zijn token-mixing. Dit vermindert de "optimalisatiekorte weg" van semantische diffusie, waardoor semantisch irrelevante achtergrondpatches de lokale structuur van voorgrondpatches niet meer verdunnen, terwijl het vermogen om globale semantiek te vangen behouden blijft.

Belangrijkste Bijdragen

1. Hertekening van Dichte Degradatie: Het artikel karakteriseert dichte degradatie niet enkel als een artefactprobleem, maar als een gevolg van semantische diffusie, een optimalisatiekorte weg waarbij globale semantiek op een lokaal inconsistente manier diffundeert naar patch-tokens.
2. Analyse van Tokenrollen: Via Point-in-Box (PiB)-analyse en laag-voor-laag probing tonen de auteurs aan dat, terwijl ondiepe lagen betere ruimtelijke uitlijning behouden (hogere PiB), ze de semantische rijkdom van diepere lagen missen. Cruciaal tonen ze aan dat de [CLS]-token complementaire globale informatie behoudt die, wanneer samengevoegd met patch-features, dichte voorspelling aanzienlijk helpt, wat suggereert dat globale context behouden moet blijven maar beter beheerd moet worden.
3. Minimale Ingreep: Het artikel introduceert een eenvoudige architecturale wijziging – het vervangen van softmax door entmax-1.5 – die fungeert als een representatieve bias naar selectieve token-interactie zonder extra supervisie, leraar-modellen of complexe architecturale aanpassingen.

Experimentele Resultaten
De methode werd geëvalueerd op DINOv1 ViT-S/16-modellen die 200 epochs getraind waren op ImageNet-1K. De resultaten geven aan dat sparse attention dichte representaties verbetert zonder globale herkenning te offeren:

• Beeldniveau-herkenning: De Entmax-1.5-variant behaalde een Top-1-accuraatheid van 70,06% bij ImageNet lineaire probing, wat iets beter is dan de CLS-baseline (69,50%) en andere varianten zoals Register-4 en Specialization.
• Semantische Segmentatie: De meest significante winsten werden hier waargenomen. In vergelijking met de CLS-baseline verbeterde Entmax-1.5:
  • VOC mIoU: van 42,80 naar 48,78 (+5,98).
  • ADE20K mIoU: van 19,85 naar 21,97 (+2,12).
  • Cityscapes mIoU: van 36,79 naar 37,87 (+1,08).
  • Het presteerde beter dan zowel Register-4 als CLS/patch-specialisatie op alle drie de segmentatie-benchmarks.
• Dieptebepaling: De verbeteringen waren gematigder maar consistent over de NYUv2-, SUN RGB-D- en KITTI-benchmarks (verlaging van RMSE met 0,004–0,005). De auteurs merken op dat het baseline-diepte-probingprotocol al [CLS]- en patch-features samenvoegt, wat semantische diffusie gedeeltelijk kan compenseren, waardoor winst moeilijker te bereiken is.
• Kwalitatieve Analyse: PCA-visualisaties van patch-features toonden aan dat Entmax-1.5 schonere, ruimtelijk coherente feature-kaarten produceert met betere scheiding tussen voorgrond- en achtergrondregio's in vergelijking met baselines.

Betekenis en Aanspraken
Het artikel beweert dat selectieve token-mixing een eenvoudige en effectieve bias is voor het verbeteren van dichte ViT-representaties. De betekenis ligt in het aantonen dat het doel van dichte voorspelling niet is om globale context te verwijderen, maar om te verfijnen hoe tokens ermee interageren. Door softmax te vervangen door entmax-1.5, tonen de auteurs aan dat een lichtgewicht aanpassing aan attentie-normalisatie semantische diffusie kan mitigeren, wat leidt tot aanzienlijke verbeteringen in semantische segmentatie terwijl beeldniveau-herkenning behouden blijft of licht verbetert.

De auteurs blijven bescheiden over hun aanspraken, noteren dat deze studie beperkt is tot DINOv1 ViT-S/16 en nog geen grotere backbones of langere pretraining-schema's heeft geëvalueerd. Zij positioneren sparse attention niet als een definitieve finale architectuur, maar als bewijs dat de bredere principe ondersteunt dat het selectiever maken van token-interacties een haalbare weg is om dichte degradatie op te lossen.