Technische Samenvatting: Elastische Attention-kernen voor Schaalbare Vision Transformers

Probleemstelling

Vision Transformers (ViTs) hebben sterke datagedreven schaalbaarheid bereikt door gebruik te maken van all-to-all self-attention, wat zorgt voor globale receptieve velden en flexibele representatielering. Deze flexibiliteit brengt echter een rekenkundige kost met zich mee die kwadratisch ($O(N^2)$) schaalt met de beeldresolutie, waarbij $N$ het aantal beeldpatches is. Deze kwadratische schaling wordt prohibitief in domeinen met hoge resolutie, wat de toepasbaarheid van standaard ViTs beperkt.

De heersende aanname in ViT-ontwerp is dat dichte, paarsgewijze token-interacties noodzakelijk zijn om rijke visueel-semantische representaties te leren. Dit artikel daagt die aanname uit en stelt dat effectieve visuele representaties kunnen worden geleerd zonder directe patch-naar-patch-interacties.

Methodologie: VECA (Visual Elastic Core Attention)

De auteurs stellen VECA voor, een vision transformer-architectuur die standaard dichte self-attention vervangt door een block-sparse kern-periferie-attention-mechanisme.

Kernarchitectuur

• Kern-Periferie Structuur: De architectuur introduceert een kleine, geleerde set van $C$ "kern"-tokens die fungeren als communicatie-interface. De beeldpatches vormen de "periferie".
• Interactiemechanisme:
  • Kerntokens: Vormen een volledig verbonden clique, waarbij ze aandacht besteden aan alle andere kerntokens en alle patchtokens.
  • Patchtokens: Besteden aandacht alleen aan de actieve kerntokens. Ze besteden geen directe aandacht aan andere patchtokens.
  • Informatiestroom: Alle informatie-uitwisseling tussen patches wordt uitsluitend via de kerntokens gerouteerd.
• Complexiteit: De attention-kost wordt gereduceerd van $O(N^2)$ naar $O(2NC + C^2)$. Voor een vooraf bepaalde kernaantal $C$ (waarbij $C \ll N$), schaalt de complexiteit lineair ($O(N)$) met de beeldresolutie.
• Ruimtelijke Dynamiek: Kerntokens worden geïnitieerd met leerbare 2D-coördinaten en worden bijgewerkt over lagen heen via een lichtgewicht coördinatenhoofd. Ze maken gebruik van 2D axiale Rotary Positional Encoding (RoPE), waardoor ze zowel semantische representaties als evoluerende ruimtelijke posities kunnen behouden.

Elastisch Trainen en Infereren

• Geneste Dropout: Tijdens het trainen past het model geneste dropout toe op de geordende bank van kerntokens. Het model wordt getraind met een variabel budget van actieve kernen ($C$), bemonsterd uit een verdeling.
• Impliciete Ranking: Deze procedure rangschikt kerntokens impliciet op basis van belangrijkheid. Vroege kernen zijn actief over alle budgetten en leren de meest essentiële, breed bruikbare visuele informatie te coderen. Latere kernen specialiseren zich in fijnere ruimtelijke details of specifieke semantische concepten.
• Inferentie-flexibiliteit: Tijdens de testfase kan het aantal actieve kernen worden aangepast zonder hertraining. Dit maakt een elastische afweging mogelijk tussen rekenkundige kost (snelheid) en nauwkeurigheid. Het verlagen van $C$ resulteert in grovere attention-kaarten, maar aanzienlijk lagere FLOPs.

Trainingsdoel

Het model wordt getraind met feature-distillatie van een bevroren DINOv3-leraar. De verliesfunctie aligneert zowel globale beeldrepresentaties (van het eerste kerntoken) als dichte patchrepresentaties met de doelen van de leraar, met behulp van ongelabelde Objects365-afbeeldingen.

Belangrijkste Bijdragen

1. VECA-architectuur: Een visuele backbone die kwadratische self-attention vervangt door lineaire kern-periferie-attention in elke laag, waardoor token-interacties worden geforceerd via een resolutie-invariante bottleneck.
2. Prestaties versus Kost: Evaluatie op classificatie en dichte ruimtelijke taken toont aan dat VECA prestaties bereikt die concurrerend zijn met state-of-the-art foundation-modellen (specifiek DINOv3), terwijl de rekenkundige kost aanzienlijk wordt gereduceerd.
   • Classificatie: Bij ViT-Base-grootte bereikt VECA 81,93% Top-1-nauwkeurigheid op ImageNet-1k, binnen ~1,6% van DINOv3 (83,56%), ondanks het gebruik van slechts een fractie van de attention-interacties.
   • Dense Predictie: Op de PASCAL Context-segmentatie-benchmark bereikt VECA 57,46 mIoU in vergelijking met 57,74 mIoU voor DINOv3, ondanks 87,1% minder attention-interacties per laag.
3. Emergente Gedragingen: De auteurs identificeren dat kerntokens object-gerichte representaties ontwikkelen en evolueren van isotrope (sferische) verdelingen in vroege lagen naar semantisch geklusterde structuren in diepere lagen, ondanks geen expliciete supervisie voor dergelijk gedrag.

Resultaten

• Schaalbaarheid: VECA behoudt stabiele prestaties over variërende invoerresoluties (256px tot 1024px), terwijl standaard ViTs lijden onder kwadratische FLOP-groei. VECA toont lineaire schaling in FLOPs en latentie naarmate de resolutie toeneemt.
• Elasticiteit: Het model kan nauwkeurigheid elastisch inruilen voor snelheid. Bijvoorbeeld, het verlagen van het kernbudget van $C=64$ naar $C=8$ behoudt aanzienlijke prestaties (bijvoorbeeld >96% van de prestaties van het volledige model op classificatie) terwijl de rekkracht drastisch wordt gereduceerd.
• Dense Features: Visualisaties (UMAP) bevestigen dat VECA stabiele, hoogwaardige dichte features produceert die robuust blijven bij hogere resoluties, vergelijkbaar met DINOv3.

Betekenis en Claims

Het artikel stelt dat directe patch-naar-patch self-attention niet strikt noodzakelijk is voor het leren van hoogwaardige dichte visuele representaties. Door informatie te routeren via een compacte set van geleerde kerntokens, vestigt VECA elastische kern-periferie-attention als een schaalbaar alternatief bouwsteen voor Vision Transformers.

Het werk suggereert dat de flexibiliteit van all-to-all attention kan worden vervangen door een gestructureerde, lineaire interface die ruimtelijke uitlijning en kwaliteit van dichte features behoudt. Dit biedt een veelbelovend pad voor het inzetten van Vision Transformers in domeinen met hoge resolutie waar rekenkundige efficiëntie cruciaal is, waardoor modellen hun inferentiekost dynamisch kunnen aanpassen aan beschikbare middelen of taakeisen.