🤖 machine learning

REViT: Roto-reflection Equivariant Convolutional Vision Transformer

Dit artikel introduceert REViT, een nieuwe discrete roto-reflectie equivariante vision transformer die convolutionele aandacht incorporeert om rotatie-, flip- en positionele symmetrieën effectief te behouden, waarmee een superieurere prestatie in beeldclassificatie wordt aangetoond vergeleken met bestaande equivariante neurale netwerkbenaderingen.

Oorspronkelijke auteurs: Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een foto van een kat kijkt. Als je de foto 90 graden draait, ondersteboven keert of op zijn kant legt, weet je nog steeds dat het dezelfde kat is. Echter, de meeste standaard computervisie-modellen (de "hersenen" achter beeldherkenning) zijn als mensen die nog nooit een kat van de zijkant hebben gezien; ze raken in de war wanneer de oriëntatie van de foto verandert. Ze kunnen denken dat een zijwaartse kat een compleet ander dier is.

Om dit op te lossen, bouwen wetenschappers "equivariante" modellen. Denk aan deze modellen als wezens met een ingebouwd begrip van symmetrie. Als de input roteert, roteert het interne "denkproces" van het model mee, zodat het uiteindelijke antwoord consistent blijft.

Dit artikel introduceert een nieuw model genaamd REViT (Roto-reflection Equivariant Convolutional Vision Transformer). Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het probleem met de oude manier

Voorheen gebruikten onderzoekers twee belangrijke hulpmiddelen om een model rotatiebewust te maken:

Convolutionele Neurale Netwerken (CNN's): Dit zijn als een raster van kleine zaklampen die een afbeelding scannen. Ze zijn goed in het zien van patronen, maar kunnen rigide zijn.
Vision Transformers (ViT's): Dit zijn als een team van detectives die naar de hele foto tegelijk kijken en verbanden leggen tussen verschillende delen. Ze zijn zeer krachtig, maar hebben meestal moeite met rotatie, tenzij je veel complexe "positie-tags" toevoegt (zoals GPS-coördinaten voor elke pixel) om hen te vertellen waar dingen zijn.

De oude methode om Transformers rotatiebewust te maken, was als het proberen te leren aan een detective hoe hij moet draaien door hem voor elke draai een enorme, ingewikkelde kaart te geven. Het werkte, maar het was traag en rekentechnisch duur.

2. De REViT-oplossing: Een nieuw soort "Lift"

De auteurs van dit artikel kwamen met een eenvoudigere, elegantere manier om een rotatiebewuste Transformer te bouwen. Ze hebben de noodzaak voor die ingewikkelde "positie-tags" volledig weggenomen.

Ze gebruiken een "Lifting Layer" (Liftinglaag).

De analogie: Stel je een platte, 2D-kaart van een stad voor. Stel je nu voor dat je die kaart naar een 3D-toren "lift". De onderste verdieping is de kaart zoals die is. De verdiepingen erboven zijn dezelfde kaart, maar dan gedraaid 45 graden, 90 graden, 135 graden, enzovoort.
Hoe het werkt: Het REViT-model neemt een afbeelding en creëert direct deze 3D-"toren" van geroteerde versies van die afbeelding. Het kijkt niet alleen naar de afbeelding; het kijkt naar de afbeelding en al zijn mogelijke rotaties tegelijkertijd.

3. De "Group Convolutional Self-Attention"

Zodra de afbeelding in deze 3D-toren is "gelift", gebruikt het model een speciaal type aandachtmechanisme genaamd Group Convolutional Self-Attention (G-CSA).

De analogie: In een normale Transformer kijken de "detectives" naar verschillende delen van de afbeelding om te zien hoe ze zich tot elkaar verhouden. In REViT kijken de detectives naar de 3D-toren. Ze kunnen in één keer zien hoe een "kattenoor" in de originele afbeelding zich verhoudt tot een "kattenoor" in de 90 graden gedraaide afbeelding.
Omdat ze naar alle rotaties tegelijk kijken, leert het model van nature dat "dit een kat is, ongeacht hoe hij gedraaid is." Het hoeft niet te worden verteld "dit is de bovenkant" of "dit is de onderkant", omdat de 3D-structuur dit voor hen afhandelt.

4. Wat ze hebben gevonden (De resultaten)

De onderzoekers hebben dit nieuwe model getest op drie verschillende "spelletjes" (datasets):

Rotated MNIST: Het herkennen van handgeschreven cijfers die rondgedraaid zijn.
PatchCamelyon: Het identificeren van tumorcellen in medische weefselmonsters (die in elke oriëntatie kunnen voorkomen).
CIFAR-10 & ImageNet: Het herkennen van alledaagse objecten zoals auto's, honden en vliegtuigen.

De resultaten:

Betere nauwkeurigheid: REViT versloeg de vorige beste methoden voor rotatiebewuste modellen. Het behaalde hogere scores op de tests.
Eenvoudiger en sneller: Ondanks dat het nauwkeuriger was, gebruikte het minder computer "stappen" (parameters) en minder geheugen dan de oudere, meer ingewikkelde methoden.
Schaalbaarheid: Ze lieten zien dat dit model enorme, complexe datasets (zoals ImageNet) kan aan, wat bewijst dat het niet slechts een speeltje is voor kleine experimenten, maar een robuust hulpmiddel voor echt gebruik.

5. Het nadeel (Beperkingen)

Het artikel is eerlijk over één nadeel: Omdat het model de afbeelding in meerdere geroteerde staten tegelijk moet verwerken (die 3D-toren), vereist het meer rekenkracht en geheugen dan een standaardmodel dat geen rekening houdt met rotatie. Het is alsof je een team van detectives hebt dat samenwerkt in plaats van één enkele detective; ze krijgen de klus beter geklaard, maar je hebt meer kantoorruimte en koffie nodig voor het hele team.

Samenvatting

Kortom, REViT is een nieuw type AI dat afbeeldingen vanuit elke hoek begrijpt zonder complexe instructies nodig te hebben over waar dingen zich bevinden. Door de afbeelding in een 3D-ruimte van rotaties te "liften" en een speciaal aandachtmechanisme te gebruiken, herkent het objecten nauwkeuriger en efficiënter dan eerdere methoden, waardoor het een sterke kandidaat is voor taken waarbij oriëntatie belangrijk is, zoals medische beeldvorming of robotica.

Technische Samenvatting: REViT – Roto-reflectieve Equivariante Convolutionele Vision Transformer

Probleemstelling
Hoewel equivariante neurale netwerken effectief zijn gebleken voor taken die vereisen dat er rekening wordt gehouden met rotatie- en reflectiesymmetrie (bijv. moleculaire analyse, medische pathologie en robotica), blijft hun toepassing in Vision Transformers (ViTs) uitdagend. Traditionele ViTs vertrouwen zwaar op absolute of relatieve positionele encodings om de ruimtelijke structuur te behouden, wat de implementatie van groepsequivariantie bemoeilijkt. Specifiek doorbreken standaard positionele encodings de equivariante eigenschap onder transformaties zoals rotatie of reflectie, omdat ze unieke vectoren toewijzen aan vaste coördinaten. Eerdere pogingen om groepsequivariantie in ViTs te bereiken, zoals Group Self-Attention (G-SA) met Relative Position Encoding (RPE), vereisen complexe aanpassingen aan de attention-mechanismen en introduceren aanzienlijke computationele overhead. Bovendien heeft bestaand onderzoek naar roto-reflectieve equivariance zich voornamelijk gericht op Convolutional Neural Networks (G-CNNs), waardoor er een gat is ontstaan in het benutten van de globale contextmodelleringsmogelijkheden van transformers voor deze taken.

Methodologie
De auteurs stellen REViT (Roto-reflection Equivariant Convolutional Vision Transformer) voor, een discrete roto-reflectieve groepsequivariante architectuur die de noodzaak voor expliciete positionele encodings elimineert. De kernmethodologie omvat twee primaire innovaties:

Convolutionele Patch Embedding en Lifting:
In plaats van lineaire patch embedding gebruikt REViT een lifting layer die de 2D-inputafbeelding $f: \mathbb{Z}^2 \to \mathbb{R}^C$ transformeert naar een feature map gedefinieerd over een discrete groepsruimte $F: \mathbb{Z}^2 \times C_N \to \mathbb{R}^{C'}$ . Dit wordt bereikt via rotationele convoluties waarbij de input wordt geconvolveerd met een reeks geroteerde filters die overeenkomen met de elementen van de discrete rotatiegroep $C_N$ (bijv. $p4$ , $p8$ ). Dit tilt de data van de Euclidische ruimte naar een positie-oriëntatieruimte ( $\mathbb{R}^2 \times S^1$ ), wat ruimtelijke en oriëntatie-informatie inherent codeert zonder leerbare positionele parameters.
Group Convolutional Self-Attention (G-CSA):
Het standaard self-attention mechanisme wordt vervangen door Group Convolutional Self-Attention (G-CSA). In deze module worden de Query, Key en Value projecties berekend met behulp van groepsequivariante convoluties in plaats van lineaire projecties. Het attention-mechanisme opereert over zowel de ruimtelijke dimensies als de groepdimensie (oriëntatie). De attention-gewichten worden berekend op basis van de dot product van queries en keys over de gelifte feature space, waardoor wordt gewaarborgd dat de operatie equivariant blijft onder de groepshandelingen (rotaties en reflecties). Door gebruik te maken van convolutionele projecties en de inherente relatieve ruimtelijke relaties van de convolutie, bereikt REViT shift- en rotatie-equivariante eigenschappen zonder de per-laag complexiteit van het berekenen van relatieve positionele encodings voor elke attention head.

Belangrijkste Bijdragen

Discrete Group Convolutional Self-Attention (G-CSA): Het artikel introduceert G-CSA als een mechanisme om roto-reflectieve ( $E(2,N)$ ) equivariance in transformers te bereiken zonder afhankelijk te zijn van positionele encoding.
Implementatie van REViT: De auteurs implementeren REViT-blokken die gebruikmaken van G-CSA en evalueren deze over meerdere discrete roto-translatie ($pN$) en roto-reflectie ($pNm$) groepconfiguraties.
Schaalbaarheid: Het werk toont aan dat REViT kan worden geschaald naar grootschalige datasets, specifiek ImageNet-1k, als een potentiële backbone voor downstream equivariante taken.

Experimentele Resultaten
De auteurs hebben REViT geëvalueerd op drie datasets: Rotated MNIST, PatchCamelyon en CIFAR-10, en hebben het model geschaald naar ImageNet-1k.

Prestaties vs. G-SA met RPE: Op Rotated MNIST en PatchCamelyon presteerden REViT-modellen (specifiek $p4$ -CSA en $p8$ -CSA) gelijk aan of beter dan Group Self-Attention modellen verrijkt met Relative Position Encoding (G-SA+RPE). Cruciaal is dat REViT dit bereikte met aanzienlijk minder parameters en lagere computationele complexiteit (minder vermenigvuldiging-optelling operaties en een gereduceerde geheugenvoetafdruk).
Prestaties vs. G-CNNs: REViT presteerde consequent beter dan de overeenkomstige Group Equivariant CNN (G-CNN) baselines over alle datasets en symmetriegroepen. Met name op PatchCamelyon behaalde REViT een hogere nauwkeurigheid dan hogere-orde symmetrie G-CNN varianten, terwijl het minder parameters gebruikte.
ImageNet Schaling: Op ImageNet-1k bereikte een $p4m$ -equivariante REViT een Top-1 nauwkeurigheid van 79,27%, waarmee het zowel een vanilla ViT getraind met augmentatie (72,08%) als een equivariant ResNet baseline (77,37%) versloeg.
Equivariance Error: De modellen vertoonden een bijna nul-equivariante fout na de lifting en G-CSA lagen, met minimale fouten in hogere-orde groepen (bijv. $p8$ ) toegeschreven aan interpolatie-artefacten tijdens rotatie.

Betekenis en Claims
Het artikel claimt dat REViT een eenvoudiger en efficiënter pad biedt om discrete roto-reflectieve equivariance in vision transformers te bereiken vergeleken met bestaande methoden. Door het vertrouwen op expliciete positionele encodings weg te nemen en gebruik te maken van convolutionele self-attention, laten de auteurs zien dat het mogelijk is om de sterke globale contextmodelleringskracht van transformers te behouden terwijl aan strikte symmetiebeperkingen wordt voldaan. De resultaten suggereren dat G-CSA de groepsequivariante classificatieprestaties verbetert zonder dat hiervoor een significante toename in modelgrootte of complexiteit nodig is. De auteurs positioneren REViT als een levensvatbare, schaalbare backbone voor taken waarbij oriëntatie cruciaal is, zoals medische beeldvorming en georiënteerde objectdetectie, waarbij zij erkennen dat de computationele kosten nog steeds schalen met de cardinaliteit van de symmetriegroep, wat een uitdaging vormt voor latency-gevoelige toepassingen.