🤖 machine learning

REViT: Roto-reflection Equivariant Convolutional Vision Transformer

Dieses Paper führt REViT ein, einen neuartigen diskreten Roto-Reflektions-äquivarianten Vision Transformer, der konvolutive Aufmerksamkeit integriert, um Rotations-, Flip- und Positionssymmetrien effektiv zu bewahren, wobei er im Vergleich zu bestehenden äquivarianten neuronalen Netzwerkansätzen eine überlegene Leistung bei der Bildklassifizierung demonstriert.

Ursprüngliche Autoren: Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betrachten ein Foto einer Katze. Wenn Sie das Foto um 90 Grad drehen, auf den Kopf stellen oder zur Seite drehen, wissen Sie immer noch, dass es dieselbe Katze ist. Die meisten Standard-Computer-Vision-Modelle (die „Gehirne“ hinter der Bilderkennung) sind jedoch wie Menschen, die eine Katze nur von der Seite gesehen haben; sie werden verwirrt, wenn sich die Ausrichtung des Bildes ändert. Sie könnten denken, dass eine seitlich liegende Katze ein völlig anderes Tier ist.

Um dies zu beheben, bauen Wissenschaftler „äquivariante“ Modelle. Betrachten Sie diese als Modelle, die ein eingebautes Verständnis von Symmetrie besitzen. Wenn Sie den Input rotieren, rotiert der interne „Denkprozess“ des Modells mit, was sicherstellt, dass das Endergebnis konsistent bleibt.

Dieses Paper stellt ein neues Modell namens REViT (Roto-reflection Equivariant Convolutional Vision Transformer) vor. Hier ist die Funktionsweise, unterteilt in einfache Konzepte:

1. Das Problem mit der alten Methode

Zuvor nutzten Forscher zwei Hauptwerkzeuge, um ein Modell rotationsbewusst zu machen:

Convolutional Neural Networks (CNNs): Diese sind wie ein Gitter aus winzigen Taschenlampen, die ein Bild scannen. Sie sind gut darin, Muster zu erkennen, können aber starr sein.
Vision Transformers (ViTs): Diese sind wie ein Team von Detektiven, die das gesamte Bild gleichzeitig betrachten und die Verbindungen zwischen verschiedenen Teilen herstellen. Sie sind sehr leistungsstark, haben aber normalerweise Schwierigkeiten mit Rotationen, sofern man ihnen nicht viele komplexe „Positions-Tags“ (wie GPS-Koordinaten für jeden Pixel) hinzufügt, um ihnen zu sagen, wo sich Dinge befinden.

Die alte Methode, einen Transformer rotationsbewusst zu machen, war so, als würde man versuchen, einem Detektiv das Rotieren beizubringen, indem man ihm für jede einzelne Drehung eine massive, komplizierte Karte gibt. Es funktionierte, war aber langsam und rechenintensiv.

2. Die REViT-Lösung: Eine neue Art des „Liften“

Die Autoren dieses Papers haben einen einfacheren, eleganteren Weg gefunden, um einen rotationsbewussten Transformer zu bauen. Sie haben die Notwendigkeit dieser komplizierten „Positions-Tags“ vollständig entfernt.

Stattdessen verwenden sie einen „Lifting Layer“ (Hebeschicht).

Die Analogie: Stellen Sie sich eine flache, 2D-Karte einer Stadt vor. Stellen Sie sich nun vor, Sie „heben“ diese Karte in einen 3D-Turm empor. Das unterste Stockwerk ist die Karte, wie sie ist. Die darüber liegenden Stockwerke sind dieselbe Karte, aber um 45 Grad, 90 Grad, 135 Grad usw. gedreht.
Wie es funktioniert: Das REViT-Modell nimmt ein Bild und erstellt augenblicklich diesen 3D-„Turm“ aus rotierten Versionen dieses Bildes. Es betrachtet nicht nur das Bild; es betrachtet das Bild und all seine möglichen Rotationen gleichzeitig.

3. Die „Group Convolutional Self-Attention“

Sobald das Bild in diesen 3D-Turm „gehoben“ wurde, verwendet das Modell einen speziellen Typ von Attention-Mechanismus namens Group Convolutional Self-Attention (G-CSA).

Die Analogie: In einem normalen Transformer schauen die „Detektive“ auf verschiedene Teile des Bildes, um zu sehen, wie sie zusammenhängen. In REViT schauen die Detektive auf den 3D-Turm. Sie können sehen, wie ein „Katzenohr“ im Originalbild mit einem „Katzenohr“ im um 90 Grad gedrehten Bild zusammenhängt, und zwar alles gleichzeitig.
Da sie alle Rotationen gemeinsam betrachten, lernt das Modell auf natürliche Weise, dass „dies eine Katze ist, egal wie sie gedreht ist“. Es muss nicht gesagt bekommen, was „oben“ oder „unten“ ist, da die 3D-Struktur dies für sie übernimmt.

4. Was sie herausgefunden haben (Die Ergebnisse)

Die Forscher haben ihr neues Modell in drei verschiedenen „Spielen“ (Datensätzen) getestet:

Rotated MNIST: Erkennen von handgeschriebenen Zahlen, die gedreht wurden.
PatchCamelyon: Identifizierung von Tumorzellen in medizinischen Gewebeproben (die in jeder beliebigen Orientierung auftreten können).
CIFAR-10 & ImageNet: Erkennen von alltäglichen Objekten wie Autos, Hunden und Flugzeugen.

Die Ergebnisse:

Bessere Genauigkeit: REViT schlug die bisher besten Methoden für rotationsbewusste Modelle. Es beantwortete mehr Fragen korrekt in den Tests.
Einfacher und schneller: Obwohl es genauer war, benötigte es weniger Computer-„Schritte“ (Parameter) und weniger Speicher als die älteren, komplizierteren Methoden.
Skalierbarkeit: Sie zeigten, dass dieses Modell riesige, komplexe Datensätze (wie ImageNet) bewältigen kann, was beweist, dass es nicht nur ein Spielzeug für kleine Experimente ist, sondern ein robustes Werkzeug für den realen Einsatz.

5. Der Haken (Einschränkungen)

Das Paper ist ehrlich bezüglich eines Nachteiles: Da das Modell das Bild in mehreren rotierten Zuständen gleichzeitig verarbeiten muss (dieser 3D-Turm), benötigt es mehr Rechenleistung und Speicher als ein Standardmodell, dem die Rotation egal ist. Es ist wie ein Team von Detektiven, die zusammenarbeiten, statt nur einer einzelner; sie erledigen den Job besser, aber man braucht mehr Büroräume und Kaffee für das gesamte Team.

Zusammenfassung

Kurz gesagt ist REViT ein neuer Typ von KI, der Bilder aus jedem Winkel versteht, ohne komplexe Anweisungen darüber zu benötigen, wo sich Dinge befinden. Durch das „Heben“ des Bildes in einen 3D-Raum der Rotationen und die Verwendung eines speziellen Attention-Mechanismus erkennt es Objekte genauer und effizienter als bisherige Methoden, was es zu einem starken Kandidaten für Aufgaben macht, bei denen die Orientierung entscheidend ist, wie etwa in der medizinischen Bildgebung oder der Robotik.

Technische Zusammenfassung: REViT – Roto-reflexive Äquivariante Faltungs-Vision-Transformer

Problemstellung
Obwohl äquivariante neuronale Netze sich bei Aufgaben mit Rotations- und Reflexionssymmetrie (z. B. molekulare Analyse, medizinische Pathologie und Robotik) als effektiv erwiesen haben, bleibt ihre Anwendung in Vision Transformern (ViTs) eine Herausforderung. Traditionelle ViTs verlassen sich stark auf absolute oder relative Positionskodierungen, um die räumliche Struktur beizubehalten, was die Implementierung von Gruppenäquivarianz erschwert. Speziell brechen standardmäßige Positionskodierungen die Äquivarianz unter Transformationen wie Rotation oder Reflexion, da sie eindeutige Vektoren festen Koordinaten zuordnen. Frühere Versuche, Gruppenäquivarianz in ViTs zu erreichen, wie etwa Group Self-Attention (G-SA) mit relativer Positionskodierung (RPE), erfordern komplexe Modifikationen der Attention-Mechanismen und führen einen erheblichen Rechenaufwand ein. Darüber hinaus hat sich die bisherige Forschung zur Roto-Reflexionsäquivarianz primär auf Convolutional Neural Networks (G-CNNs) konzentriert, wodurch eine Lücke bei der Nutzung der globalen Kontextmodellierungsfähigkeiten von Transformern für diese Aufgaben entstanden ist.

Methodik
Die Autoren schlagen REViT (Roto-reflection Equivariant Convolutional Vision Transformer) vor, eine diskrete roto-reflexive gruppenequivariante Architektur, die die Notwendigkeit expliziter Positionskodierungen eliminiert. Die Kernmethodik umfasst zwei primäre Innovationen:

Convolutional Patch Embedding und Lifting:
Anstelle eines linearen Patch-Embeddings verwendet REViT eine Lifting-Schicht, die das 2D-Eingangsbild $f: \mathbb{Z}^2 \to \mathbb{R}^C$ in eine Feature-Map transformiert, die über einem diskreten Gruppenraum definiert ist: $F: \mathbb{Z}^2 \times C_N \to \mathbb{R}^{C'}$ . Dies wird durch Rotationsfaltungen erreicht, bei denen das Eingabebild mit einer Menge rotierter Filter konvolviert wird, die den Elementen der diskreten Rotationsgruppe (z. B. $p4$ , $p8$ ) entsprechen. Dies hebt die Daten vom euklidischen Raum in einen Positions-Orientierungs-Raum ( $\mathbb{R}^2 \times S^1$ ) und kodiert inhärent räumliche sowie orientierungsbezogene Informationen ohne lernbare Positionsparameter.
Group Convolutional Self-Attention (G-CSA):
Der Standard-Self-Attention-Mechanismus wird durch Group Convolutional Self-Attention (G-CSA) ersetzt. In diesem Modul werden die Query-, Key- und Value-Projektionen mittels gruppenequivarianter Faltungen berechnet, anstatt durch lineare Projektionen. Der Attention-Mechanismus operiert sowohl über die räumlichen Dimensionen als auch über die Gruppendimension (Orientierung). Die Attention-Gewichte werden basierend auf dem Skalarprodukt von Queries und Keys über den gehobenen (lifted) Feature-Raum berechnet, wodurch sichergestellt wird, dass die Operation gegenüber Gruppenaktionen (Rotationen und Reflexionen) äquivariant bleibt. Durch die Nutzung von Faltungsprojektionen und den inhärenten relativen räumlichen Beziehungen der Faltung erreicht REViT eine Shift- und Rotationsäquivarianz, ohne die pro-Layer-Komplexität der Berechnung relativer Positionskodierungen für jeden Attention-Head zu verursachen.

Wesentliche Beiträge

Diskrete Gruppen-Convolutional Self-Attention (G-CSA): Das Paper führt G-CSA als Mechanismus ein, um Roto-Reflexions-Äquivarianz ( $E(2,N)$ ) in Transformern ohne Abhängigkeit von Positionskodierungen zu erreichen.
Implementierung von REViT: Die Autoren implementieren REViT-Blöcke unter Verwendung von G-CSA und evaluieren sie über mehrere diskrete Roto-Translations- ($pN$) und Roto-Reflexions- ($pNm$) Gruppenkonfigurationen hinweg.
Skalierbarkeit: Die Arbeit zeigt, dass REViT auf groß angelegten Datensätzen, spezifisch ImageNet-1k, skaliert werden kann und somit als potenzielles Backbone für nachgelagerte äquivariante Aufgaben dient.

Experimentelle Ergebnisse
Die Autoren evaluierten REViT auf drei Datensätzen: Rotated MNIST, PatchCamelyon und CIFAR-10, und skalierten das Modell auf ImageNet-1k.

Leistung vs. G-SA mit RPE: Bei Rotated MNIST und PatchCamelyon erreichten REViT-Modelle (speziell $p4$ -CSA und $p8$ -CSA) Leistungen, die den mit relativer Positionskodierung angereicherten Group Self-Attention Modellen (G-SA+RPE) ebenbürtig waren oder diese übertrafen. Entscheidend ist, dass REViT dies mit signifikant weniger Parametern und geringerer Rechenkomplexität (weniger Multiplikations-Addition-Operationen und reduzierter Speicherbedarf) erreichte.
Leistung vs. G-CNNs: REViT übertraf konsistent die entsprechenden Group Equivariant CNN (G-CNN) Baselines über alle Datensätze und Symmetriegruppen hinweg. Bemerkenswerterweise erzielte REViT auf PatchCamelyon eine höhere Genauigkeit als höherwertige symmetrische G-CNN-Varianten bei gleichzeitig geringerem Parameteraufwand.
ImageNet-Skalierung: Auf ImageNet-1k erreichte ein $p4m$ -äquivariantes REViT eine Top-1-Genauigkeit von 79,27 % und übertraf damit sowohl ein Vanilla-ViT, das mit Augmentierung trainiert wurde (72,08 %), als auch eine äquivariante ResNet-Baseline (77,37 %).
Äquivarianz-Fehler: Die Modelle wiesen nach den Lifting- und G-CSA-Schichten einen nahezu Null-Äquivarianz-Fehler auf, wobei geringfügige Fehler in höherwertigen Gruppen (z. B. $p8$ ) auf Interpolationsartefakte während der Rotation zurückzuführen sind.

Bedeutung und Ansprüche
Das Paper behauptet, dass REViT einen einfacheren und effizienteren Weg bietet, um diskrete Roto-Reflexionsäquivarianz in Vision Transformern im Vergleich zu bestehenden Methoden zu erreichen. Durch die Entfernung der Abhängigkeit von expliziten Positionskodierungen und die Nutzung von Convolutional Self-Attention zeigen die Autoren, dass es möglich ist, die globalen Kontextmodellierungsstärken von Transformern beizubehalten und gleichzeitig strikte Symmetriebedingungen einzuhalten. Die Ergebnisse legen nahe, dass G-CSA die gruppenequivariante Klassifizierungsleistung verbessert, ohne eine signifikante Erhöhung der Modellgröße oder Komplexität zu erfordern. Die Autoren positionieren REViT als ein lebensfähiges, skalierbares Backbone für Aufgaben, bei denen die Orientierung entscheidend ist, wie z. B. in der medizinischen Bildgebung und der orientierten Objekterkennung, räumlich jedoch geben sie zu bedenken, dass die Rechenkosten weiterhin mit der Kardinalität der Symmetriegruppe skalieren, was eine Herausforderung für latenzsensitive Anwendungen darstellt.