💻 computer science

ReGLA: Efficient Receptive-Field Modeling with Gated Linear Attention Network

ReGLA ist eine Serie von leichtgewichtigen Hybridnetzwerken, die effiziente Faltungen mit ReLU-basierter Gated Linear Attention und Multi-Teacher-Distillation kombiniert, um eine erstklassige Genauigkeit und niedrige Latenz bei hochauflösenden Bildern zu erreichen, wobei es bestehende Modelle sowohl bei der ImageNet-Klassifizierung als auch bei nachgelagerten Detektions- und Segmentierungsaufgaben übertrifft.

Ursprüngliche Autoren: Junzhou Li, Manqi Zhao, Yilin Gao, Zhiheng Yu, Yin Li, Dongsheng Jiang, Li Xiao

Veröffentlicht 2026-02-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Junzhou Li, Manqi Zhao, Yilin Gao, Zhiheng Yu, Yin Li, Dongsheng Jiang, Li Xiao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Objekte auf einem Foto zu erkennen. Das Foto ist riesig (hochauflösend), wie ein 4K-Bild, aber der Roboter ist klein und läuft auf einem batteriebetriebenen Gerät, wie einem Smartphone oder einer intelligenten Kamera.

Das Problem ist, dass die aktuellen „smarten“ Roboter (genannt Transformer) wie brillante, aber tollpatschige Riesen sind. Sie können das ganze Bild sehen und verstehen, wie weit entfernte Teile zusammenhängen, aber sie brauchen ewig zum Nachdenken und leeren schnell den Akku. Auf der anderen Seite sind die „schnellen“ Roboter (genannt CNNs) wie Sprinter; sie sind großartig darin, lokale Details zu entdecken (wie die Textur des Katzenfells), aber schlecht darin, das große Ganze zu verstehen (wie etwa zu erkennen, dass die Katze auf einem Sofa im gegenüberliegenden Teil des Zimmers sitzt).

ReGLA ist ein neues Roboterdesign, das versucht, das Beste aus beiden Welten zu vereinen: ein Sprinter mit dem Gehirn eines Riesen, aber ohne dessen Langsamkeit. So funktioniert es, unterteilt in einfache Teile:

1. Die große Idee: „Weniger, aber besser“

Die Autoren wollten ein Modell bauen, das effizient (schnell und akkuschonend) ist, aber dennoch intelligent (präzise). Sie nennen diese neue Modellfamilie ReGLA. Denken Sie an ein Hybridauto, das für die Stadtfahrt elektrische Energie nutzt (lokale Details) und einen Turbo-Motor für die Autobahnfahrt (globaler Kontext), aber so konstruiert ist, dass der Motor niemals überhitzt.

2. Die zwei Geheimzutaten

ReGLA verwendet zwei spezielle Werkzeuge, um das Problem von Geschwindigkeit vs. Intelligenz zu lösen:

A. Der „Super-Schnüffler“ (ELRF-Modul)

Das Problem: In den frühen Phasen der Bildbetrachtung muss der Roboter feine Details (wie Kanten und Texturen) sehen, ohne gleichzeitig durch das gesamte Bild abgelenkt zu werden. Traditionelle Methoden verwenden riesige „Linsen“, um ein weites Gebiet zu sehen, aber diese Linsen sind schwer und langsam.
Die ReGLA-Lösung: Sie haben ein Werkzeug namens ELRF (Efficient Large Receptive Field) entwickelt.
Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Buch zu lesen. Anstatt eine riesige Lupe zu benutzen, die die ganze Seite bedeckt (was schwer und mühsam zu bewegen ist), benutzen Sie einen Stapel kleinerer, leichterer Lupen, die Sie nacheinander über den Text gleiten lassen. Sie sehen schließlich die ganze Seite, aber Sie tun dies viel schneller und mit weniger Aufwand. ELRF macht dies für Bilder, indem es eine weite Sicht ermöglicht, während es leicht und schnell bleibt.

B. Der „Kluge Türsteher“ (RGMA-Modul)

Das Problem: Um das ganze Bild zu verstehen, muss der Roboter weit entfernte Punkte miteinander verbinden (z. B. verbindet der Himmel mit dem Horizont). Standardmethoden machen dies, indem sie jedes einzelne Pixel mit jedem anderen Pixel vergleichen. Wenn Sie eine Million Pixel haben, sind das eine Billion Vergleiche! Es ist, als würde man versuchen, jede Person in einem Stadion einzeln jeder anderen Person vorzustellen.
Die ReGLA-Lösung: Sie haben ein Werkzeug namens RGMA (ReLU Gated Modulated Attention) entwickelt.
Die Analogie: Anstatt alle Personen allen anderen vorzustellen, stellen Sie sich einen Türsteher im Club vor.
- Der „Türsteher“ (der Gating-Mechanismus) prüft schnell, wer wichtig ist und wer ignoriert werden kann.
- Der „Lineare Attention“-Teil ist ein schnelles, geradliniges Gespräch, das nur zwischen den wichtigen Personen stattfindet.
- Durch die Verwendung eines einfachen „Ja/Nein“-Schalters (ReLU) anstelle einer komplexen Berechnung (Softmax) kann der Roboter den Raum in einer geraden Linie statt in einem verworrenen Netz verarbeiten. Dies bewahrt die Geschwindigkeit eines linearen Prozesses, fügt aber ein „Tor“ hinzu, um sicherzustellen, dass er wichtige lokale Details nicht übersieht.

3. Die „Lerngruppe“ (Multi-Teacher Distillation)

Selbst mit einem großartigen Design muss der Roboter lernen. Die Autoren haben ReGLA nicht einfach von Grund auf neu gelehrt; sie haben eine Multi-Teacher Distillation-Strategie angewandt.

Die Analogie: Stellen Sie sich vor, ReGLA ist ein Schüler. Anstatt nur einen einzelnen Lehrer zu haben, haben sie ReGLA in einem Klassenzimmer mit sieben verschiedenen Experten (Lehrern) platziert.
- Ein Lehrer ist großartig darin, Katzen zu erkennen.
- Ein anderer ist gut darin, Autos zu finden.
- Ein weiterer versteht Formen besonders gut.
- ReGLA hört allen gleichzeitig zu und kombiniert deren Weisheit.
Das Ergebnis: Dies hilft ReGLA, ein „Super-Generalist“ zu werden, der in allem besser ist, als wenn er nur von einem einzigen Lehrer gelernt hätte.

4. Die Ergebnisse: Schnell und Präzise

Die Autoren haben ReGLA mit Standard-Benchmarks getestet (wie ImageNet für Fotos, COCO für das Finden von Objekten und ADE20K für das Verständnis von Szenen).

Geschwindigkeit: Auf einem High-End-iPhone verarbeitete ReGLA Bilder in 4,98 Millisekunden. Das ist unglaublich schnell – schneller als ein menschliches Blinzeln.
Genauigkeit: Es erreichte eine Genauigkeit von 80,85 % bei Standardfotografie-Tests und schlug damit andere Modelle vergleichbarer Größe.
Downstream-Aufgaben: Wenn sie ReGLA einsetzten, um Objekte zu finden (wie bei selbstfahrenden Autos) oder Bilder zu segmentieren (wie in der medizinischen Bildgebung oder Kartierung), übertraf es ähnliche Modelle ihrer Größenklasse um eine signifikante Menge (bis zu 3,6 % besser).

Zusammenfassung

ReGLA ist ein neuer Weg, KI-Sehenmodelle zu bauen, die:

Leichtgewichtig sind: Sie passen auf Telefone und kleine Geräte.
Schnell sind: Sie nutzen „lineare“ Mathematik anstelle von „quadratischer“ Mathematik, was bedeutet, dass sie nicht langsamer werden, wenn das Bild größer wird.
Intelligent sind: Sie nutzen ein „Tor“, um sich auf das Wesentliche zu konzentrieren, und eine „gestapelte Linse“, um Details klar zu sehen.
Gut trainiert sind: Sie lernen von einem Team aus Expertentrainern, um die bestmögliche Leistung zu erzielen.

Die Autoren kommen zu dem Schluss, dass man Geschwindigkeit nicht zugunsten von Intelligenz opfern muss. Mit ReGLA kann man hochentwickelte visuelle Intelligenz besitzen, die gleichzeitig effizient und zugänglich ist.

Technisches Resümee: ReGLA – Effiziente Modellierung des rezeptiven Feldes mit einem Gated Linear Attention Network

1. Problemstellung

Der Einsatz von Vision Transformern (ViTs) auf ressourcenbeschränkten Plattformen (z. B. Mobilgeräten, eingebetteten Systemen) wird durch die quadratische Komplexität standardmäßiger Softmax-basierter Self-Attention-Mechanismen behindert. Leichtgewichtige Convolutional Neural Networks (CNNs) bieten zwar Effizienz, haben jedoch oft Schwierigkeiten, effektive Abhängigkeiten über lange Distanzen (long-range dependencies) zu erfassen, da sie über begrenzte rezeptive Felder verfügen. Umgekehrt leiden hybride CNN-Transformer-Architekturen häufig unter den Ineffizienzen konventioneller Attention oder opfern die Modellierungsgenauigkeit, wenn sie versuchen, die Attention zu linearisieren. Die zentrale Herausforderung, die diese Arbeit adressiert, besteht darin, das Gleichgewicht zwischen hoher Genauigkeit bei hochauflösenden Bildern und geringer Latenz sowie linearer Rechenkomplexität zu finden, ohne die Stabilität des Trainings oder die Ausdrucksstärke des Modells zu beeinträchtigen.

2. Methodik

Die Autoren schlagen ReGLA vor, eine leichtgewichtige hybride CNN-Transformer-Architektur, die darauf ausgelegt ist, den Kompromiss zwischen lokaler Merkmalsextraktion und globaler Modellierung zu optimieren. Die Architektur besteht aus einem Stem-Block, gefolgt von vier hierarchischen Stufen, die in Kanaltiefe und räumlicher Auflösung skalieren. Das Design basiert auf drei Kernprinzipien: linearer Rechenkomplexität, großen rezeptiven Feldern mit verstärktem lokalen Fokus und numerischer Stabilität.

Zentrale architektonische Komponenten

1. ReLU Gated Modulated Attention (RGMA)
Um die rechenintensive Softmax-Attention zu ersetzen, führt ReGLA RGMA ein, einen speichereffizienten Attention-Mechanismus, der eine lineare Komplexität $O(Nd^2)$ erreicht.

Mechanismus: Er ersetzt den Softmax-Kernel durch einen ReLU-basierten linearen Kernel und integriert eine leichtgewichtige Gating-Einheit.
Operation: Gegeben sei eine Feature-Map $x$ $x$ , wird die Ausgabe $X_o$ $X_{o}$ als $X_o = G(x) \odot C(x)$ $X_{o} = G (x) ⊙ C (x)$ berechnet, wobei:
- $G(x)$ ein konvolutionaler Gating-Mechanismus (unter Verwendung einer Konvolution und einer Sigmoid-Aktivierung) ist, der lokale Feature-Gewichte generiert.
- $C(x)$ die ReLU-lineare Attention-Komponente ist, die den globalen Kontext extrahiert.
- $\odot$ die elementweise Multiplikation bezeichnet.
Vorteil: Dieses Design entkoppelt die Token-Interaktionen, um die Komplexität zu reduzieren, während der Gating-Mechanismus selektiv auf lokale Muster fokussiert, was eine stabile Gradientenbildung während des Trainings und der Inferenz gewährleistet.

2. Efficient Large Receptive Field (ELRF)
ELRF wurde für die frühen Stadien des Netzwerks entwickelt, in denen hochauflösende Eingaben eine ausgedehnte räumliche Abdeckung erfordern, und zielt darauf ab, lokale Informationen zu erfassen und gleichzeitig ein großes rezeptives Feld ohne die Kosten großer Kernel beizubehalten.

Design: Anstatt einen einzelnen großen Kernel (z. B. $7 \times 7$ ) zu verwenden, zerlegt ELRF die Operation in kaskadierte Depthwise Convolutions ( $3 \times 3$ und $5 \times 5$ ), die mit Feed-Forward-Network (FFN)-Layern verschachtelt sind.
Vorteil: Dieser gestufte Ansatz erreicht ein äquivalentes $7 \times 7$ rezeptives Feld, optimiert jedoch die Recheneffizienz und minimiert Speicherzugriffsengpässe durch die Nutzung von Depthwise Convolutions.

3. Multi-Teacher Knowledge Distillation
Um die Generalisierung über nachgelagerte Aufgaben (downstream tasks) hinweg zu verbessern, setzen die Autoren eine Multi-Teacher-Distillationsstrategie ein, die sieben diverse vortrainierte Modelle (darunter SAM2, DeiT-III, DINOv2, iBOT, ViTamin und AIMv2) nutzt.

Adaptionen: Im Gegensatz zu Standard-Distillationsframeworks (z. B. UNIC), die auf Klassifizierung fokussiert sind, ist diese Strategie für heterogene Downstream-Aufgaben optimiert. Sie führt ein adaptives Average Pooling ein, um aus Patch-Token ein globales CLS-Token zu konstruieren, um eine bessere räumliche Kohärenz bei Aufgaben der dichten Vorhersage (dense prediction) zu erreichen.
Training: Die Strategie umfasst eine 30-Epochen-Distillationsphase auf ImageNet-21K, gefolgt von einem Fine-Tuning auf ImageNet-1K, wobei synchronisierte Batch-Normalisierung und Cosine-Similarity-Loss verwendet werden, um einen stabilen Wissenstransfer zu gewährleisten.

3. Zentrale Beiträge

ReGLA-Architektur: Die Einführung einer hocheffizienten CNN-Transformer-Architektur, die speziell für die mobile und Edge-Bereitstellung maßgeschneidert ist und das ELRF-Modul für lokale Repräsentationen sowie RGMA (eine Softmax-freie, gated lineare Attention) für die globale Modellierung enthält.
Distillationsstrategie: Ein neuartiges Multi-Teacher-Distillationsframework, das Herausforderungen in der Modellauswahl, Konfliktlösung und der architektonischen Heterogenität zwischen plain ViT-Lehrern und pyramidalen Schüler-Netzwerken adressiert.
Empirische Validierung: Umfassende Evaluierung über ImageNet-1K Klassifizierung, COCO Objekterkennung und ADE20K semantische Segmentierung, die eine State-of-the-Art-Performance bei reduzierter Latenz und geringeren Parameterzahlen demonstriert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ReGLA-Varianten (T, S, M, L, X) gegen aktuelle leichtgewichtige Modelle (z. B. MobileNetV4, iFormer, EfficientFormer) auf mehreren Benchmarks.

ImageNet-1K Klassifizierung:
- ReGLA-M erreicht 80,85 % Top-1 Genauigkeit bei 224px Auflösung mit nur 4,98 ms Latenz auf einem iPhone 16 Pro (512px Input).
- In der Kategorie mit 10 Mio. Parametern übertrifft ReGLA-M iFormer-M um 0,45 % (ohne Distillation) und um 0,8 % (mit Distillation).
- ReGLA-L (19,9 Mio. Parameter) erreicht 82,9 % Genauigkeit und übertrifft damit EfficientViT-B2 (24,3 Mio. Parameter) um 0,7 %, während es 4,4 Mio. Parameter weniger verwendet.
- Mit Multi-Teacher-Distillation erreicht ReGLA-X 85,2 % Top-1 Genauigkeit und übertrifft damit FastViT-MA36 um 0,5 % bei 3 Mio. weniger Parametern.
Nachgelagerte Aufgaben (COCO & ADE20K):
- Objekterkennung (COCO): ReGLA-M (distilliert) erreicht 43,9 % APbox und übertrifft damit iFormer-M-distilled um 3,1 % AP. Bemerkenswerterweise übertrifft ReGLA-M-distilled das größere iFormer-L-distilled um 1,7 % APbox.
- Semantische Segmentierung (ADE20K): ReGLA-M-distilled erzielt einen Gewinn von 3,6 mIoU gegenüber iFormer-M-distilled. ReGLA-L-distilled zeigt eine Verbesserung von 3,9 mIoU gegenüber iFormer-L-distilled.
- Latenz: ReGLA-Modelle demonstrieren konsistent signifikant geringere Latenzen auf mobilen CPUs im Vergleich zu ähnlich skalierten iFormer-Modellen (z. B. ReGLA-M mit 4,98 ms gegenüber iFormer-M mit 19,24 ms auf dem iPhone 16 Pro).

5. Bedeutung und Behauptungen

Das Paper positioniert ReGLA als eine praktische und skalierbare Lösung für „nachhaltige Computer Vision“, die die ökologischen und ökonomischen Kosten groß angelegter KI adressiert. Die Autoren behaupten, dass ReGLA einen Wandel hin zu „weniger, aber besser“ verkörpert und beweist, dass hochentwickelte visuelle Intelligenz keinen Kompromiss bei Effizienz oder Zugänglichkeit erfordert.

Speziell behauptet die Arbeit:

Globale Attention kann effizient sein: RGMA übertrifft Softmax-basierte Methoden sowohl in Geschwindigkeit als auch in Genauigkeit unter Ressourcenbeschränkungen.
Co-Design ist entscheidend: Die Integration lokaler Operatoren (ELRF) und Attention-Mechanismen (RGMA) ist essenziell für die Effizienz bei hoher Auflösung.
Effektivität der Distillation: Die vorgeschlagene Multi-Teacher-Strategie verbessert die Generalisierung erfolgreich, wodurch kleinere Modelle größere, nicht-distillierte Gegenstücke in Aufgaben der dichten Vorhersage übertreffen können.

Die Autoren kommen zu dem Schluss, dass ReGLA einen neuen Stand der Technik für hochauflösende visuelle Anwendungen etabliert, insbesondere dort, wo Latenz und Parametereffizienz von entscheidender Bedeutung sind.