💻 computer science

Unifying Convolution and Attention via Convolutional Nearest Neighbors

Dieses Paper führt Convolutional Nearest Neighbors (ConvNN) ein, ein einheitliches Framework, das zeigt, dass Faltung und Self-Attention Spezialfälle eines einzigen $k$ -Nearest-Neighbor-Aggregationsprozesses sind, wodurch diese beiden dominierenden Computer-Vision-Architekturen überbrückt und Leistungssteigerungen auf dem Stand der Technik bei ImageNet-1K erzielt werden.

Ursprüngliche Autoren: Mingi Kang, Jeová Farias Sales Rocha Neto

Veröffentlicht 2026-07-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mingi Kang, Jeová Farias Sales Rocha Neto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Gemälde zu verstehen. Um dies zu tun, haben Sie zwei grundlegende Arten, es zu betrachten:

Der „Lokale Nachbarschafts“-Ansatz (Konvolution): Sie stehen sehr nah an einer bestimmten Stelle der Leinwand und betrachten nur das winzige Quadrat aus Farbe unmittelbar um Ihren Finger herum. Alles andere ignorieren Sie. So arbeiten traditionelle Convolutional Neural Networks (CNNs). Sie sind großartig darin, Texturen und Kanten zu erkennen, weil sie sich auf die unmittelbaren räumlichen Nachbarn konzentrieren.
Der „Globale Ähnlichkeitsblitz“-Ansatz (Attention): Sie treten einen Schritt zurück und betrachten das gesamte Gemälde. Sie fragen sich: „Welche anderen Teile dieses Gemäldes sehen so ähnlich aus wie der Fleck, auf den ich gerade schaue, selbst wenn sie sich auf der gegenüberliegenden Seite befinden?“ Dann vermischen Sie diese ähnlichen Teile miteinander. So arbeiten Vision Transformers (ViT). Sie sind großartig darin, das große Ganze zu verstehen, weil sie weit entfernte, ähnliche Merkmale miteinander verbinden können.

Lange Zeit dachten Computerwissenschaftler, dass diese beiden Methoden völlig unterschiedliche Werkzeuge seien, die sich nicht einfach mischen ließen.

Die große Idee: Das „ConvNN“-Werkzeug

Dieses Paper stellt ein neues, universelles Werkzeug namens Convolutional Nearest Neighbors (ConvNN) vor. Die Autoren argumentieren, dass die beiden oben genannten Methoden eigentlich nicht unterschiedlich sind, sondern lediglich zwei Enden desselben Spektrums darstellen.

Betrachten Sie ConvNN als eine intelligente Suchmaschine für Pixel.

Wie es funktioniert: Wenn der Computer einen bestimmten Pixel (die „Abfrage“ oder „Query“) betrachtet, sucht er nach seinen „Nachbarn“, um Informationen zu sammeln.
Der Clou: Der Computer kann entscheiden, wie er diese Nachbarn findet, basierend auf einer Regel, die Sie festlegen:
- Regel A (Räumliche Nähe): „Finde die Nachbarn, die mir physisch am nächsten liegen.“ (Dies verwandelt das Werkzeug in eine Standard-Konvolution).
- Regel B (Merkmalsähnlichkeit): „Finde die Nachbarn, die mir am ähnlichsten sehen, egal wie weit sie entfernt sind.“ (Dies verwandelt das Werkzeug in eine Self-Attention).

Das Paper beweist mathematisch, dass man durch das Anpassen der Einstellungen dieses einen Werkzeugs es genau wie eine Standard-Konvolution oder einen Standard-Attention-Mechanismus agieren lassen kann. Es vereint sie in einem einzigen Framework.

Wie sie es getestet haben

Die Forscher haben nicht nur Mathematik betrieben; sie haben funktionierende Modelle gebaut, um zu sehen, ob diese Idee dem Computer tatsächlich hilft, besser zu sehen. Sie testeten es auf ImageNet, einer massiven Datenbank von 1,28 Millionen Bildern, die zum Trainieren von KI verwendet wird.

1. Test auf „lokalen“ Modellen (ResNet-50):
Sie nahmen ein Standardmodell zur Bilderkennung (ResNet-50) und fügten einen „hybriden Zweig“ hinzu. Stellen Sie sich einen Arbeiter vor, der normalerweise nur die unmittelbare Nachbarschaft betrachtet (Konvolution), aber nun einen Gehilfen hat, der auch überall in der Stadt nach ähnlich aussehenden Objekten suchen kann (ConvNN).

Ergebnis: Dieses hybride Team war signifikant besser als der Arbeiter allein. Sie verbesserten die Genauigkeit um 3,0 %.
Lehre: Man muss sich nicht zwischen lokalem und globalem Blick entscheiden; beides zusammen zu tun, ist die Gewinnstrategie.

2. Test auf „globalen“ Modellen (Vision Transformer):
Sie nahmen ein Transformer-Modell (ViT-Base) und ersetzten dessen standardmäßige „globale Suche“ durch das neue ConvNN-Werkzeug.

Ergebnis: Das neue Werkzeug schlug den ursprünglichen Transformer um 0,7 %.
Wichtige Entdeckung: Der Standard-Transformer behandelt alle seine „Top-Treffer“ gleich. Das neue ConvNN-Werkzeug lernte, unterschiedliche Gewichte für verschiedene Treffer zu vergeben. Es ist wie ein Bibliothekar, der nicht einfach nur die 10 ähnlichsten Bücher herausgreift, sondern lernt, die relevantesten unter ihnen zu priorisieren. Dies machte das Modell besonders gut darin, große Gruppen ähnlicher Objekte zu handhaben.

Warum das wichtig ist (in einfachen Worten)

Es ist eine vereinheitlichende Theorie: Es zeigt, dass Konvolution und Attention nur verschiedene Einstellungen an derselben Maschine sind.
Es ist flexibel: Man kann ein System entwerfen, das irgendwo dazwischen sitzt und eine Mischung aus räumlicher Nähe und Merkmalsähnlichkeit nutzt.
Es ist effizient: Die Autoren entwickelten eine spezielle, schnelle Version dieses Werkzeugs (unter Verwendung eines sogenannten „Triton-Kernels“), die weniger Computerspeicher benötigt und schneller läuft, was es für den realen Einsatz praktikabel macht.

Eine Anmerkung zum Training

Die Forscher bemerkten auch etwas Interessantes darüber, wie das Modell lernt. Das neue Werkzeug startet in den frühen Phasen des Trainings langsamer als die Standardmethoden. Sobera das Training jedoch näher an das Ziel rückt (wenn der Computer seine Antworten verfeinert), holt das neue Werkzeug auf und übertrifft die anderen schließlich. Es scheint, dass das neue Werkzeug ein „langsames und stetiges“ Lerntempo benötigt, um genau zu verstehen, wie es seine Nachbarn gewichten soll, während Standardmethoden starrer sind und schnell lernen, aber früher aufhören, sich zu verbessern.

Zusammenfassend lässt sich sagen: Das Paper führt ein einziges, flexibles Framework ein, das die Lücke zwischen lokaler und globaler Bildverarbeitung schließt. Indem sie beide als Variationen der „Suche nach nächsten Nachbarn“ behandeln, haben sie ein Werkzeug geschaffen, das mathematisch fundiert, schneller in der Ausführung und genauer als die derzeitigen Spitzenreiter in beiden Kategorien ist.

Technisches Resümee: Vereinigung von Konvolution und Attention mittels Convolutional Nearest Neighbors

Problemstellung

Convolutional Neural Networks (CNNs) und Vision Transformers (ViTs) stellen die beiden dominierenden Architekturfamilien in der Computer Vision dar, die jeweils durch räumliche Lokalität (Konvolution) bzw. globale Selbst-Attention definiert sind. Trotz ihrer unterschiedlichen operationalen Definitionen deuteten vorangegangene Arbeiten bereits auf eine theoretische Verbindung hin, die nahelegt, dass Attention mit relativer Positionskodierung Konvolution ausdrücken kann und dass lokale Attention strukturell äquivalent zu einer Depthwise-Konvolution ist. Bestehende Ansätze behandeln diese Operationen jedoch typischerweise als separate Entitäten, die extern überbrückt werden müssen (z. B. durch gemischte Architekturen), oder analysieren lediglich spezifische paarweise Verknüpfungen. Es mangelt an einem vereinheitlichten mathematischen Rahmenwerk, das beide Operationen als Spezialfälle eines einzigen zugrunde liegenden Prinzips nachweist und somit das kontinuierliche Design-Spektrum zwischen ihnen offenlegt.

Methodik: Convolutional Nearest Neighbors (ConvNN)

Die Autoren führen Convolutional Nearest Neighbors (ConvNN) ein, ein vereinheitlichtes Framework, das auf der $k$ -Nearest-Neighbor ( $k$ -NN) Aggregation basiert. Die zentrale Erkenntnis ist, dass sowohl Konvolution als auch Attention Instanzen der Nachbarschaftsaggregation sind, die sich lediglich in ihrer Nachbarschaftsauswahlstrategie unterscheiden:

Konvolution wählt Nachbarn basierend auf räumlicher Proximität aus.
Attention wählt Nachbarn basierend auf Merkmalsähnlichkeit aus.

Mechanik des Frameworks

Die ConvNN-Operation besteht aus drei sequenziellen Schritten:

Ähnlichkeitsberechnung: Eingangsmerkmale $X$ werden in Query- ( $Q$ ) und Key-Räume ( $K$ ) projiziert. Eine Ähnlichkeitsmatrix $S$ wird berechnet (standardmäßig als Skalarprodukt, erlaubt aber auch Metriken für die räumliche Distanz).
Nachbarschaftsauswahl und Modulation: Für jede Query werden die Top- $K$ ähnlichsten Keys ausgewählt. Eine Gewichtungsfunktion $\rho$ (z. B. Softmax oder Uniform) moduliert die entsprechenden Value-Vektoren ( $V$ ).
Gewichtete Aggregation: Die ausgewählten und gewichteten Nachbarn werden unter Verwendung einer 1D-Konvolution (Conv1D) mit der Kernelgröße $K$ und dem Stride $K$ aggregiert.

Theoretische Vereinigung

Das Paper liefert formale Beweise, die zeigen, dass ConvNN bestehende Operationen als exakte Spezialfälle wiederherstellt:

Konvolution: Durch die Beschränkung der Projektionen auf rohe räumliche Koordinaten, die Verwendung der euklidischen Distanz für die Ähnlichkeit und die Auswahl von $K = R^d$ Nachbarn (wobei $R$ die Kernelgröße ist), stellt ConvNN exakt Standard- und Depthwise-Konvolutionen inklusive des korrekten Randverhaltens unter Zero-Padding wieder her.
Attention: Durch die Verwendung gelernter Projektionen und skalierter Skalarprodukt-Ähnlichkeit stellt ConvNN Folgendes wieder her:
- Standard-Self-Attention (wenn $K=N$ ).
- Sparse-Attention-Varianten wie KVT (wenn $K < N$ ).
- Strukturierte Sparse-Attention (z. B. BigBird, Causal Masking) via Ähnlichkeits-Maskierung.
- Multi-Head-Attention-Topologien via algebraischer Äquivalenz.

Praktische Implementierungen

Um Rechen- und Speicherbeschränkungen zu adressieren, schlagen die Autoren drei praktische Realisierungen vor:

Sparse Candidate Search: Anstelle einer erschöpfenden $O(N^2)$ Suche wird eine zufällige Teilmenge von $r \ll N$ Kandidaten ausgewählt. Dies vermeidet die Reintroduktion der inhärenten räumlichen Verzerrung durch strukturierte Subsampling-Verfahren und reduziert die Komplexität auf $O(Nr)$.
Triton-Beschleunigter Kernel: Ein fusionierter GPU-Kernel führt Ähnlichkeitsberechnung, Neighbor-Gathering und Aggregation in einem einzigen Launch zusammen. Dies eliminiert Zwischen-Tensoren, reduziert den Peak-Speicherverbrauch im Vorwärtspass um das $2,3$-Fache und beschleunigt sowohl den Vorwärts- als auch den Rückwärtspass.
Hybrid Branching Layer: Ein Modul, das Eingänge durch parallele Zweige verarbeitet – einen unter Verwendung von Standard-Konvolution (räumliche Proximität) und einen unter Verwendung von ConvNN (Merkmalsähnlichkeit) –, welche anschließend konkateniert und via Pointwise-Konvolution gemischt werden.

Kernergebnisse

Das Framework wurde auf der ImageNet-1K Klassifizierung über zwei komplementäre Architekturen hinweg validiert:

1. Konvolutionale Architekturen (ResNet-50)

Hybrid Branching: Der Ersatz von Standard- $3\times3$ -Konvolutionen durch eine Hybrid-Branching-Layer ( $\lambda=0,5$ ) verbesserte die Top-1-Genauigkeit von 76,7 % (ResNet-50 Baseline) auf 79,76 % (bei $k=16$ ), was einem Gewinn von 3,06 % entspricht.
Reiner Ersatz: Ein eigenständiger ConvNN-Ersatz ohne die Branching-Layer erreichte ~76,2 %, was der Baseline entspricht, diese jedoch nicht übertrifft. Dies deutet darauf hin, dass die Kombination aus lokaler und globaler Selektion der Treiber für die Leistungssteigerung ist.
Kandidatenauswahl: Die zufällige Sparse-Candidate-Selection ( $r=32$ ) war recheneffizient und übertraf konsistent die Baseline, schnitt jedoch schlechter ab als die Full-Feature-Selection.

2. Vision Transformer (ViT-Base)

ConvNN-Attention: Der Ersatz von Multi-Head Self-Attention (MHSA) durch ConvNN-Attention verbesserte die Top-1-Genauigkeit von 80,94 % (MHSA Baseline) auf 81,64 % (bei $k=25$ ), ein Gewinn von 0,70 %.
Vergleich mit KVT: ConvNN übertraf KVT (welches fixe uniforme Aggregationsgewichte verwendet) konsistent über alle getesteten Nachbarschaftszahlen hinweg. Die Lücke vergrößerte sich bei größeren $k$ (z. B. 81,64 % vs. 81,28 % bei $k=25$ ), was den Wert gelernter Aggregationskerne gegenüber fixen uniformen Summen demonstriert.
Trainingsdynamik: ConvNN zeigte ein distinktes Konvergenzmuster; es hinkte MHSA in frühen/mittleren Trainingsphasen hinterher, übertraf es jedoch in den finalen Epochen. Die Autoren führen dies darauf zurück, dass der gelernte Aggregationskernel ein Fine-Tuning mit niedriger Lernrate erfordert, um zu präzisen pro-Kanal-Gewichtungen zu konvergieren.

Bedeutung und Ansprüche

Das Paper behauptet, dass ConvNN eine fundierte Basis für das Design von Operationen bietet, die Konvolution und Attention-basierte Berechnungen überbrücken. Seine Bedeutung liegt in:

Vereinigung: Es beweist formal, dass Konvolution und Attention nicht grundlegend verschieden sind, sondern Punkte auf einem kontinuierlichen operationalen Spektrum darstellen, der durch die Nachbarschaftsauswahl definiert ist.
Design-Raum-Exploration: Es eröffnet einen neuen Design-Raum, in dem Praktiker das Gleichgewicht zwischen räumlicher Proximität und Merkmalsähnlichkeit systematisch abstimmen können, anstatt sich zwischen einer Operation und der anderen entscheiden zu müssen.
Leistungssteigerung: Die empirischen Ergebnisse zeigen, dass hybride Konfigurationen (die beide Selektionsmodi kombinieren) und gelernte Aggregationskerne signifikante Leistungssteigerungen gegenüber den jeweiligen Baselines in sowohl CNN- als auch Transformer-Architekturen ermöglichen.

Die Autoren bleiben bescheiden und merken an, dass ConvNN zwar die passenden Baselines verbessert, aber nicht zwangsläufig auf das absolute State-of-the-Art abzielt, das durch maßgeschneiderte makro-architektonische Designs (z. B. CoAtNet, ConvNeXt) erreicht wird. Stattdessen isoliert und optimiert es die zugrunde liegende Aggregationsoperation selbst. Zwei offene Fragen bleiben bestehen: ob ein intermediäres Selektionskriterium beide Endpunkte übertreffen kann und wie das zeitabhängige Verhalten des gelernten Aggregationskernels in der Praxis gehandhabt werden sollte.