💻 computer science

Unifying Convolution and Attention via Convolutional Nearest Neighbors

Dit artikel introduceert Convolutional Nearest Neighbors (ConvNN), een verenigd raamwerk dat aantoont dat convolutie en self-attention speciale gevallen zijn van een enkelvoudig $k$ -nearest neighbor aggregatieproces, waardoor deze twee dominante computer vision-architecturen worden overbrugd en staat-van-de-kunst prestatieverbeteringen op ImageNet-1K worden bereikt.

Oorspronkelijke auteurs: Mingi Kang, Jeová Farias Sales Rocha Neto

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mingi Kang, Jeová Farias Sales Rocha Neto

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een complex schilderij te begrijpen. Hiervoor kun je op twee manieren naar het werk kijken:

De "Lokale Buurman"-benadering (Convolutie): Je staat heel dicht bij een specifieke plek op het canvas en kijkt alleen naar het piepkleine vierkantje verf direct rondom je vinger. De rest negeer je. Dit is hoe traditionele Convolutional Neural Networks (CNNs) werken. Ze zijn erg goed in het zien van texturen en randen omdat ze zich richten op de directe ruimtelijke buren.
De "Globale Gelijkenis"-benadering (Attention): Je doet een stap terug en bekijkt het hele schilderij. Je vraagt je af: "Welke andere delen van dit schilderij lijken op de plek waar ik naar kijk, zelfs als ze aan de tegenovergestelde kant zitten?" Je mengt die gelijkaardige delen vervolgens met elkaar. Dit is hoe Vision Transformers (ViT) werken. Ze zijn erg goed in het begrijpen van het grote plaatje omdat ze verre, gelijkaardige kenmerken met elkaar kunnen verbinden.

Lange tijd dachten computerwetenschappers dat deze twee methoden volkomen verschillende instrumenten waren die niet gemakkelijk te combineren waren.

Het Grote Idee: De "ConvNN"-tool

Dit paper introduceert een nieuwe, universele tool genaamd Convolutional Nearest Neighbors (ConvNN). De auteurs stellen dat de twee methoden hierboven eigenlijk niet verschillend zijn; ze zijn slechts twee uiteinden van hetzelfde spectrum.

Zie ConvNN als een slimme zoekmachine voor pixels.

Hoe het werkt: Wanneer de computer naar een specifieke pixel kijkt (de "query"), zoekt hij naar zijn "buren" om informatie te verzamelen.
De Twist: De computer kan zelf beslissen hoe hij deze buren vindt op basis van een regel die jij instelt:
- Regel A (Ruimtelijke Nabijheid): "Zoek de buren die fysiek het dichtst bij mij staan." (Dit verandert de tool in een standaard convolutie).
- Regel B (Kenmerk-gelijkenis): "Zoek de buren die het meest op mij lijken, ongeacht hoe ver weg ze zijn." (Dit verandert de tool in Self-Attention).

Het paper bewijst wiskundig dat als je de instellingen van dit ene instrument aanpast, je het precies kunt laten werken als een standaard convolutie of een standaard attention-mechanisme. Het verenigt hen in één enkel framework.

Hoe ze het hebben getest

De onderzoekers hebben niet alleen wiskunde bedreven; ze hebben werkende modellen gebouwd om te zien of dit idee de computers daadwerkelijk beter laat zien. Ze testten dit op ImageNet, een enorme database van 1,28 miljoen afbeeldingen die wordt gebruikt om AI te trainen.

1. Testen op "Lokale" Modellen (ResNet-50):
Ze namen een standaard beeldherkenningsmodel (ResNet-50) en voegden een "hybride tak" toe. Stel je een werknemer voor die normaal gesproken alleen naar de directe buurt kijkt (convolutie), maar nu een zijspan heeft die ook overal in de stad naar gelijkaardige objecten kan zoeken (ConvNN).

Resultaat: Dit hybride team presteerde aanzienlijk beter dan de werknemer alleen. Ze verbeterden de nauwkeurigheid met 3,0%.
Les: Je hoeft niet te kiezen tussen lokaal of globaal kijken; beide tegelijk doen is de winnende strategie.

2. Testen op "Globale" Modellen (Vision Transformer):
Ze namen een Transformer-model (ViT-Base) en vervingen de standaard "globale zoekopdracht" door hun nieuwe ConvNN-tool.

Resultaat: De nieuwe tool versloeg de originele Transformer met 0,7%.
Belangrijke Ontdekking: De standaard Transformer behandelt alle "beste matches" gelijk. De nieuwe ConvNN-tool leerde juist verschillende gewichten te geven aan verschillende matches. Het is als een bibliothecaris die niet zomaar de top 10 gelijkaardige boeken pakt, maar leert om de meest relevante onder die 10 te prioriteren. Dit maakte het model vooral goed in het afhandelen van grote groepen gelijkaardige items.

Waarom dit ertoe doet (in simpele termen)

Het is een Verenigende Theorie: Het laat zien dat convolutie en attention slechts verschillende instellingen zijn op dezelfde machine.
Het is Flexibel: Je kunt een systeem ontwerpen dat ergens in het midden zit, met een mix van ruimtelijke nabijheid en kenmerk-gelijkenis.
Het is Efficiënt: De auteurs hebben een speciale, snelle versie van deze tool gemaakt (met behulp van iets dat een "Triton kernel" wordt genoemd) die minder computergeheugen gebruikt en sneller draait, wat het praktisch maakt voor echt wereldgebruik.

Een opmerking over de training

De onderzoekers merkten ook iets interessants op over hoe het model leert. De nieuwe tool start trager dan de standaard methoden tijdens de vroege stadia van de training. Echter, wanneer de training dichter bij de finishlijn komt (wanneer de computer zijn antwoorden verfijnt), haalt de nieuwe tool de anderen in en overtreft deze uiteindelijk. Het lijkt erop dat de nieuwe tool een "laag en traag" leertempo nodig heeft om precies uit te vogelen hoe hij zijn buren moet wegen, terwijl standaard methoden rigider zijn en snel leren, maar minder snel verbeteren.

Samenvattend: Het paper introduceert een enkel, flexibel framework dat de kloof overbrugt tussen lokale en globale beeldverwerking. Door beide te behandelen als variaties van "het vinden van de dichtstbijzijnde buren", hebben ze een tool gecreëerd die wiskundig onderbouwd is, sneller draait en nauwkeuriger is dan de huidige koplopers in beide categorieën.

Technische Samenvatting: Het verenigen van convolutie en aandacht via Convolutional Nearest Neighbors

Probleemstelling

Convolutionele Neurale Netwerken (CNN's) en Vision Transformers (ViT's) vertegenwoordigen de twee dominante architecturale families in computer vision, respectievelijk gedefinieerd door ruimtelijke lokale convolutie en globale zelf-aandacht (self-attention). Ondanks hun verschillende operationele definities, heeft eerder werk gesuggereerd dat er een theoretische connectie bestaat, waarbij wordt gesteld dat aandacht met relatieve positionele codering convolutie kan uitdrukken, en dat lokale aandacht structureel gelijkwaardig is aan depthwise convolutie. Echter, bestaande benaderingen behandelen deze operaties doorgaans als afzonderlijke entiteiten die extern overbrugd moeten worden (bijv. via gemengde architecturen) of analyseren specifieke paargewijze links. Er is een gebrek aan een verenigd wiskundig kader dat beide operaties aantoont als speciale gevallen van één enkel onderliggend principe, waardoor het continue ontwerpspectrum tussen hen bloot komt te liggen.

Methodologie: Convolutional Nearest Neighbors (ConvNN)

De auteurs introduceren Convolutional Nearest Neighbors (ConvNN), een verenigd kader gebaseerd op $k$ -nearest neighbor ( $k$ -NN) aggregatie. De kerninzicht is dat zowel convolutie als aandacht instanties zijn van buur-aggregatie die alleen verschillen in hun buur-selectiestrategie:

Convolutie selecteert buren op basis van ruimtelijke nabijheid.
Aandacht selecteert buren op basis van kenmerk-gelijkenis (feature similarity).

Mechanica van het kader

De ConvNN-operatie bestaat uit drie opeenvolgende stappen:

Gelijkenisberekening: Input-kenmerken $X$ worden geprojecteerd in Query ( $Q$ ) en Key ( $K$ ) ruimtes. Een gelijkenismatrix $S$ wordt berekend (standaard dot-product, maar staat ook ruimtelijke afstandmetrieken toe).
Buur-selectie en Modulatie: Voor elke query worden de top- $K$ meest gelijkaardige keys geselecteerd. Een wegingsfunctie $\rho$ (bijv. softmax of uniform) moduleert de corresponderende Value ( $V$ ) vectoren.
Gewogen Aggregatie: De geselecteerde en gewogen buren worden geaggregeerd met behulp van een 1D-convolutie (Conv1D) met kernelgrootte $K$ en stride $K$ .

Theoretische Vereniging

Het artikel levert formele bewijzen die aantonen dat ConvNN bestaande operaties herstelt als exacte speciale gevallen:

Convolutie: Door projecties te beperken tot ruwe ruimtelijke coördinaten, Euclidean afstand te gebruiken voor gelijkenis, en $K = R^d$ buren te selecteren (waarbij $R$ de kernelgrootte is), herstelt ConvNN exact standaard en depthwise convolutie, inclusclusief correct gedrag aan de randen onder zero-padding.
Aandacht: Door geleerde projecties en geschaalde dot-product gelijkenis te gebruiken, herstelt ConvNN:
- Standaard zelf-aandacht (wanneer $K=N$ ).
- Sparse attention varianten zoals KVT (wanneer $K < N$ ).
- Gestructureerde sparse aandacht (bijv. BigBird, causal masking) via gelijkenis-maskering.
- Multi-head attention topologieën via algebraïsche equivalentie.

Praktische Implementaties

Om computationele en geheugenbeperkingen aan te pakken, stellen de auteurs drie praktische realisaties voor:

Sparse Candidate Search: In plaats van een uitputtende $O(N^2)$ zoektocht, wordt een willekeurige subset van $r \ll N$ kandidaten geselecteerd. Dit voorkomt het herintroduceren van de inherente ruimtelijke bias van gestructureerde subsampling en reduceert de complexiteit naar $O(Nr)$.
Triton-geaccelereerde Kernel: Een gefuseerde GPU-kernel voegt gelijkenisberekening, het verzamelen van buren en aggregatie samen in een enkele lancering. Dit elimineert tussenliggende tensoren, waardoor de piekgeheugengebruik tijdens de forward pass met $2.3\times$ wordt verminderd en zowel de forward als de backward pass wordt versneld.
Hybrid Branching Layer: Een module die inputs verwerkt via parallelle takken—één die standaard convolutie gebruikt (ruimtelijke nabijheid) en één die ConvNN gebruikt (kenmerk-gelijkenis)—welke vervolgens worden geconcateneerd en gemengd via een pointwise convolutie.

Belangrijkste Resultaten

Het kader werd gevalideerd op ImageNet-1K classificatie over twee complementaire architecturen:

1. Convolutionele Architecturen (ResNet-50)

Hybrid Branching: Het vervangen van standaard $3\times3$ convoluties door een hybrid branching layer ( $\lambda=0.5$ ) verbeterde de top-1 nauwkeurigheid van 76.7% (ResNet-50 baseline) naar 79.76% (bij $k=16$ ), een winst van 3.06%.
Pure Replacement: Een standalone ConvNN vervanging zonder de branching layer bereikte ~76.2%, wat overeenkomt met de baseline maar deze niet overtrof, wat aangeeft dat de combinatie van lokale en globale selectie de drijfveer is voor prestaties.
Candidate Selection: Willekeurige sparse candidate selectie ( $r=32$ ) was computationeel efficiënt en presteerde consistent beter dan de baseline, hoewel het onderpresteerde ten opzichte van full-feature selectie.

2. Vision Transformers (ViT-Base)

ConvNN-Attention: Het vervangen van multi-head self-attention (MHSA) door ConvNN-aandacht verbeterde de top-1 nauwkeurigheid van 80.94% (MHSA baseline) naar 81.64% (bij $k=25$ ), een winst van 0.70%.
Vergelijking met KVT: ConvNN presteerde consequent beter dan KVT (dat vaste uniforme aggregatiegewichten gebruikt) over alle geteste aantal buren. De kloof werd groter bij grotere $k$ (bijv. 81.64% vs. 81.28% bij $k=25$ ), wat de waarde van geleerde aggregatiekernels boven vaste uniforme sommen aantoont.
Trainingsdynamiek: ConvNN vertoonde een duidelijk convergentiepatroon, waarbij het achterliep op MHSA in de vroege/middelste trainingsfasen, maar het overtrof in de laatste epochs. De auteurs schrijven dit toe aan het feit dat de geleerde aggregatiekernel een lage leerfase (low-learning-rate) fine-tuning vereist om te convergeren naar precieze per-kanaal wegingen.

Betekenis en Claims

Het artikel claimt dat ConvNN een geprincieerd fundament biedt voor het ontwerpen van operaties die de brug slaan tussen convolutionele en aandacht-gebaseerde berekeningen. De betekenis ligt in:

Unificatie: Het bewijst formeel dat convolutie en aandacht niet fundamenteel verschillend zijn, maar punten op een continu operationeel spectrum die worden gedefinieerd door de criterium voor buur-selectie.
Ontwerpsruimte Exploratie: Het legt een nieuwe ontwerpsruimte bloot waar praktijkgebruikers systematisch de balans tussen ruimtelijke nabijheid en kenmerk-gelijkenis kunnen afstemmen, in plaats van te moeten kiezen tussen de ene of de andere operatie.
Prestatiewinst: De empirische resultaten tonen aan dat hybride configuraties (die zowel selectiemodi combineren) en geleerde aggregatiekernels top-notch prestatieverbeteringen opleveren ten opzichte van de bijbehorende baselines in zowel CNN- als Transformer-architecturen.

De auteurs houden een bescheiden standpunt aan door te merken dat hoewel ConvNN beter presteert dan de bijbehorende baselines, het niet noodzakelijkerwijs de absolute state-of-the-art beoogt die wordt bereikt door op maat gemaakte macro-architecturale ontwerpen (zoals CoAtNet, ConvNeXt). In plaats daarvan isoleert en optimaliseert het de onderliggende aggregatie-operatie zelf. Twee open vragen blijven bestaan: of een intermediair selectiecriterium beide eindpunten kan overtreffen, en hoe de schema-afhankelijkheid van de geleerde aggregatiekernel in de praktijk moet worden afgehandeld.