💻 computer science

Unifying Convolution and Attention via Convolutional Nearest Neighbors

Questo articolo introduce Convolutional Nearest Neighbors (ConvNN), un framework unificato che dimostra come la convoluzione e l'auto-attenzione siano casi particolari di un singolo processo di aggregazione dei $k$ -vicini più prossimi, colmando così il divario tra queste due dominanti architetture di visione artificiale e ottenendo miglioramenti delle prestazioni allo stato dell'arte su ImageNet-1K.

Autori originali: Mingi Kang, Jeová Farias Sales Rocha Neto

Pubblicato 2026-07-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mingi Kang, Jeová Farias Sales Rocha Neto

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di comprendere un dipinto complesso. Per farlo, hai due modi principali di guardarlo:

L'approccio del "Vicino Locale" (Convoluzione): Ti posizioni molto vicino a un punto specifico della tela e guardi solo il minuscolo quadrato di vernice immediatamente intorno al tuo dito. Ignori tutto il resto. È così che funzionano le tradizionali Reti Neurali Convoluzionali (CNN). Sono ottime nel vedere texture e bordi perché si concentrano sui vicini spaziali immediati.
L'approccio della "Similitudine Globale" (Attenzione): Fai un passo indietro e guardi l'intero dipinto. Ti chiedi: "Quali altre parti di questo dipinto assomigliano al punto che sto guardando, anche se si trovano sul lato opposto?". Poi fondi insieme quelle parti simili. È così che funzionano i Vision Transformers (ViT). Sono ottimi nel comprendere il quadro generale perché possono connettere caratteristiche distanti e simili.

Per molto tempo, gli scienziati informatici hanno pensato che questi due metodi fossero strumenti completamente diversi che non potevano essere mescolati facilmente.

La Grande Idea: Lo strumento "ConvNN"

Questo articolo introduce un nuovo strumento universale chiamato Convolutional Nearest Neighbors (ConvNN). Gli autori sostengono che i due metodi sopra descritti non siano affatto diversi; sono solo due estremità dello stesso spettro.

Pensa a ConvNN come a un motore di ricerca intelligente per pixel.

Come funziona: Quando il computer guarda un pixel specifico (la "query"), cerca i suoi "vicini" per raccogliere informazioni.
Il Colpo di Scena: Il computer può decidere come trovare i vicini in base a una regola che tu imposti:
- Regola A (Prossimità Spaziale): "Trova i vicini che sono fisicamente più vicini a me". (Questo trasforma lo strumento in una Convoluzione standard).
- Regola B (Similitudine di Caratteristiche): "Trova i vicini che assomigliano di più a me, indipendentemente da quanto siano lontani". (Questo trasforma lo strumento in un meccanismo di Self-Attention standard).

Il documento dimostra matematicamente che, se regoli le impostazioni di questo unico strumento, puoi farlo agire esattamente come una convoluzione standard o come un meccanismo di attenzione standard. Li unifica in un unico framework.

Come lo hanno testato

I ricercatori non si sono limitati alla matematica; hanno costruito modelli funzionanti per vedere se questa idea aiuti effettivamente i computer a vedere meglio. Hanno testato il sistema su ImageNet, un enorme database di 1,28 milioni di immagini utilizzato per addestrare l'IA.

1. Test su Modelli "Locali" (ResNet-50):
Hanno preso un modello standard di riconoscimento delle immagini (ResNet-50) e hanno aggiunto un "ramo ibrido". Immagina un lavoratore che di solito guarda solo il vicinato immediato (Convoluzione), ma che ora ha un assistente capace di cercare oggetti simili ovunque nella città (ConvNN).

Risultato: Questo team ibrido è stato significamente più performante del lavoratore da solo. Ha migliorato l'accuratezza del 3,0%.
Lezione: Non devi scegliere tra guardare localmente o globalmente; fare entrambe le cose insieme è la strategia vincente.

2. Test su Modelli "Globali" (Vision Transformer):
Hanno preso un modello Transformer (ViT-Base) e hanno sostituito la sua standard "ricerca globale" con il nuovo strumento ConvNN.

Risultato: Il nuovo strumento ha superato l'originale Transformer dello 0,7%.
Scoperta Chiave: Il Transformer standard tratta tutti i suoi "migliori match" allo stesso modo. Il nuovo strumento ConvNN ha imparato a dare pesi diversi ai diversi match. È come un bibliotecario che non si limita a prendere i primi 10 libri simili, ma impara a dare priorità a quelli più rilevanti tra di essi. Questo ha reso il modello particolarmente bravo a gestire grandi gruppi di elementi simili.

Perché questo è importante (in termini semplici)

È una Teoria Unificante: Dimostra che la Convoluzione e l'Attenzione sono solo diverse impostazioni dello stesso macchinario.
È Flessibile: Puoi progettare un sistema che si posizioni in qualsiasi punto intermedio, utilizzando un mix di vicinanza spaziale e similitudine di caratteristiche.
È Efficiente: Gli autori hanno creato una versione speciale e veloce di questo strumento (usando qualcosa chiamato "kernel Triton") che utilizza meno memoria del computer e gira più velocemente, rendendolo pratico per l'uso nel mondo reale.

Una nota sull'addestramento

I ricercatori hanno anche notato un dettaglio interessante su come il modello impara. Il nuovo strumento inizia più lentamente rispetto ai metodi standard durante le prime fasi dell'addestramento. Tuttavia, man mano che l'addestramento si avvicina alla fine (quando il computer sta perfezionando le sue risposte), il nuovo strumento recupera il terreno e alla fine supera gli altri. Sembra che il nuovo strumento abbia bisogno di un ritmo di apprendimento "basso e lento" per capire esattamente come pesare i suoi vicini, mentre i metodi standard sono più rigidi e imparano velocemente ma smettono di migliorare prima.

In sintesi: Il documento introduce un framework unico e flessibile che colma il divario tra l'elaborazione delle immagini locale e globale. Trattando entrambi come variazioni del "trovare i vicini più prossimi", hanno creato uno strumento matematicamente solido, più veloce da eseguire e più accurato rispetto agli attuali leader in entrambe le categorie.

Sintesi Tecnica: Unificare Convoluzione e Attention tramite Convolutional Nearest Neighbors

Definizione del Problema

Le Reti Neurali Convoluzionali (CNN) e i Vision Transformers (ViT) rappresentano le due famiglie architettoniche dominanti nella visione artificiale, definite rispettivamente dalla convoluzione spaziale locale e dalla self-attention globale. Nonostante le loro distinte definizioni operative, lavori precedenti hanno accennato a una connessione teorica, suggerendo che l'attention con codifica posizionale relativa possa esprimere la convoluzione, e che l'attention locale sia strutturalmente equivalente a una convoluzione depthwise. Tuttavia, gli approcci esistenti trattano tipicamente queste operazioni come entità separate da colmare esternamente (ad esempio, tramite architetture miste) o analizzano specifici collegamenti a coppie. Manca un quadro matematico unificato che dimostri entrambe le operazioni come casi particolari di un singolo principio sottostante, esponendo così lo spettro di design continuo tra di esse.

Metodologia: Convolutional Nearest Neighbors (ConvNN)

Gli autori introducono i Convolutional Nearest Neighbors (ConvNN), un framework unificato basato sull'aggregazione $k$ -nearest neighbor ( $k$ -NN). L'intuizione centrale è che sia la convoluzione che l'attention siano istanze di aggregazione di vicinato che differiscono solo per la loro strategia di selezione dei vicini:

Convoluzione: seleziona i vicini in base alla prossimità spaziale.
Attention: seleziona i vicini in base alla similarità delle caratteristiche (feature similarity).

Meccanica del Framework

L'operazione ConvNN consiste in tre passaggi sequenziali:

Calcolo della Similarità: Le caratteristiche di input $X$ sono proiettate negli spazi Query ( $Q$ ) e Key ( $K$ ). Viene calcolata una matrice di similarità $S$ (che per impostazione predefinita è il prodotto scalare, ma consente metriche di distanza spaziale).
Selezione del Vicinato e Modulazione: Per ogni query, vengono selezionati i top- $K$ key più simili. Una funzione di ponderazione $\rho$ (ad esempio, softmax o uniforme) modula i vettori Value ( $V$ ) corrispondenti.
Aggregazione Pesata: I vicini selezionati e pesati vengono aggregati utilizzando una convoluzione 1D (Conv1D) con dimensione del kernel $K$ e stride $K$ .

Unificazione Teorica

Il documento fornisce prove formali che dimostrano come ConvNN recuperi le operazioni esistenti come casi particolari esatti:

Convoluzione: Limitando le proiezioni alle coordinate spaziali grezze, utilizzando la distanza euclidea per la similarità e selezionando $K = R^d$ vicini (dove $R$ è la dimensione del kernel), ConvNN recupera esattamente la convoluzione standard e depthwise, inclusi i corretti comportamenti di bordo sotto zero-padding.
Attention: Utilizzando proiezioni apprese e similarità di prodotto scalare scalata, ConvNN recupera:
- La standard self-attention (quando $K=N$ ).
- Varianti di sparse attention come KVT (quando $K < N$ ).
- Sparse attention strutturata (ad esempio, BigBird, causal masking) tramite similarity masking.
- Topologie di multi-head attention tramite equivalenza algebrica.

Implementazioni Pratiche

Per affrontare i vincoli computazionali e di memoria, gli autori propongono tre realizzazioni pratiche:

Ricerca di Candidati Sparsi: Inveio di una ricerca esaustiva $O(N^2)$ , viene selezionato un sottoinsieme casuale di $r \ll N$ candidati. Ciò evita la reintroduzione del bias spaziale inerente al sottocampionamento strutturato e riduce la complessità a $O(Nr)$.
Kernel Accelerato con Triton: Un kernel GPU fuso unisce il calcolo della similarità, la raccolta dei vicini e l'aggregazione in un unico lancio. Ciò elimina i tensori intermedi, riducendo il picco di memoria forward di $2.3\times$ e accelerando sia il passaggio forward che quello backward.
Livello di Branching Ibrido: Un modulo che elabora gli input attraverso rami paralleli — uno che utilizza la convoluzione standard (prossimità spaziale) e uno che utilizza ConvNN (similarità delle caratteristiche) — che vengono poi concatenati e miscelati tramite una convoluzione pointwise.

Risultati Chiave

Il framework è stato validato su ImageNet-1K classification attraverso due architetture complementari:

1. Architetture Convoluzionali (ResNet-50)

Hybrid Branching: Sostituire le convoluzioni standard $3\times3$ con un livello di branching ibrido ( $\lambda=0.5$ ) ha migliorato l'accuratezza top-1 dal 76.7% (baseline ResNet-50) al 79.76% (con $k=16$ ), un guadagno del 3.06%.
Sostituzione Pura: Una sostituzione standalone con ConvNN senza il livello di branching ha ottenuto circa il 76.2%, eguagliando la baseline ma non superandola, indicando che la combinazione di selezione locale e globale è il motore delle prestazioni.
Selezione dei Candidati: La selezione sparsa casuale dei candidati ( $r=32$ ) è stata computazionalmente efficiente e ha costantemente superato la baseline, sebbene abbia ottenuto prestazioni inferiori rispetto alla selezione completa delle feature.

2. Vision Transformers (ViT-Base)

ConvNN-Attention: Sostituire la multi-head self-attention (MHSA) con la ConvNN-attention ha migliorato l'accuratezza top-1 dall 80.94% (baseline MHSA) all 81.64% (con $k=25$ ), un guadagno dello 0.70%.
Confronto con KVT: ConvNN ha costantemente superato KVT (che utilizza pesi di aggregazione uniformi fissi) in tutti i conteggi di vicini testati. Il divario si è ampliato con $k$ più grandi (ad esempio, 81.64% vs 81.28% con $k=25$ ), dimostrando il valore dei kernel di aggregazione appresi rispetto ai sum uniformi fissi.
Dinamiche di Addestramento: ConvNN ha mostrato un pattern di convergenza distinto, restando indietro rispetto a MHSA nelle fasi iniziali/intermedie dell'addestramento, ma superandola negli epoch finali. Gli autori attribuiscono ciò al fatto che il kernel di aggregazione appreso richiede un fine-tuning con learning rate basso per convergere verso pesature per canale precise.

Significato e Rivendicazioni

Il documento sostiene che ConvNN fornisca una base principiata per progettare operazioni che colleghino il calcolo convoluzionale e quello basato su attention. La sua importanza risiede in:

Unificazione: Dimostra formalmente che convoluzione e attention non sono fondamentalmente distinte, ma sono punti su uno spettro operativo continuo definito dai criteri di selezione del vicinato.
Esplorazione dello Spazio di Design: Espone un nuovo spazio di design dove i professionisti possono sistematicamente regolare l'equilibrio tra prossimità spaziale e similarità delle caratteristiche, invece di dover scegliere un'operazione piuttosto che l'altra.
Guadagni di Performance: I risultati empirici dimostrano che le configurazioni ibride (che combinano entrambi i modi di selezione) e i kernel di aggregazione appresi possono produrre miglioramenti delle prestazioni allo stato dell'arte rispetto alle baseline corrispondenti sia nelle architetture CNN che in quelle Transformer.

Gli autori mantengono una posizione modesta, osservando che sebbene ConvNN migliori le baseline corrispondenti, non mira necessariamente agli stati dell'arte assoluti raggiunti da design macro-architetturali specifici (come CoAtNet, ConvNeXt). Inve بدل, isola e ottimizza l'operazione di aggregazione sottostante stessa. Rimangono due domande aperte: se un criterio di selezione intermedio possa superare entrambi gli estremi, e come debba essere gestito nella pratica lo scheduling-dipendenza del kernel di aggregazione appreso.