💻 computer science

Unifying Convolution and Attention via Convolutional Nearest Neighbors

Este artículo presenta Convolutional Nearest Neighbors (ConvNN), un marco unificado que demuestra la convolución y la autoatención como casos especiales de un único proceso de agregación de $k$ -vecinos más cercanos, vinculando así estas dos arquitecturas dominantes de visión por computadora y logrando mejoras de rendimiento de vanguardia en ImageNet-1K.

Autores originales: Mingi Kang, Jeová Farias Sales Rocha Neto

Publicado 2026-07-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mingi Kang, Jeová Farias Sales Rocha Neto

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de entender una pintura compleja. Para hacerlo, tienes dos formas principales de mirar:

El enfoque del "Vecino Local" (Convolución): Te acercas mucho a un punto específico del lienzo y solo miras el pequeño cuadrado de pintura inmediatamente alrededor de tu dedo. Ignoras todo lo demás. Así es como funcionan las Redes Neuronales Convolucionales (CNN) tradicionales. Son excelentes para ver texturas y bordes porque se enfocan en los vecinos espaciales inmediatos.
El enfoque de la "Similitud Global" (Atención): Te alejas para mirar la pintura completa. Preguntas: "¿Qué otras partes de esta pintura se parecen al punto que estoy mirando, incluso si están en el lado opuesto?". Luego, mezclas esas partes similares. Así es como funcionan los Vision Transformers (ViT). Son excelentes para entender el panorama general porque pueden conectar características distantes y similares.

Durante mucho tiempo, los científicos de la computación pensaron que estos dos métodos eran herramientas completamente diferentes que no podían mezclarse fácilmente.

La Gran Idea: La herramienta "ConvNN"

Este artículo presenta una nueva herramienta universal llamada Convolutional Nearest Neighbors (ConvNN). Los autores argumentan que los dos métodos anteriores no son en realidad diferentes; son simplemente dos extremos de un mismo espectro.

Piensa en ConvNN como un motor de búsqueda inteligente para píxeles.

Cómo funciona: Cuando la computadora mira un píxel específico (la "consulta" o query), busca sus "vecinos" para recolectar información.
El giro: La computadora puede decidir cómo encontrar a estos vecinos basándose en una regla que tú estableces:
- Regla A (Proximidad Espacial): "Encuentra a los vecinos que están físicamente más cerca de mí". (Esto convierte la herramienta en una convolución estándar).
- Regla B (Similitud de Características): "Encuentra a los vecinos que más se parecen a mí, sin importar qué tan lejos estén". (Esto convierte la herramienta en Auto-atención o Self-Attention).

El artículo demuestra matemáticamente que, si ajustas los parámetros de esta única herramienta, puedes hacer que actúe exactamente como una convolución estándar o como un mecanismo de atención estándar. Los unifica en un solo marco de trabajo.

Cómo lo probaron

Los investigadores no solo hicieron matemáticas; construyeron modelos funcionales para ver si esta idea realmente ayuda a las computadoras a ver mejor. Lo probaron en ImageNet, una base de datos masiva de 1.28 millones de imágenes utilizada para entrenar IA.

1. Prueba en modelos "Locales" (ResNet-50):
Tomaron un modelo estándar de reconocimiento de imágenes (ResNet-50) y le añadieron una "rama híbrida". Imagina a un trabajador que usualmente solo mira el vecindario inmediato (Convolución), pero que ahora tiene un compañero que también puede buscar objetos similares en cualquier parte de la ciudad (ConvNN).

Resultado: Este equipo híbrido funcionó significigentivamente mejor que el trabajador solo. Mejoraron la precisión en un 3.0%.
Lección: No tienes que elegir entre mirar localmente o globalmente; hacer ambas cosas juntas es la estrategia ganadora.

2. Prueba en modelos "Globales" (Vision Transformer):
Tomaron un modelo Transformer (ViT-Base) y reemplazaron su "búsqueda global" estándar con la nueva herramienta ConvNN.

Resultado: La nueva herramienta superó al Transformer original por un 0.7%.
Descubrimiento clave: El Transformer estándar trata a todos sus "mejores coincidencias" por igual. La nueva herramienta ConvNN aprendió a dar pesos diferentes a las distintas coincidencias. Es como un bibliotecario que no solo agarra los 10 libros más similares, sino que aprende a priorizar los más relevantes entre ellos. Esto hizo que el modelo fuera especialmente bueno manejando grupos grandes de elementos similares.

Por qué esto es importante (en términos simples)

Es una teoría unificadora: Muestra que la Convolución y la Atención son solo diferentes configuraciones de una misma máquina.
Es flexible: Puedes diseñar un sistema que se sitúe en cualquier punto intermedio, utilizando una mezcla de cercanía espacial y similitud de características.
Es eficiente: Los autores crearon una versión especial y rápida de esta herramienta (usando algo llamado "kernel de Triton") que utiliza menos memoria de computadora y corre más rápido, lo que la hace práctica para el uso en el mundo real.

Una nota sobre el entrenamiento

El artículo también notó algo interesante sobre cómo aprende el modelo. La nueva herramienta comienza más lento que los métodos estándar durante las etapas tempranas del entrenamiento. Sin embargo, a medida que el entrenamiento se acerca a la línea de meta (cuando la computadora está ajustando sus respuestas), la nueva herramienta alcanza e incluso supera a los demás. Parece que la nueva herramienta necesita un ritmo de aprendizaje "bajo y lento" para descifrar exactamente cómo ponderar a sus vecinos, mientras que los métodos estándar son más rígidos y aprenden rápido pero dejan de mejorar antes.

En resumen: El artículo introduce un marco único y flexible que cierra la brecha entre el procesamiento de imágenes local y global. Al tratar ambos como variaciones de "encontrar los vecinos más cercanos", crearon una herramienta que es matemáticamente sólida, más rápida de ejecutar y más precisa que los líderes actuales en ambas categorías.

Resumen Técnico: Unificando la Convolución y la Atención mediante Vecinos Cercanos Convolucionales

Planteamiento del Problema

Las Redes Neuronales Convolucionales (CNN) y los Vision Transformers (ViT) representan las dos familias arquitectónicas dominantes en la visión por computadora, definidas respectivamente por la convolución espacial local y la autoatención global. A pesar de sus distintas definiciones operativas, trabajos previos han sugerido una conexión teórica, indicando que la atención con codificación posicional relativa puede expresar la convolución, y que la atención local es estructuralmente equivalente a la convolución de profundidad (depthwise convolution). Sin embargo, los enfoques existentes suelen tratar estas operaciones como entidades separadas para ser unidas externamente (por ejemplo, mediante arquitecturas mixtas) o analizan vínculos pareados específicos. Existe una falta de un marco matemático unificado que demuestre ambas operaciones como casos especiales de un único principio subyacente, exponiendo así el continuo de diseño entre ellas.

Metodología: Vecinos Cercanos Convolucionales (ConvNN)

Los autores introducen los Vecinos Cercanos Convolucionales (ConvNN), un marco unificado basado en la agregación de $k$ -vecinos más cercanos ( $k$ -NN). La idea central es que tanto la convolución como la atención son instancias de agregación de vecinos que difieren únicamente en su estrategia de selección de vecinos:

La Convolución selecciona vecinos basándose en la proximidad espacial.
La Atención selecciona vecinos basándose en la similitud de características.

Mecánica del Marco

La operación ConvNN consta de tres pasos secuenciales:

Cálculo de Similitud: Las características de entrada $X$ se proyectan en espacios de Consulta (Query, $Q$ ) y Clave (Key, $K$ ). Se calcula una matriz de similitud $S$ (que por defecto es de producto punto, pero permite métricas de distancia espacial).
Selección de Vecinos y Modulación: Para cada consulta, se seleccionan las $K$ claves más similares. Una función de ponderación $\rho$ (por ejemplo, softmax o uniforme) modula los vectores de Valor ( $V$ ) correspondientes.
Agregación Ponderada: Los vecinos seleccionados y ponderados se agregan utilizando una convolución 1D (Conv1D) con un tamaño de núcleo $K$ y un paso (stride) $K$ .

Unificación Teórica

El artículo proporciona pruebas formales que demuestran que ConvNN recupera las operaciones existentes como casos especiales exactos:

Convolución: Al restringir las proyecciones a coordenadas espaciales puras, utilizar la distancia euclidiana para la similitud y seleccionar $K = R^d$ vecinos (donde $R$ es el tamaño del núcleo), ConvNN recupera exactamente la convolución estándar y la de profundidad, incluyendo el comportamiento correcto en los bordes bajo relleno de ceros (zero-padding).
Atención: Al utilizar proyecciones aprendidas y similitud de producto punto escalado, ConvNN recupera:
- La autoatención estándar (cuando $K=N$ ).
- Variantes de atención dispersa como KVT (cuando $K < N$ ).
- Atención dispersa estructurada (por ejemplo, BigBird, enmascaramiento causal) mediante enmascaramiento de similitud.
- Topologías de atención multi-cabezal mediante equivalencia algebraica.

Implementaciones Prácticas

Para abordar las restricciones computacionales y de memoria, los autores proponen tres realizaciones prácticas:

Búsqueda de Candidatos Dispersos: En lugar de una búsqueda exhaustiva de $O(N^2)$ , se selecciona un subconjunto aleatorio de $r \ll N$ candidatos. Esto evita reintroducir el sesgo espacial inherente al submuestreo estructurado y reduce la complejidad a $O(Nr)$.
Kernel Acelerado por Triton: Un kernel de GPU fusionado combina el cálculo de similitud, la recolección de vecinos y la agregación en un solo lanzamiento. Esto elimina los tensores intermedios, reduciendo el pico de memoria en el paso hacia adelante en $2.3\times$ y acelerando tanto el paso hacia adelante como el de retropropagación.
Capa de Ramificación Híbrida: Un módulo que procesa las entradas a través de ramas paralelas —una utilizando convoluciones estándar (proximidad espacial) y otra utilizando ConvNN (similitud de características)— que luego son concatenadas y mezcladas mediante una convolución de punto (pointwise convolution).

Resultados Clave

El marco fue validado en la clasificación de ImageNet-1K a través de dos arquitecturas complementarias:

1. Arquitecturas Convolucionales (ResNet-50)

Ramificación Híbrida: Reemplazar las convoluciones estándar de $3\times3$ con una capa de ramificación híbrida ( $\lambda=0. de 0.5$ ) mejoró la precisión top-1 de 76.7% (línea base de ResNet-50) a 79.76% (con $k=16$ ), una ganancia de 3.06%.
Reemplazo Puro: Un reemplazo independiente de ConvNN sin la capa de ramificación alcanzó aproximadamente un 76.2%, igualando la línea base pero sin superarla, lo que indica que la combinación de la selección local y global es el motor del rendimiento.
Selección de Candidatos: La selección de candidatos aleatorios dispersos ( $r=32$ ) fue computacionalmente eficiente y superó consistentemente a la línea base, aunque tuvo un rendimiento inferior a la selección de características completas.

2. Vision Transformers (ViT-Base)

ConvNN-Atención: Reemplazar la autoatención multi-cabezal (MHSA) con ConvNN-atención mejoró la precisión top-1 de 80.94% (línea base de MHSA) a 81.64% (con $k=25$ ), una ganancia de 0.70%.
Comparación con KVT: ConvNN superó consistentemente a KVT (que utiliza pesos de agregación uniformes fijos) en todos los conteos de vecinos probados. La brecha se amplió con conteos de $k$ mayores (por ejemplo, 81.64% vs. 81.28% con $k=25$ ), demostrando el valor de los núcleos de agregación aprendidos sobre las sumas uniformes fijas.
Dinámica de Entrenamiento: ConvNN exhibió un patrón de convergencia distinto, quedando rezagado respecto a MHSA en las etapas iniciales/medias del entrenamiento, pero superándolo en los épocas finales. Los autores atribuyen esto a que el núcleo de agregación aprendido requiere un ajuste fino con una tasa de aprendizaje baja para converger a ponderaciones precisas por canal.

Significado y Reivindicaciones

El artículo sostiene que ConvNN proporciona una base fundamentada para diseñar operaciones que unan la computación basada en convolución y en atención. Su importancia radica en:

Unificación: Demuestra formalmente que la convolución y la atención no son fundamentalmente distintas, sino puntos en un continuo operacional definido por los criterios de selección de vecinos.
Exploración del Espacio de Diseño: Expone un nuevo espacio de diseño donde los profesionales pueden ajustar sistemáticamente el equilibrio entre la proximidad espacial y la similitud de características, en lugar de elegir una operación sobre la otra.
Ganancias de Rendimiento: Los resultados empíricos demuestran que las configuraciones híbridas (que combinan ambos modos de selección) y los núcleos de agregación aprendidos pueden producir mejoras de rendimiento de vanguardia sobre las líneas base correspondientes tanto en arquitecturas CNN como en Transformer.

Los autores mantienen una postura modesta, señalando que, si bien ConvNN mejora sobre las líneas base emparejadas, no pretende necesariamente alcanzar el estado del arte absoluto logrado por diseños macro-arquitectónicos especializados (como CoAtNet o ConvNeXt). En su lugar, aisla y optimiza la operación de agregación subyacente. Quedan dos preguntas abiertas: si un criterio de selección intermedio podría superar a ambos extremos, y cómo debe manejarse en la práctica la dependencia del esquema (schedule-dependence) del núcleo de agregación aprendido.