💻 computer science

Unifying Convolution and Attention via Convolutional Nearest Neighbors

이 논문은 컨볼루션(convolution)과 셀프 어텐션(self-attention)을 단일 $k$ -최근접 이웃(k-nearest neighbor) 집계 과정의 특수한 사례로 입증함으로써 이 두 가지 지배적인 컴퓨터 비전 아키텍처를 연결하고 ImageNet-1K에서 최첨단 성능 향상을 달est하는 통합 프레임워크인 Convolutional Nearest Neighbors (ConvNN)를 소개한다.

원저자: Mingi Kang, Jeová Farias Sales Rocha Neto

게시일 2026-07-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mingi Kang, Jeová Farias Sales Rocha Neto

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡한 그림을 이해하려고 노력하고 있다고 상상해 보세요. 이를 위해 당신에게는 두 가지 주요 방식이 있습니다:

"지역 이웃" 접근법 (합성곱/Convolution): 당신은 캔버스의 특정 지점에 아주 가까이 서서, 당신의 손가락 바로 주변에 있는 아주 작은 페인트 조각만을 바라봅니다. 다른 모든 것은 무시합니다. 이것이 전통적인 **합성곱 신경망(CNN)**이 작동하는 방식입니다. 이들은 즉각적인 공간적 이웃에 집중하기 때문에 질감과 가장자리를 포착하는 데 탁월합니다.
"전역 유사성" 접근법 (어텐션/Attention): 당신은 뒤로 물러나 그림 전체를 봅니다. 그리고 다음과 같이 질문합니다. "내가 지금 보고 있는 이 부분이, 설령 반대편에 있더라도, 이 그림의 다른 어느 부분과 닮았는가?" 그런 다음 당신은 그 유사한 부분들을 하나로 결합합니다. 이것이 **비전 트랜스포머(ViT)**가 작동하는 방식입니다. 이들은 멀리 떨어진 유사한 특징들을 연결할 수 있기 때문에 큰 그림을 이해하는 데 탁월합니다.

오랫동안 컴퓨터 과학자들은 이 두 방법이 서로 완전히 다른 도구이며 쉽게 섞일 수 없다고 생각했습니다.

핵심 아이디어: "ConvNN" 도구

이 논문은 **Convolutional Nearest Neighbors (ConvNN)**라는 새로운 범용 도구를 소개합니다. 저자들은 위의 두 방법이 실제로는 서로 다른 것이 아니라, 하나의 스펙트럼 상의 양 끝단에 위치한 것뿐이라고 주장합니다.

ConvNN을 픽셀을 위한 스마트 검색 엔진이라고 생각해 보세요.

작동 방식: 컴퓨터가 특정 픽셀(질의/query)을 볼 때, 정보를 모으기 위해 그 "이웃"들을 검색합니다.
반전: 컴퓨터는 당신이 설정한 규칙에 따라 이 이웃들을 찾는 방법을 결정할 수 있습니다:
- 규칙 A (공간적 근접성): "나와 물리적으로 가장 가까운 이웃을 찾아라." (이것은 이 도구를 표준 **합성곱(Convolution)**으로 만듭니다).
- 규칙 B (특징 유사성): "거리가 얼마나 멀든 상관없이, 나와 가장 닮은 이웃을 찾아라." (이것은 이 도구를 자기 주의 집중(Self-Attention) 메커니즘으로 만듭니다).

논문은 이 하나의 도구의 설정을 미세하게 조정하면, 이 도구를 표준 합성곱이나 표준 어텐션 메커니즘과 똑같이 작동하게 만들 수 있다는 것을 수학적으로 증명합니다. 이들은 이 둘을 하나의 통합된 프레임워크로 묶어줍니다.

어떻게 테스트했는가

연구진은 단순히 수학적 계산만 한 것이 아니라, 이 아이디어가 실제로 컴퓨터의 시각 능력을 향상시키는지 확인하기 위해 작동하는 모델을 구축했습니다. 그들은 128만 장의 이미지가 담긴 거대한 데이터베이스인 ImageNet을 사용하여 테스트했습니다.

1. "지역적" 모델 테스트 (ResNet-50):
그들은 표준 이미지 인식 모델인 ResNet-50에 "하이브리드 브랜치(hybrid branch)"를 추가했습니다. 예를 들어, 평소에는 바로 옆의 이웃만 보는 작업자(합성곱)가 있지만, 이제는 도시 어디에서든 비슷하게 생긴 물체를 찾아낼 수 있는 조력자(ConvNN)를 갖게 된 상황을 상상해 보세요.

결과: 이 하이브리드 팀은 작업자 단독일 때보다 훨씬 더 뛰어난 성능을 보였습니다. 정확도가 3.0% 향상되었습니다.
교훈: 국소적인 것을 볼지 전역적인 것을 볼지 선택할 필요가 없습니다. 두 가지를 함께 하는 것이 승리하는 전략입니다.

2. "전역적" 모델 테스트 (Vision Transformer):
그들은 트랜스포머 모델(ViT-Base)을 가져와 기존의 "전역 검색" 방식을 새로운 ConvNN 도구로 교체했습니다.

결과: 새로운 도구는 기존 트랜스포머보다 0.7% 더 높은 성능을 보였습니다.
핵심 발견: 표준 트랜스포머는 모든 "상위 일치 항목"을 동등하게 취급합니다. 하지만 새로운 ConvNN 도구는 서로 다른 일치 항목들에 대해 서로 다른 가중치를 부여하는 법을 배웠습니다. 이는 마치 사서가 단순히 가장 비슷한 책 10권을 집어 드는 것이 아니라, 그중에서 가장 관련성이 높은 책을 우선순위에 두는 법을 배우는 것과 같습니다. 이 덕분에 모델은 특히 유사한 항목들이 많이 모여 있는 경우를 처리하는 데 매우 유능해졌습니다.

이것이 왜 중요한가 (쉬운 설명)

통합 이론: 합성곱과 어텐션이 사실 동일한 기계의 서로 다른 설정값일 뿐이라는 것을 보여줍니다.
유연성: 당신은 공간적 근접성과 특징 유사성을 혼합하여 그 중간 어디쯤에 위치하는 시스템을 설계할 수 있습니다.
효율성: 저자들은 이 도구의 특별하고 빠른 버전(Triton 커널이라 불리는 기술 사용)을 만들었으며, 이는 컴퓨터 메모리를 적게 사용하고 더 빠르게 실행되어 실제 환경에서 사용하기에 실용적입니다.

학습에 관한 참고 사항

논문은 또한 모델이 학습하는 방식에 대해 흥적인 점을 발견했습니다. 새로운 도구는 학습 초기 단계에서는 표준 방식들보다 느리게 시작됩니다. 그러나 학습이 마무리 단계(컴퓨터가 정답을 미세 조정하는 시점)에 가까워지면, 새로운 도구는 다른 방식들을 따라잡고 결국 능가합니다. 이는 새로운 도구가 이웃들에게 가중치를 주는 법을 정확히 파악하기 위해 "낮고 느린" 학습 속도가 필요한 반면, 표준 방식들은 더 경직되어 있어 빠르게 배우지만 개선이 빨리 멈추는 특성이 있기 때문인 것으로 보입니다.

요약하자면: 이 논문은 국소적 이미지 처리와 전역적 이미지 처리 사이의 간극을 메우는 단일하고 유연한 프레임워크를 소개합니다. 두 방식을 모두 "최근접 이웃 찾기"의 변형으로 다룸으로써, 그들은 수학적으로 타당하고, 실행 속도가 빠르며, 현재의 두 카테고리 리더들보다 더 정확한 도구를 만들어냈습니다.

기술 요약: Convolutional Nearest Neighbors를 통한 Convolution과 Attention의 통합

문제 정의

합성곱 신경망(CNN)과 비전 트랜스포머(ViT)는 각각 공간적 국소성(spatial locality)을 갖는 합성곱과 전역적 자기 주의 집중(global self-attention)으로 정의되는 컴퓨터 비전 분야의 두 가지 지배적인 아키텍처 패밀리를 대표한다. 이들의 서로 다른 연산 정의에도 불구하고, 선행 연구들은 상대적 위치 인코딩(relative positional encoding)을 사용하는 어텐션이 합성곱을 표현할 수 있고, 로컬 어텐션(local attention)이 구조적으로 depthwise convolution과 동일하다는 점을 시사하며 이론적 연결 고리를 암시해 왔다. 그러나 기존 방식들은 이러한 연산들을 외부적으로 연결되어야 하는 별개의 개체(예: 혼합 아키텍처)로 취급하거나 특정 쌍사 관계만을 분석하는 데 그친다. 두 연산을 단일한 근본 원리의 특수 사례로 입증하여, 이들 사이의 연속적인 설계 스펙트럼을 드러내는 통합된 수학적 프레임워크가 부족한 실정이다.

방법론: Convolutional Nearest Neighbors (ConvNN)

저자들은 $k$ -최근접 이웃( $k$ -NN) 집계에 기반한 통합 프레임워크인 **Convolutional Nearest Neighbors (ConvNN)**를 소개한다. 핵심 통찰은 합성곱과 어텐션 모두 이웃 선택 전략(neighbor selection strategy)만 다를 뿐, 이웃을 집계하는 방식이라는 점에서 동일한 인스턴스라는 것이다.

**합성곱(Convolution)**은 **공간적 근접성(spatial proximity)**을 기준으로 이웃을 선택한다.
**어텐션(Attention)**은 **특징 유사도(feature similarity)**를 기준으로 이웃을 선택한다.

프레임워크 메커니즘

ConvNN 연산은 세 단계의 순차적 과정으로 구성된다:

유사도 계산 (Similarity Computation): 입력 특징 $X$ 를 Query ( $Q$ ) 및 Key ( $K$ ) 공간으로 투영한다. 유사도 행렬 $S$ 를 계산한다 (기본값은 dot-product이지만, 공간 거리 메트릭을 허용한다).
이웃 선택 및 변조 (Neighbor Selection and Modulation): 각 쿼리에 대해 가장 유사한 상위 $K$ 개의 키를 선택한다. 가중치 함수 $\rho$ (예: softmax 또는 uniform)가 대응하는 Value ( $V$ ) 벡터를 변조한다.
가중치 집계 (Weighted Aggregation): 선택되고 변조된 이웃들을 커널 크기 $K$ , 스트라이드 $K$ 를 가진 1D 합성곱(Conv1D)을 사용하여 집계한다.

이론적 통합

본 논문은 ConvNN이 기존 연산들을 정확한 특수 사례로서 복구함을 보여주는 공식적인 증명을 제공한다:

합성곱 (Convolution): 투영을 원시 공간 좌표로 제한하고, 유사도를 위해 유클리드 거리를 사용하며, $K = R^d$ (여기서 $R$ 은 커널 크기)만큼의 이웃을 선택함으로써, ConvNN은 표준 및 depthwise convolution을 정확하게 복구하며, zero-padding 하에서의 올바른 경계 동작까지 포함한다.
어텐션 (Attention): 학습된 투영과 스케일드 닷 프로덕트 유사도를 사용함으로써, ConvNN은 다음을 복구한다:
- 표준 자기 주의 집중 (Self-attention, $K=N$ 인 경우).
- 희소 어텐션 변형 (KVT 등, $K < N$ 인 경우).
- 유사도 마스킹을 통한 구조적 희소 어텐션 (BigBird, causal masking 등).
- 대수적 동등성을 통한 멀티 헤드 어텐션 토폴로지.

실질적 구현

컴퓨팅 및 메모리 제약을 해결하기 위해 저자들은 세 가지 실용적인 구현 방안을 제안한다:

희소 후보 탐색 (Sparse Candidate Search): 전수 조사 방식의 $O(N^2)$ 탐색 대신, $r \ll N$ 인 무작위 서브셋을 선택한다. 이는 구조적 서브샘플링에 내재된 공간적 편향을 재도입하지 않으면서 복잡도를 $O(Nr)$로 줄인다.
Triton 가속 커널 (Triton-Accelerated Kernel): 유사도 계산, 이웃 수집, 집계를 하나의 실행(launch)으로 병합하는 융합된 GPU 커널을 사용한다. 이는 중간 텐서를 제거하여 순방향 피크 메모리를 $2.3\times$ 감소시키고, 순방향 및 역방향 패스 속도를 모두 향상시킨다.
하이브리드 브랜칭 레이어 (Hybrid Branching Layer): 입력을 병렬 브랜치로 처리하는 모듈이다. 한 브랜치는 표준 합성곱(공간 근접성)을 사용하고, 다른 브랜치는 ConvNN(특징 유사도)을 사용하며, 이들은 이후 pointwise convolution을 통해 결합 및 혼합된다.

주요 결과

프레임워크는 두 가지 상보적인 아키텍처에서 ImageNet-1K 분류를 통해 검증되었다.

1. 합성곱 아키텍처 (ResNet-50)

하이브리드 브랜칭: 표준 $3\times3$ 합성곱을 하이브리드 브랜칭 레이어( $\lambda=0.5$ )로 교체했을 때, Top-1 정확도가 ResNet-50 베이스라인인 **76.7%**에서 $k=16$ 일 때 **79.76%**로 향상되어 **3.06%**의 이득을 얻었다.
순수 교체 (Pure Replacement): 브랜칭 레이어 없이 단독으로 ConvNN을 교체했을 때는 약 76.2%를 기록하여 베이스라인과 유사했으나 이를 넘어서지는 못했다. 이는 로컬과 글로벌 선택의 조합이 성능 향상의 핵심 동력임을 나타낸다.
후보 선택: 무작위 희소 후보 선택( $r=32$ )은 계산 효율적이었으며 베이스라인보다 일관되게 우수한 성능을 보였으나, 전체 특징 선택(full-feature selection)보다는 성능이 낮았다.

2. 비전 트랜스포머 (ViT-Base)

ConvNN-Attention: 멀티 헤드 자기 주의 집중(MHSA)을 ConvNN-attention으로 교체했을 때, Top-1 정확도가 MHSA 베이스라인인 **80.94%**에서 $k=25$ 일 때 **81.64%**로 향상되어 **0.70%**의 이득을 얻었다.
KVT와의 비교: ConvNN은 테스트된 모든 이웃 수에 대해 KVT(고정된 균등 집계 가중치를 사용하는 방식)보다 일관되게 우수한 성능을 보였다. 격차는 더 큰 $k$ 값에서 더 벌어졌으며 (예: $k=25$ 에서 81.64% vs 81.28%), 이는 학습된 집계 커널이 고정된 균등 합보다 가치가 있음을 입증한다.
학습 역학 (Training Dynamics): ConvNN은 독특한 수렴 패턴을 보였다. 초기 및 중기 학습 단계에서는 MHSA보다 뒤처졌으나, 최종 에포크에서는 이를 추월했다. 저자들은 이를 학습된 집계 커널이 정밀한 채널별 가중치로 수렴하기 위해 낮은 학습률의 미세 조정(fine-tuning)이 필요하기 때문이라고 설명한다.

의의 및 주장

본 논문은 ConvNN이 합성곱과 어텐션 기반 연산을 연결하는 설계를 위한 원칙적인 토대를 제공한다고 주장한다. 그 의의는 다음과 같다:

통합: 합성곱과 어텐션이 근본적으로 다른 것이 아니라, 이웃 선택 기준에 의해 정의되는 연속적인 연산 스펙트럼 상의 지점임을 공식적으로 증명하였다.
설계 공간 탐색: 실무자들이 단순히 하나를 선택하는 것이 아니라, 공간적 근접성과 특징 유사성 사이의 균형을 체계적으로 조절할 수 있는 새로운 설계 공간을 제시하였다.
성능 향상: 실험 결과는 하이브리드 구성(두 가지 선택 모드를 결합)과 학습된 집계 커널이 매칭된 베이스라인에 비해 상태 최고 수준(state-of-the-art)의 성능 향상을 가져올 수 있음을 보여준다.

저자들은 겸허한 입장을 유지하며, ConvNN이 매칭된 베이스라인보다 개선되기는 하지만, CoAtNet이나 ConvNeXt와 같은 맞춤형 매크로 아키텍처 설계가 달성한 절대적인 최고 성능을 목표로 하는 것은 아니라고 언급한다. 대신, 이 연구는 밑바닥에 있는 집계 연산 자체를 격리하고 최적화하는 데 집중한다. 두 가지 열린 질문이 남아 있다: 중간 단계의 선택 기준이 양 끝단보다 더 나은 성능을 낼 수 있는지, 그리고 학습된 집계 커널의 스케줄 의존성을 실제 적용 시 어떻게 처리해야 하는가 하는 점이다.