💻 computer science

Adaptive Hebbian Memory Routing in Vision Transformers for Few-Shot Learning

이 논문은 비전 트랜스포머를 위한 적응형 헤브 학습 라우팅(Adaptive Hebbian Routing)을 제안하며, 이는 경량 MLP를 사용하여 메모리 기여도, 업데이트 강도 및 유지력을 동적으로 제어함으로써 다양한 백본과 데이터셋에 걸쳐 고정된 헤브 방식보다 퓨샷 학습 정확도와 추론 효율성 측면에서 더 우수한 성능을 보여주는 방법이다.

원저자: Mohammed Yusuf Mujawar, Noorbakhsh Amiri Golilarz

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohammed Yusuf Mujawar, Noorbakhsh Amiri Golilarz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 새로운 언어를 배우려고 하는데, 시험을 보기 전까지 공부할 수 있는 문장이 단 한 문장뿐이라고 상상해 보세요. 이것이 컴퓨터 과학자들이 말하는 **"퓨샷 러닝(Few-Shot Learning)"**입니다. 마치 학생에게 단 하나의 예시만 보여주고 새로운 과목 전체를 배우라고 요구하는 것과 같습니다.

오랫동안 컴퓨터 비전 모델(컴퓨터가 사물을 볼 수 있게 해주는 '두뇌')은 매우 경직된 두뇌를 가진 학생과 같았습니다. 일단 훈련이 끝나면 그들의 지식은 "얼어붙은(frozen)" 상태가 됩니다. 만약 이전에 본 적 없는 새로운 종류의 고양이를 보여준다면, 내부 규칙이 변하지 않기 때문에 쉽게 적응할 수 없습니다.

이 논문은 이러한 컴퓨터의 두뇌가 빠르게 적응할 수 있도록 돕는 새로운 방법을 소개합니다. 다음은 이들의 아이디어를 쉬운 비유를 사용하여 설명한 내용입니다.

문제점: "얼어붙은" 두뇌

표준 컴퓨터 모델은 두 가지 유형의 "가중치(weights, 정보를 처리하는 규칙)"를 가집니다:

느린 가중치(Slow Weights): 이는 수년간의 훈련을 통해 학습된 영구적인 규칙입니다. 이는 학생이 학교에서 암기한 핵심 교과 과정과 같습니다. 시험 중에는 변하지 않습니다.
도전 과제: 학생이 처음 보는 새로운 유형의 문제(새로운 클래스의 이미지)를 접했을 때, 학생은 현재 가지고 있는 몇 안 되는 예시들을 활용해 문제를 해결해야 합니다. 표준 모델은 테스트를 치르는 동안 새로운 예시들을 일시적으로 "기억"할 수 없기 때문에 어려움을 겪습니다.

기존의 해결책: "포스트잇" (헤브 학습, Hebbian Memory)

과학자들은 이 문제를 해결하기 위해 헤브 학습(Hebbian learning) 개념에 기반한 "빠른 가중치(Fast Weight)" 시스템을 추가하는 방법을 시도했습니다.

비유: 어떤 학생이 시험을 보는 동안 책상 위에 "포스트잇"을 붙일 수 있다고 상상해 보세요. 새로운 예시(서포트 세트)를 볼 때마다 학생은 그 위에 빠른 메모를 남깁니다. 그리고 테스트 질문(쿼리)을 마주할 때, 그 메모를 보고 답을 찾습니다.
결함: 기존 방식에서는 메모가 도움이 되든 방해가 되든 상관없이 항상 똑같은 힘으로 메모를 작성했습니다. 때로는 메모가 너무 끈적거려서 책상을 어지럽히고 생각을 방해하기도 했고, 때로는 메모가 너무 빨리 사라지기도 했습니다. 이는 모든 유형의 시험에 적용되는 "일률적인" 방식이었기에 효과적이지 않았습니다.

새로운 해결책: "스마트 사서" (적응형 헤브 라우팅, Adaptive Hebbian Routing)

이 논문의 저자들은 **적응형 헤브 라우팅(Adaptive Hebbian Routing)**이라는 새로운 시스템을 제안합니다. 단순히 메모를 적는 학생 대신, 책상 옆에 스마트 사서(MLP 라우터라고 불리는 작고 가벼운 컴퓨터 프로그램)를 배치합니다.

사서는 다음과 같이 도움을 줍니다:

메모를 사용할지 결정: 사서는 새로운 예시들을 살펴봅니다. 만약 예시들이 혼란스럽다면, 사서는 "아직 포스트잇을 사용하지 마세요. 오히려 방해가 될 수 있습니다"라고 말합니다. 예시가 명확하다면, "어서 사용하세요!"라고 말합니다.
얼마나 강하게 쓸지 결정: 사서는 펜을 조절합니다. 새로운 정보가 매우 중요하다면, 사서는 그 메모가 시험 내내 유지되도록 꾹꾹 눌러 씁니다. 사소한 세부 사항이라면 메모를 연하게 적습니다.
얼마나 오래 보관할지 결정: 사서는 메모를 시험 내내 책상에 둘 것인지, 아니면 빠르게 사라지게 할 것인지를 결정합니다.

시스템이 특정 상황에 따라 기억을 어떻게 사용할지 스스로 결정하게 함으로써, 컴퓨터는 단 하나 혹은 몇 개의 예시만으로도 훨씬 더 잘 학습할 수 있게 됩니다.

테스트 내용

연구진은 이 "스마트 사서"를 세 가지 다른 유형의 컴퓨터 비전 모델(ViT, DeiT, Swin)과 두 가지 서로 다른 "테스트 북"을 사용하여 테스트했습니다:

Omniglot: 다양한 언어의 손글씨 문자를 다루는 데이터셋 (예: 새로운 알파벳을 학습하는 것).
CIFAR-FS: 자동차, 고양이, 비행기와 같은 흔한 사물을 다루는 데이터셋.

결과

더 높은 성적: 거의 모든 테스트에서 "스마트 사서"를 탑재한 모델이 기존의 "고정된 포스트잇" 방식보다 높은 점수를 받았습니다.
- 예를 들어, Swin 모델의 경우 고정된 방식은 **96.74%**의 점수를 받았지만, 새로운 적응형 방식은 **96.94%**를 기록했습니다.
더 빠른 사고: 놀랍게도 새로운 방식은 더 빨랐습니다. 사서는 언제 포스트잇을 사용하지 말아야 할지 알기 때문에, 컴퓨터가 쓸모없는 정보를 처리하느라 시간을 낭비하지 않습니다. Swin 모델의 경우, 테스트 시간이 16.51밀리초에서 14.05밀리초로 단축되었습니다.
망가진 시스템 복구: 일부 모델(ViT 및 DeiT)의 경우, 기존의 "고정된 포스트잇" 방식은 오히려 포스트잇이 아예 없을 때보다 성능을 떨어뜨렸습니다. "스마트 사서"는 이를 해결하여 성능을 다시 최고 수준으로 끌어올렸습니다.

결론

이 논문은 컴퓨터에게 일시적인 기억을 주는 것은 좋은 아이디어이지만, 그 기억을 어떻게 사용하는지가 단순히 기억을 갖는 것보다 더 중요하다는 것을 보여줍니다. 언제 기억할지, 얼마나 강하게 기억할지, 그리고 얼마나 오래 기억할지를 결정하는 작고 스마트한 제어기를 추가함으로써, 컴퓨터는 이전보다 훨씬 빠르고 정확하게 새로운 시각적 과제를 학습할 수 있습니다.

저자들은 이 "적응형 헤브 라우팅"이 컴퓨터가 아주 적은 예시로부터 학습하도록 가르치는 데 있어 더 효율적이고 강력한 방법이라고 결론짓습니다.

기술 요약: 비전 트랜스포머의 퓨샷 러닝을 위한 적응형 헤브 학습 메모리 라우팅 (Adaptive Hebbian Memory Routing)

문제 정의

퓨샷 이미지 인식(Few-shot image recognition)은 소수의 레이블된 서포트 세트만을 사용하여 새로운 클래스에 모델을 적응시켜야 합니다. 표준 딥 네트워크는 추론 중에 고정되어 있는 "느린 가중치(slow weights)"에 의존하므로, 모든 새로운 에피소드마다 작업 특화적인 표현을 형성하는 데 어려움이 있습니다. Vision Transformer(ViT, DeiT, Swin)는 강력한 특징 추출 능력을 제공하지만, 이들은 추론 과정에서 대체로 정적입니다.

헤브 학습(Hebbian) 방식의 빠른 가중치 메모리는 서포트 세트로부터 유도된 일시적이고 작업 특화적인 연관 관계를 저장하는 메커니즘을 제공합니다. 그러나 기존 연구는 고정된 헤브 학습 메모리 동작(일정한 활성화, 업데이트 강도 및 유지력)이 아키텍처에 따라 일관되지 않은 결과를 낳는다는 것을 보여주었습니다. 즉, 메모리를 조밀하게 삽입할 경우 Swin Transformer에는 성능을 향상시키지만, ViT와 DeiT에서는 성능을 저하시킵니다. 또한, 단일한 고정된 메모리 동작이 모든 퓨샷 에피소드에 최적인지, 아니면 메모리 경로가 특정 서포트 세트에 따라 자신의 활성화와 가소성을 조절해야 하는지는 여전히 불분명합니다.

방법론

저자들은 헤브 학습 메모리 경로를 "에피소드 조건부(episode-conditioned)"로 만드는 경량화된 접근 방식인 **적응형 헤브 라우팅(Adaptive Hebbian Routing)**을 제안합니다. 고정된 헤브 규칙을 적용하는 대신, 이 방법은 경량화된 다층 퍼셉트론(MLP) 라우터를 사용하여 현재 서포트 세트의 특징에 기반해 메모리 메커니즘의 세 가지 측면을 동적으로 제어합니다.

핵심 구성 요소

헤브 빠른 가중치 모듈 (Hebbian Fast-Weight Module):
- 토큰 표현 $X$ 를 입력받아 이를 키( $K$ ), 값( $V$ ), 쿼리( $Q$ )로 투영합니다.
- $K$ 와 $V$ 의 외적(outer product)을 통해 연관 업데이트 $A$ 를 형성합니다.
- 감쇄 계수 $\lambda$ 와 가소성 비율 $\eta$ 를 사용하여 빠른 가중치 메모리 행렬 $M$ 을 업데이트합니다: $M \leftarrow \lambda M + \eta A$ .
- 메모리는 쿼리 표현을 통해 읽히며, 잔차 연결(residual connection)을 통해 백본 특징에 더해집니다.
- 메모리 행렬은 매 에피소드 시작 시 초기화되어, 오직 일시적인 연관 관계만을 저장하도록 보장합니다.
적응형 MLP 라우터 (Adaptive MLP Router):
- 선택된 백본 위치에 별도의 경량 라우터가 부착됩니다.
- 특정 레이어의 평균 풀링된 서포트 토큰 특징( $z_l$ )을 입력으로 받습니다.
- 라우터는 해당 에피소드를 위한 세 가지 제어 값을 예측합니다:
  - 외부 활성화 게이트 ( $g_l$ ): 현재 표현에 대한 메모리 출력의 기여도를 제어합니다.
  - 가소성 비율 ( $\eta_l$ ): 새로운 서포트 세트 연관 관계를 쓰는 강도를 제어합니다.
  - 메모리 감쇄 ( $\lambda_l$ ): 에피소드 동안 이전 메모리의 유지력을 제어합니다.

연구된 적응형 변형들

논문은 세 가지 구성을 평가하여 각 제어의 효과를 분리합니다:

적응형 배치 (Adaptive Placement): 외부 활성화 게이트( $g_l$ )만 학습하며, 가소성과 감쇄는 표준 학습된 파라미터로 유지됩니다.
적응형 가소성 (Adaptive Plasticity): 메모리 경로는 완전히 활성화되지만, 라우터가 에피소드별 가소성 비율( $\eta_l$ )과 감쇄( $\lambda_l$ )를 예측합니다.
완전 적응형 헤브 라우팅 (Fully Adaptive Hebbian Routing): 라우터가 세 변수( $g_l, \eta_l, \lambda_l$ )를 모두 예측하여, 모델이 특정 에피소드에 대한 기여 강도와 업데이트 역학을 모두 학습할 수 있게 합니다.

백본 통합

ViT-Small & DeiT-Small: 적응형 모듈은 블록 3, 6, 9, 12 이후에 희소하게(sparsely) 삽입됩니다 (고정 베이스라인의 조밀한 삽입과 대조됨).
Swin-Tiny: 고정 및 적응형 변형이 동일한 메모리 위치를 사용하도록 하는 직접 비교를 수행합니다. 이는 메모리 위치의 효과와 적응형 제어의 효과를 분리하기 위함입니다.

주요 기여

적응형 헤브 라우팅 제안: 경량 MLP를 사용하여 서포트 세트 특징에 따라 메모리 활성화, 가소성 강도 및 유지력을 제어하는 방법을 제시했습니다.
분리된 분석: 메모리 활성화(적응형 배치)와 에피소드별 메모리 업데이트(적응형 가소성)의 효과를 구분하여 연구했습니다.
제어된 아키텍처 비교: 고정 및 적응형 변형이 동일한 메모리 위치를 공유하는 직접적인 Swin 비교를 통해, 개선 사항이 위치 변화가 아닌 적응형 제어에서 기인함을 입증했습니다.
효율성 이점: 적응형 라우팅이 ViT/DeiT에서 조밀한 고정 삽입을 피함으로써 정확도를 높이는 동시에 추론 시간과 파라미터 수를 줄일 수 있음을 입증했습니다.

실험 결과

데이터셋 및 프로토콜

실험은 Omniglot(처음부터 학습)과 CIFAR-FS(ImageNet으로 사전 학습된 백본 미세 조정)에서 수행되었습니다. 평가는 5-way 1-shot 태스크, 멀티 샷(1–10) 평가, 그리고 교차 도메인 전이(CIFAR-FS $\to$ Omniglot)를 포함합니다.

성능 결과

Omniglot (ViT/DeiT): 조밀한 고정 헤브 삽입은 성능을 크게 저하시켰습니다 (~95.4%에서 ~90%로 하락). 적응형 변형은 이 손실을 회복했으며, 완전 적응형 라우팅은 베이스 모델보다 약간 높은 정확도(95.48%)를 달성했습니다.
Omnigлот (Swin): 동일한 위치에서의 제어된 비교에서, 고정 헤브는 기본 Swin을 96.14%에서 96.74%로 개선했습니다. 적응형 가소성은 이를 96.92%로 더욱 향상시켰으며, 완전 적응형 라우팅은 **96.94%**로 가장 좋은 결과를 얻었습니다. 이는 메모리 위치가 최적이라 할지라도 적응형 제어가 필수적임을 확인시켜 줍니다.
CIFAR-FS: 적응형 변형은 세 가지 백본 모두에서 베이스 모델과 고정 헤브 베이스라인을 모두 능가했습니다. 완전 적응형 ViT는 고정 헤브보다 16.01 퍼센티지 포인트 향상된 성능(88.59% vs 72.58%)을 보였습니다.
멀티 샷 (Multi-Shot): 적응형 라우팅의 이점은 서포트 예시가 1-shot에서 10-shot으로 증가함에 따라 지속되었습니다.
교차 도메인 전이: 적립형 Swin과 DeiT는 고정 베이스라인에 비해 CIFAR-FS에서 Omniglot으로의 전이 성능이 향상되었으나, 백본에 따라 결과는 다양했습니다.

효율성

파라미터: 4개의 위치에 희소하게 삽입함으로써, 적응형 ViT/DeiT 모델은 파라미터 수를 약 28.7M에서 24.0M으로 줄였습니다.
추론 시간: 적응형 변형은 현저히 빨랐습니다. Omniglot에서 완전 적응형 Swin은 추론 시간을 16.51 ms(고정)에서 14.05 ms로 단축했습니다. CIFAR-FS에서 완전 적급형 ViT는 시간을 24.51 ms에서 11.50 ms로 줄였습니다.

의의 및 주장

본 논문은 퓨샷 러닝에서 헤브 학습 메모리의 효용성이 단순히 어디에 삽입되느냐가 아니라, 에피소드 동안 어떻게 제어되느냐에 의해 크게 결정된다고 주장합니다.

적응형 가소성이 핵심: 직접적인 Swin 비교는 최적의 메모리 위치를 알고 있더라도 고정된 업데이트 규칙은 차선책임을 보여줍니다. 에피소드에 따라 가소성 비율과 메모리 감쇄를 적응시키는 것은 측정 가능한 정확도 향상을 가져옵니다.
아키텍처 전반의 견고함: 조밀한 고정 헤브 메모리가 평평한(flat) 트랜스포머 백본(ViT/DeiT)에 해를 끼치는 반면, 적응형 라우팅은 베이스라인 성능을 회복하고 초과합니다. 이는 에피소드 조건부 메모리 제어가 정적 삽입보다 더 견고한 전략임을 시사합니다.
효율성: 이 방법은 일시적인 연관 메모리를 활용하는 선택적이고 효율적인 방법을 제공하며, 조밀한 고정 구현에 비해 계산 오버헤드를 줄이면서도 최첨단(SOTA) 퓨샷 결과를 달amat습니다.

저자들은 적응형 가소성과 적응형 메모리 활성화가 전체 백본을 재학습하는 비용 없이도 비전 트랜스포머가 퓨샷 태스크를 더 잘 표현할 수 있게 한다고 결론짓습니다.