💻 computer science

Dynamic Sparse Attention and Mixture-of-Experts for Iterative Visual Classification

이 논문은 반복적 시각 분류를 위해 재귀적 정교화와 조건부 연산을 통해 활성 파라미터 수와 훈련 시간을 크게 줄이면서도 표준 벤치마크에서 경쟁력 있는 정확도를 달성하는 동적 희소 어텐션 및 전문가 혼합 트랜스포머를 제안한다.

원저자: Ahsan Umar

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ahsan Umar

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 흐릿한 사진 속에 어떤 동물이 숨어 있는지 알아내는 것과 같은 까다로운 퍼즐을 풀려고 노력하고 있다고 상상해 보십시오. 대부분의 컴퓨터 프로그램은 사진을 한 번 쓱 보고, 빠르게 추측을 내린 다음, 그 생각에 대해 즉시 문을 걸어 잠그는 사람처럼 행동합니다. 그들은 설령 확신이 서지 않더라도 다시 돌아보지 않습니다. 이 논문은 과학자들이 기계에게 이미지를 "보고" 이해하도록 가르치는 **컴퓨터 비전(Computer Vision)**의 세계에 살고 있습니다. 여기서 핵심 아이디어는 **반복적 정교화(Iterative Refinement)**인데, 이는 단순히 "시도하고, 생각하고, 다시 시도하라"는 뜻의 멋진 표현입니다. 단판 승부식의 추측 대신, 컴퓨터는 자신의 생각 목록을 계속 유지하며, 자신의 작업을 점검하고, 단계별로 답을 업데이트합니다. 마치 새로운 단서가 나타남에 따라 이론을 수정하는 탐정과 같습니다. 또한 이 논문은 **조건부 연산(Conditional Computation)**이라는 개념을 다루는데, 이는 시스템이 한꺼번에 모든 뇌력을 사용하는 것이 아니라, 현재 작업에 필요한 특정 뇌 부위만을 깨워 에너지와 시간을 절약하는 개념입니다. 이것이 왜 중요할까요? 이미지가 더 복잡해짐에 따라, 컴퓨터를 더 느리거나 비싸게 만들지 않으면서 더 깊게 생각하게 만드는 것이 더 똑똑하고 효율적인 AI를 구축하는 열쇠이기 때문입니다.

이 연구는 컴퓨터가 이미지와 함께 이 "추측하고 확인하기" 게임을 수행하는 영리하고 새로운 방법을 소개합니다. 연구진은 성장하는 노트를 가진 탐정처럼 행동하는 모델을 구축했습니다. 모델이 추측을 정교화하기 위해 단계를 밟을 때마다, 자신의 이력에 새로운 노트를 추가합니다. 하지만 여기에는 함정이 있습니다. 노트가 길어질수록, 모든 노트를 하나하나 읽는 것은 느리고 지루한 일이 됩니다. 이를 해결하기 위해 이 논문은 두 가지 특별한 기술을 사용합니다. 첫째, **동적 희소 주의 집중(Dynamic Sparse Attention, DSA)**을 채택합니다. 탐정에게 "노트가 그보다 짧지 않다면, 마지막 6개의 노트만 읽어라"라는 규칙이 있다고 상상해 보십시오. 탐정이 작업을 오래 지속함에 따라 이 규칙이 작동하여, 오래되었거나 덜 중요한 노트는 무시하고 가장 중요한 것에만 집중하도록 강제합니다. 이는 많은 정신적 에너지를 아껴줍니다. 둘째, 모델은 **전문가 혼합(Mixture-of-Experts, MoE)**을 사용합니다. 이것은 사건을 다루는 네 명의 전문가 팀을 생각하면 쉽습니다. 모든 단서에 대해 네 명의 전문가 모두에게 의견을 묻는 대신, 모델은 각 특정 단서에 대해 두 명의 전문가만 호출하는 스마트한 매니저처럼 행동합니다. 즉, 컴퓨터가 업무를 완수하기 위해 수행해야 할 수학적 계산을 줄여줍니다.

연구진은 이 "선택적 기억력을 가진 탐정"을 네 가지 다른 이미지 퍼즐인 CIFAR-10, CIFAR-100, MNIST, FashionMNIST에 대해 테스트했습니다. 그들은 모든 노트를 읽고 매번 네 명의 전문가를 모두 사용하는 표준 모델들과 이 새로운 방법을 비교했습니다. 결과는 이 새로운 접근 방식이 상당히 효율적임을 시사합니다. CIFAR-10 데이터셋에서 새로운 모델은 **92.3%**의 정확도를 달s성했는데, 이는 표준 모델보다 약간 더 나은 수치였습니다. 더 중요한 점은, 이 모델이 훨씬 적은 "활성" 뇌력을 사용하면서 이를 해냈다는 것입니다. 논문은 새 모델이 활성 파라미터 수를 1,313만 개에서 710만 개로 줄였다고 언급합니다. 순수 계산량 측면에서, 새 모델은 각 처리 블록당 표준 모델의 곱셈-덧셈 연산의 0.52배만을 필요로 했습니다. 실제 환경에서 이는 학습 시간을 에포크(epoch)당 180초에서 165초로 단축하는 것으로 나타났습니다.

하지만 논문은 이를 완벽한 승리라고 부르는 데 신중합니다. 저자는 개선 사항이 긍정적이긴 하지만 미미하며, 단 하나의 "시드(seed, 컴퓨터의 난수를 위한 특정 시작점)"만을 사용하여 측정되었다는 점을 지적합니다. 이는 아주 작은 정확도의 차이가 확립된 법칙이라기보다 운에 의한 것일 수도 있음을 의미합니다. 또한 그들은 기억력을 너무 인색하게 제한하는 것이 효과가 없다는 것을 발견했습니다. 만약 모델에게 마지막 2개의 노트만 보도록 명령하면(예산 k=2), CIFAR-10의 정확도가 3.2 퍼센트 포인트 하락했습니다. 그러나 6개의 노트를 보는 적절한 예산은 가장 잘 작동했으며, 최종 점수를 해치지 않으면서 **36%**의 평균 희소성을 만들어냈습니다. 이 연구는 이러한 재귀적이고 조건적인 접근 방식이 정확도를 높게 유지하면서도 작업량을 줄이는 데 유망함을 보여주지만, 그것이 진정으로 신뢰할 수 있는지 증명하기 위해서는 다양한 시작점을 사용한 더 많은 테스트가 필요하다고 결론짓습니다. 이는 더 똑똑하고 선택적인 사고가 가능하다는 강력한 암시이지만, 최종 판결은 아직 내려지지 않았습니다.

기술 요약: 반복적 시각 분류를 위한 동적 희소 어텐션 및 전문가 혼합 모델 (Dynamic Sparse Attention and Mixture-of-Experts for Iterative Visual Classification)

문제 정의

표준적인 시각 분류기는 일반적으로 단일 패스(single pass)로 동작하며, 이미지를 레이블로 변환할 때 한 번 형성된 불확별한 예측을 수정할 수 있는 능력이 없습니다. 반복적 정제(iterative refinement)는 순환 신경망(recurrent networks)과 구조적 예측(structured prediction)에서 효과적임이 입증되었으나, 이를 자연 이미지에 적용하는 데에는 두 가지 구체적인 과제가 존재합니다:

표현(Representation): 모델은 과도한 메모리 오버헤드 없이 반복적으로 재방문할 수 있을 만큼 컴팩트한 시각적 표현을 필요로 합니다.
계산 효율성(Computational Efficiency): 확장되는 히스토리의 잠재 상태(latent states)에 대해 반복적으로 어텐션을 수행하는 것은, 각 단계에서 관련 있는 상태와 파라미터에 선택적으로 주목하지 못할 경우 계산 비용이 이차 함수적으로 증가합니다.

기존의 순환 모델들은 종종 자기회귀적 디코딩(autoregressive decoding)이나 고정된 길이의 시퀀스에 의존하며, 이는 시각적 작업에 대해 효율적으로 확장되지 않거나 투명한 추론 흔적(reasoning traces)을 제공하지 못할 수 있습니다.

방법론

본 논문은 컴팩트한 트랜스포머 아키텍처를 사용하여 여러 단계에 걸쳐 클래스 가설을 정제하는 순환적 시각 분류기를 제안합니다. 핵심 설계는 세 가지 주요 구성 요소를 통합합니다:

1. x/y/z 순환 공식화

모델은 세 가지 구별된 정보 스트림을 유지합니다:

$x_{feat}$ : 경량 컨볼루션 인코더(세 단계의 convolution-pooling 단계와 global average pooling으로 구성)에 의해 생성된 글로벌 이미지 임베딩입니다.
$y_t$ : 매 단계마다 업데이트되는 클래스 예측 토큰입니다.
$Z_t$ : 이전 잠재 상태들의 시퀀스 $(z_0, \dots, z_t)$ 를 포함하는 잠재 히스토리 버퍼입니다.

각 순환 단계 $t$ 에서 트랜스포머의 입력은 글로벌 임베딩, 이전 예측 토큰, 그리고 누적된 전체 잠재 히스토리의 결합인 $h_t = [x_{feat}; y_{t-1}; Z_{t-1}]$ 입니다. 결과적으로 시퀀스 길이는 순환 깊이에 따라 선형적으로 증가합니다 ( $L_t = t + 2$ ).

2. 동적 희소 어텐션 (Dynamic Sparse Attention, DSA)

증가하는 시퀀스 길이를 관리하기 위해, 저자는 관련성 점수에 기반하여 어텐션을 위한 토큰의 하위 집합을 선택하는 메커니즘인 DSA를 도입합니다.

메커니즘: 경량 인덱서 네트워크가 헤드 평균 쿼리 표현(head-averaged query representation)을 기반으로 시퀀스의 각 토큰에 점수를 매깁니다. 점수가 가장 높은 상위- $k$ 개의 토큰이 어텐션 계산을 위해 선택됩니다.
동적 희소성: 시퀀스 길이 $L_t$ 가 증가함에 따라, $L_t \le k$ 일 때는 어텐션 메커니즘이 조밀(dense)하게 작동합니다. 히스토리가 어텐션 예산 $k$ 를 초과할 때 비로소 진정한 희소(sparse) 모드로 전환됩니다. 이를 통해 초기 단계에서는 조밀한 정제를, 후기 단계에서는 선택적인 정제를 수행할 수 있습니다.
구현: DSA는 프로젝션 비용을 더욱 줄이기 위해 어텐션 헤드 간에 공유된 키(key) 및 값(value) 프로젝션(Multi-Query Attention 스타일)을 활용합니다.

3. 전문가 혼합 (Mixture-of-Experts, MoE)

트랜스포머 블록의 피드 포워드(feed-forward) 서브 레이어가 활성 계산을 줄이기 위해 MoE 레이어로 대체됩니다.

구성: 이 레이어는 임베딩 차원 $d$ 와 동일한 은닉 너비를 가진 $E=4$ 개의 전문가를 포함합니다. 게이팅 메커즘은 각 토큰을 상위 $m=2$ 개의 전문가에게 라우팅합니다.
부하 분산(Load Balancing): 전문가의 균일한 활용을 보장하고 라우팅 붕괴를 방지하기 위해 보조 손실(auxiliary loss)이 적용됩니다.

4. 평가된 변체들

CIFAR-10, CIFAR-100, MNIST, FashionMNIST에 대해 세 가지 구성을 비교합니다:

SA-MLP: 표준 조밀 어텐션과 조밀 피드 포워드 레이어(베이스라인).
SA-MoE: 표준 조밀 어텐션과 MoE 피드 포워드.
DSA-MoE: 동적 희소 어텐션과 MoE의 결합.

주요 기여

차원적으로 명시적인 순환 모델: 글로벌 이미지 표현, 예측 토큰, 그리고 성장하는 잠재 히스토리를 연결하는 통합된 아키텍처로, 이전 연구(TRM)의 $x/y/z$ 재귀성을 계승하면서 이를 시각적 임베딩에 맞게 적응시켰습니다.
동적 희소 어텐션 공식화: 메커니즘이 조밀 모드에서 희소 모드로 전환되는 정확한 교차점을 분석적 설명과 함께 제시하는 새로운 어텐션 메커즘입니다.
통합 효율성 분석: 조밀 어텐션, 전문가 라우팅, 그리고 이들의 결합을 종합적으로 비교하여 저장된 파라미터, 활성 파라미터, 이론적 곱셈-덧셈 횟수(multiply-add counts), 그리고 측정된 훈련 시간을 구분하여 분석했습니다.
내부 궤적의 해석 가능성: 토큰 역할 간의 상호작용과 라우팅 역학을 분석하여, 모델이 공간적 이미지 영역이 아닌 토큰 역할(이미지 요약, 가설, 히스토리)을 바탕으로 예측을 정제함을 명확히 했습니다(글로벌 풀링 사용에 따른 결과).

실험 결과

실험은 RTX 3090 GPU에서 단일 랜덤 시드(42)를 사용하여 수행되었습니다.

정확도: 선택된 DSA-MoE 운용 지점(16 순환 단계, hard embedding, $k=6$ )은 모든 데이터셋에서 가장 높은 단일 시드 정확도를 달しまいました:
- CIFAR-10: 92.3%
- CIFAR-100: 69.2%
- MNIST: 98.7%
- FashionMNIST: 92.3%
- 참고: 조밀 베이스라인(SA-MLP)과의 격차는 작으며(0.2–0.7 퍼센트 포인트), 운용 지점과 임베딩 전략이 서로 다릅니다.
효율성:
- 활성 파라미터: DSA-MoE는 이상적인 활성 파라미터를 13.13M(SA-MLP)에서 7.10M으로 줄였습니다.
- 계산량: 트랜스포머 블록의 이론적 곱셈-덧셈 비율이 조밀 베이스라인 대비 **0.52×**로 감소했습니다.
- 훈련 시간: 측정된 훈련 시간은 180초/에포크(SA-MLP)에서 165초/에포크(DSA-MoE)로 감소하여 약 8.3%의 감소를 보였습니다.
절제 연구(Ablation) 결과:
- 희소성 예산 ( $k$ ): 중간 정도의 예산인 $k=6$ 이 최적의 트레이드오프를 제공하며 36%의 평균 희소성을 나타냈습니다. $k$ 를 2로 줄이면 희소성이 75%로 증가하지만, 정확도가 크게 하락(CIFAR-10에서 3.2 퍼센트 포인트)했습니다.
- 순환 깊이: 성능은 일반적으로 4단계에서 8~12단계까지 개선되었으며, DSA-MoE는 16단계까지 계속해서 향상되는 모습을 보였습니다.

의의 및 주장

본 논문은 다음과 같이 작지만 집중된 주장을 합니다: 순환적 조건부 계산(Recursive conditional computation)은 경쟁력 있는 분류 정확도를 유지하면서 활성 계산량을 줄일 수 있다.

저자는 다음을 강조합니다:

정확도 향상은 미미하며, 통계적으로 유의미함을 확인하기 위해서는 멀티 시드 검증이 필요합니다.
주요 장점은 원시 정확도의 거대한 도약보다는 활성 계산량(파라미터 및 FLOPs)의 감소에 있습니다.
"성장하는 시퀀스" 설계가 핵심입니다. 확장되는 히스토리가 없다면 top- $k$ 메커니즘은 조밀한 상태로 남아 효율성 이득을 제공할 수 없습니다.
내부 궤적은 토큰 역할 간의 상호작용(예: 이미지 요약 대 히스토리 의존성)을 보여주지만, 전방 단계의 글로벌 풀링으로 인해 공간적 속성(spatial attribution)은 제공하지 못합니다.

결론적으로, 특정 DSA-MoE 구성이 유리한 결과를 보여주었으나, 이득의 크기는 순환 깊이, 희소성 예산, 라우팅 구성에 크게 의존합니다. 향 향후 연구는 멀티 시드 통계 검증, 영역 수준의 어텐션을 가능하게 하는 공간적 토큰화, 그리고 적응형 중단(adaptive halting) 메커니즘에 초점을 맞춰야 합니다.