💻 computer science

On The Application of Linear Attention in Multimodal Transformers

이 논문은 비선형적 계산 복잡도를 선형으로 낮추면서도 경쟁력 있는 성능과 확장 법칙을 유지하여 차세대 멀티모달 트랜스포머의 확장성을 해결하는 선형 어텐션의 유효성을 LAION-400M 데이터셋과 ViT 아키텍처를 통해 입증합니다.

원저자: Armin Gerami, Seyedehanita Madani, Ramani Duraiswami

게시일 2026-04-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Armin Gerami, Seyedehanita Madani, Ramani Duraiswami

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎬 비유: 거대한 도서관과 '지나치게 꼼꼼한' 사서

1. 문제 상황: "모든 책을 다 비교하는 사서"

지금까지 AI 모델 (특히 이미지와 언어를 동시에 이해하는 모델) 은 **'표준 주의 (Standard Attention)'**라는 방식을 썼습니다.
이걸 거대한 도서관의 사서에 비유해 볼까요?

상황: 사서에게 "이 책 (이미지) 과 이 질문 (텍스트) 이 관련이 있을까?"라고 물었습니다.
기존 방식: 사서는 도서관에 있는 **모든 책 (토큰)**을 하나하나 꺼내서, 질문과 비교합니다.
- 책이 10 권이면 10 번 비교하면 되지만, 책이 1,000 권이면 1,000x1,000 = 100 만 번이나 비교해야 합니다.
- 책이 100 만 권이 되면? 비교 횟수는 100 조 번이 되어버려요.
결과: 책이 조금만 많아져도 사서는 지쳐서 일을 못 합니다. (이게 논문에서 말하는 '2 차원 복잡도 (Quadratic Complexity)' 문제입니다.)

2. 새로운 해결책: "요령 있게 요약하는 사서 (선형 주의)"

연구진들은 이 문제를 해결하기 위해 **'선형 주의 (Linear Attention)'**라는 새로운 방식을 도입했습니다.

새로운 방식: 사서가 모든 책을 하나하나 비교하는 대신, **특정한 규칙 (핵심 특징)**을 이용해 책들을 요약해서 비교합니다.
효과: 책이 100 만 권이 되어도 비교 횟수는 100 만 번만 하면 됩니다. (선형적 증가)
장점: 시간이 훨씬 짧아지고, 훨씬 더 많은 책을 다룰 수 있게 됩니다.

3. 하지만... "너무 평범한 요약"이라는 함정

그런데 여기서 문제가 생겼습니다. 기존에 쓰이던 '선형 주의' 방식은 너무 평범하게 요약하는 경향이 있었습니다.

비유: 사서가 "이 책도 중요하고, 저 책도 중요하고, 저기 있는 책도 중요해..."라고 모든 책을 똑같이 중요하게 취급해 버린 거예요.
문제: 중요한 책 (핵심 정보) 과 중요하지 않은 책을 구별하지 못하면, AI 는 무엇을 배워야 할지 몰라 학습이 잘 안 됩니다. (논문에서는 이를 '과도한 평탄화 (Over-smoothing)'라고 부릅니다.)

4. 연구진의 혁신: "중요한 건 확실히 강조하기"

저자들은 이 문제를 해결하기 위해 두 가지 간단한 수정을 가했습니다.

규칙을 다듬기: 숫자가 마이너스가 되는 상황을 막고, 비교 기준을 명확히 했습니다.
비교의 강도를 조절하기: 모든 것을 1 로 나누어 평준화하는 대신, 중요한 부분의 차이를 더 뚜렷하게 만들었습니다.

이렇게 수정한 결과, "요약은 빠르지만, 중요한 건 확실히 잡아내는" 새로운 사서가 탄생했습니다.

📊 실험 결과: "빠르면서도 똑똑해졌다"

연구진은 이 새로운 방식을 ViT-S, ViT-B, ViT-L이라는 세 가지 크기의 AI 모델에 적용해 봤습니다. (LAION-400M 이라는 거대한 데이터로 훈련시켰습니다.)

속도: 책 (데이터) 이 많아질수록 기존 방식은 시간이 기하급수적으로 늘어나지만, 새로운 방식은 직선적으로만 늘어서 훨씬 빨랐습니다.
성능: "이 책이 무슨 내용일까?"를 맞추는 정확도 (ImageNet 점수) 는 기존 방식과 거의 똑같았습니다.
확장성: 모델을 더 크게 키울수록 성능이 좋아지는 법칙 (스케일링 법칙) 도 기존 방식과 비슷하게 잘 따랐습니다.

💡 결론: 왜 이 연구가 중요한가요?

이 논문은 **"AI 가 더 크고 복잡한 데이터를 다룰 때, 기존 방식은 너무 느리고 비효율적이다"**라고 지적하며, **"선형 주의 (Linear Attention) 를 조금만 고쳐주면, 속도는 획기적으로 빨라지는데 똑똑함은 그대로 유지된다"**는 것을 증명했습니다.

한 줄 요약:

"기존 AI 는 모든 정보를 다 비교하느라 지쳐서 느려졌는데, 우리는 핵심만 빠르게 훑어보는 새로운 방법을 찾아냈습니다. 덕분에 AI 는 더 큰 두뇌를 갖게 되면서도, 여전히 똑똑하게 작동합니다!"

이 기술이 발전하면, 고해상도 비디오나 긴 문서, 복잡한 이미지와 텍스트를 동시에 이해하는 차세대 AI를 훨씬 저렴하고 빠르게 만들 수 있게 될 것입니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 다중 모달 (비전 및 언어) 트랜스포머는 최신 비전 - 언어 모델의 핵심 아키텍처로 자리 잡았으나, 표준 어텐션 메커니즘의 이차적 (Quadratic) 계산 복잡도가 확장성 (Scalability) 의 주요 병목 현상이 되고 있습니다.
문제점:
- 표준 셀프 어텐션은 시퀀스 길이 ( $N$ ) 에 대해 $O(N^2)$ 의 복잡도를 가집니다.
- 다중 모달 환경에서는 텍스트 토큰 외에도 수백에서 수천 개의 시각적 토큰 (Visual Tokens) 이 입력되므로, 시퀀스 길이가 길어질수록 계산 비용과 메모리 사용량이 급증합니다.
- 이는 고해상도 이미지 처리나 긴 컨텍스트를 필요로 하는 작업에 트랜스포머의 적용을 제한합니다.
목표: 계산 효율성을 높이기 위해 선형 어텐션 (Linear Attention, LA) 을 다중 모달 프레임워크에 적용하여, 계산 복잡도를 $O(N)$ 으로 줄이면서도 표준 어텐션과 경쟁력 있는 성능을 유지하는지 검증하는 것입니다.

2. 방법론 (Methodology)

저자들은 LAION-400M 데이터셋을 사용하여 ViT-S/16, ViT-B/16, ViT-L/16 아키텍처를 OpenCLIP 프레임워크로 사전 학습 (Pre-training) 시켰습니다. 주요 방법론적 기여는 다음과 같습니다.

A. 선형 어텐션의 기본 원리

표준 Softmax 어텐션은 $O(N^2)$ 복잡도를 가지지만, 선형 어텐션은 가산성 (Associativity) 을 이용하여 계산 순서를 재배열함으로써 $O(ND^2)$ 복잡도로 줄입니다.
기존 연구에서는 학습 가능한 커널이나 게이트 메커니즘을 사용했으나, 본 논문에서는 아핀 커널 (Affine Kernel, $f(x) = 1+x$ ) 을 기반으로 한 접근을 취했습니다.

B. 제안된 개선 사항 (Key Modifications)

기존의 선형 어텐션 공식 (식 4) 은 다중 모달 학습에서 두 가지 주요 문제를 야기했습니다:

음수 점수 문제: $q_i \cdot k_n < -1$ $q_{i} \cdot k_{n} < - 1$ 일 경우 커널 값이 음수가 되어 불안정해집니다.
- 해결: 쿼리 ( $Q$ ) 와 키 ( $K$ ) 벡터를 정규화하여 내적이 $[-1, 1]$ 범위에 머물도록 했습니다.
과도한 평활화 (Over-smoothing) 문제: 분모를 포함하는 표준 정규화 방식은 시퀀스 길이가 증가함에 따라 어텐션 점수가 균일해지고, 중요한 토큰 쌍에 대한 강조 (Saliency) 를 잃게 만듭니다. 이는 학습을 방해하고 모델의 표현력 (Expressivity) 을 저하시킵니다.
- 해결: 분모를 제거하고 상수 (2) 로 나누는 새로운 공식 (식 7) 을 제안했습니다.
- 효과: 이 변경을 통해 어텐션 점수가 0 과 1 사이로 유지되면서도, 중요한 쿼리 - 키 쌍에 대한 대비 (Contrast) 를 유지하여 모델이 학습을 효과적으로 수행할 수 있게 했습니다.

3. 주요 기여 (Key Contributions)

다중 모달 환경에서의 LA 검증: ViT-S, B, L 모델을 LAION-400M 에서 학습시켜, 제안된 선형 어텐션이 표준 어텐션과 유사한 성능을 달성할 수 있음을 입증했습니다.
계산 효율성 분석: 긴 시퀀스 길이에서 선형 어텐션이 표준 어텐션 대비 압도적인 시간 및 메모리 효율성을 보임을 실험적으로 확인했습니다.
스케일링 법칙 (Scaling Law) 준수: 수정된 선형 어텐션을 사용한 모델이 모델 크기 증가에 따른 손실 감소 경향이 표준 어텐션과 유사한 멱법칙 (Power-law) 을 따름을 보였습니다. 즉, 모델이 커질수록 성능이 저하되지 않습니다.

4. 실험 결과 (Results)

A. 시간 스케일링 (Time Scaling)

실험 설정: H200 GPU 에서 시퀀스 길이 ( $N$ ) 를 변화시키며 단일 어텐션 레이어의 전파/역전파 시간을 측정.
결과:
- 표준 어텐션: $O(N^2)$ 스케일링 (시퀀스 길이 증가에 따라 시간 급증).
- 선형 어텐션: $O(N)$ 스케일링.
- 토큰 길이가 $4 \times 10^6$ 일 때, 선형 어텐션은 표준 어텐션보다 약 1,000 배 ( $\sim 10^3$ ) 빠른 속도를 기록했습니다.

B. 학습 성능 (Training Performance)

수렴 속도: 제안된 수정 사항 (식 7) 을 적용한 선형 어텐션은 표준 어텐션과 유사한 최종 검증 정확도 (ImageNet-21K Zero-shot) 에 도달했습니다.
기존 LA 의 한계: 기존 방식 (식 4, 분모 포함) 은 학습이 매우 느리게 수렴하거나 실패하는 경향을 보였으며, 이는 어텐션 맵의 과도한 평활화 때문입니다.
제안 방식의 효과: 분모를 제거한 방식은 어텐션 가중치의 대비를 유지하여 학습을 안정화시키고, ViT-S/B/L 모든 모델에서 표준 어텐션과 경쟁력 있는 성능을 보였습니다.

C. 스케일링 법칙 (Scaling Law)

모델 파라미터 수 (22M, 86M, 304M) 에 따른 학습 손실 (Loss) 분석 결과, 수정된 선형 어텐션 (LLA) 은 표준 어텐션 (LSA) 과 매우 유사한 멱법칙 경향을 따랐습니다.
- $L_{LSA}(N) \approx 593 N^{-0.362}$
- $L_{LLA}(N) \approx 376 N^{-0.332}$
이는 선형 어텐션이 모델 규모가 커짐에 따라 성능이 저하되지 않고, 효율성만 개선됨을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

확장 가능한 솔루션: 선형 어텐션은 다중 모달 트랜스포머의 계산 병목 현상을 해결할 수 있는 강력한 대안입니다. 특히 긴 시퀀스와 고해상도 입력이 필요한 차세대 모델에 필수적입니다.
성능과 효율성의 균형: 제안된 간단한 수정 (분모 제거 및 정규화) 을 통해 선형 어텐션의 표현력 한계를 극복하고, 표준 Softmax 어텐션과 동급의 성능을 유지하면서도 계산 비용을 획기적으로 줄일 수 있음을 입증했습니다.
미래 전망: 이 연구는 대규모 데이터셋 (LAION-400M 등) 을 처리하는 차세대 다중 모달 모델 설계 시, 선형 어텐션을 표준적인 선택지로 고려할 수 있는 이론적, 실증적 근거를 제공합니다.

핵심 요약: 본 논문은 다중 모달 트랜스포머의 확장성 문제를 해결하기 위해 선형 어텐션을 도입하고, 분모 제거 및 정규화라는 간단한 수정을 통해 기존 선형 어텐션의 표현력 한계를 극복했습니다. 실험 결과, 제안된 방법은 계산 복잡도를 $O(N^2)$ 에서 $O(N)$ 으로 낮추면서도 표준 어텐션과 유사한 스케일링 법칙과 성능을 유지함을 확인했습니다.