💬 NLP

Don't Read Everything: A Curvature-Conditioned Query for Linear Attention

이 논문은 선형 어텐션의 근간을 변경하지 않으면서도 실행 중인 키 공분산(running key covariance)으로부터 유도된 곡률 추정치를 사용하여 고밀도 메모리 방향을 따라 쿼리를 수축시킴으로써, 유용한 타겟의 희석을 완화하고 선형 어텐션의 인컨텍스트 검색 및 롱 컨텍스트 성능을 향상시키는 비용 효율적인 메커니즘인 곡률 조건부 쿼리(Curvature-Conditioned Query, CCQ)를 소개한다.

원저자: Dong Le, Thong Nguyen, Cong-Duy Nguyen, Anh Tuan Luu

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dong Le, Thong Nguyen, Cong-Duy Nguyen, Anh Tuan Luu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: "소음이 가득한 도서관"

거대한 도서관에 사서(AI)가 있다고 상상해 보세요. 이 사서는 당신이 건넨 단 한 문장을 바탕으로 특정 책을 찾아내야 합니다.

기존 방식 (Softmax Attention): 사서는 도서관의 모든 책을 하나하나 확인하여, 당신의 문장과 얼마나 잘 맞는지 무게를 달아보고 가장 적합한 것을 골라냅니다. 이 방식은 매우 정확하지만, 도서관에 책이 수백만 권 있다면 매우 느리고 비용이 많이 듭니다.
빠른 방식 (Linear Attention): 시간을 아끼기 위해 사서는 지름길을 사용합니다. 모든 책을 개별적으로 확인하는 대신, 지금까지 본 모든 책을 모아둔 거대하고 계속 커지는 "요약 더미"를 유지합니다. 당신이 질문을 하면, 사서는 그저 이 더미를 살펴봅니다.
- 결함: 이 빠른 방식에서는 더미에 들어있는 모든 책이 답변에 약간의 소음을 더하게 됩니다. 만약 도서관이 "고양이"에 관한 책들로 가득 차 있는데 당신이 "강아지"에 대해 묻는다면, "고양이" 책들이 더미를 가득 채워 사서가 "강아지" 책의 소리를 듣기 어렵게 만듭니다. 유용한 정보가 다른 것들의 "덩어리"에 파묻혀 버리는 것입니다.

논문의 해결책: "곡률 조건부 쿼리" (Curvature-Conditioned Query, CCQ)

저자들은 이전의 해결책들이 요약 더미에 무엇을 넣을지(쓰기 단계)를 더 똑똑하게 만들려고 노력했을 뿐, 사서가 그것을 어떻게 읽는지(읽기 단계)는 고치지 못했다는 점을 깨달았습니다.

그들은 CCQ라고 불리는 새로운 기술을 발명했습니다. 이것은 사서에게 더미를 보기 전 특수한 '노이즈 캔슬링 헤드폰'을 씌워주는 것과 같습니다.

작동 원리 (비유)

군중 지도 그리기: 사서는 도서관의 어느 구역이 "붐비는지"에 대한 정신적 지도를 유지합니다. 만약 책의 90%가 "요리"에 관한 것이라면, 그 구역은 "밀도가 높다"고 합니다. 만약 "우주"에 관한 책이 단 한 권뿐이라면, 그 구역은 "비어 있다"고 합니다.
"곡률"에 대한 통찰: 이 논문은 테일러 전개(Taylor expansion)라는 수학적 기법을 사용하여, 도서 > "군중 밀도"를 특정 방향에서의 책들의 변화량을 통해 측정할 수 있다는 점을 이용합니다.
교정: 사서가 더미를 읽기 전에, 사서는 이 지도를 사용하여 자신의 질문을 **압축(squash)**합니다.
- 만약 당신의 질문이 "요리"(붐비는 구역)에 관한 것이라면, 헤드폰은 그 부분의 질문을 약화시켜 사서가 소음에 압도되지 않도록 합니다.
- 만약 당신의 질문이 "우주"(비어 있는 구역)에 관한 것이라면, 헤드폰은 그 부분이 명확하게 통과되도록 허용합니다.

요약하자면: CCQ는 메모리에 무엇을 쓸지를 바꾸는 것이 아니라, 질문이 메모리를 보기 전에 어떻게 형태를 갖출지를 바꿈으로써, 사서가 소음은 무시하고 독특하고 중요한 세부 사항에 집중할 수 있게 합니다.

연구 결과

저자들은 이 새로운 "헤드폰" 시스템을 두 가지 기존의 빠른 AI 모델(GLA 및 Gated DeltaNet)에 테스트하여 표준 모델들과 비교했습니다.

바늘 찾기: "건초더미 속 바늘 찾기(Needle in a Haystack)" 테스트(AI가 수천 개의 문장 속에 숨겨진 특정 문장을 찾아내야 하는 테스트)에서, CCQ 모델은 건초더미가 거대하더라도 훨씬 더 잘 찾아냈습니다.
긴 텍스트 읽기: 모델이 원래 학습했던 길이보다 더 긴 텍스트를 읽을 때(예: 4,000단어로 학습된 모델이 20,000단어를 읽을 때), CCQ 모델은 다른 모델들처럼 혼란을 겪거나 기억을 잃지 않았습니다.
더 나은 답변: 일반 지식 테스트와 독해 과제에서 CCQ를 탑재한 모델은 더 정확한 답변을 내놓았으며 실수를 더 적게 했습니다.

이것이 왜 중요한가

이 논문은 빠른 AI 모델들이 긴 텍스트에서 어려움을 겪는 이유가 단순히 무언가를 잊어버리기 때문이 아니라, 강제로 읽어야 하는 정보의 엄청난 양에 의해 주의가 분산되기 때문이라고 주장합니다.

이 단순한 "곡률" 체크를 추가함으로써, 저자들은 빠른 모델들이 막대한 비용을 들이지 않고도 느리지만 정확한 모델들처럼 작동하도록 만들었습니다. 이는 마치 자동차의 섀시를 새로 만들지 않고도 스포츠카의 엔진을 업그레이드하는 것과 같습니다.

언급된 한계점

저자들은 자신들이 특정 크기(5억 및 13억 파라미터)의 모델과 특정 유형의 빠른 AI 아키텍처에서만 테스트했다는 점을 주의 깊게 명시했습니다. 아직 거대 모델(70억 파라미터 이상)이나 모든 종류의 AI 작업에 대해 테스트를 완료한 것은 아닙니다.

기술 요약: 모든 것을 읽지 마라: 선형 어텐션을 위한 곡률 조건부 쿼리 (Don't Read Everything: A Curvature-Conditioned Query for Linear Attention)

1. 문제 정의

선형 어텐션 메커니즘은 표준 소프트맥스 어텐션의 이차 복잡도( $O(T^2)$ ) 및 메모리 오버헤드 문제를 해결하기 위해 등장했습니다. 커널화된 내적(kernelized dot product)으로 소프트식 내적을 대체함으로써, 선형 어텐션은 읽기 작업을 행렬 값 상태(matrix-valued state)를 가진 선형 RNN으로 재구성하여 선형 시간 복잡도( $O(T)$ )와 상수 캐시( $O(1)$ )를 달야냅니다.

그러나 최근의 쓰기 측 메커니즘(예: GLA, Mamba, RWKV의 데이터 의존적 게이팅; Gated DeltaNet의 델타 규칙 업데이트)의 발전에도 불구하고, 선형 어텐션 모델은 여전히 인컨텍스트 검색(in-context retrieval) 및 롱 컨텍스트(long-context) 작업에서 표준 소프트맥스 어텐션보다 성능이 떨어지는 모습을 보입니다. 저자들은 이러한 성능 격차가 정보를 메모리에 어떻게 쓰는가뿐만 아니라, 결정적으로 어떻게 읽는가에서 비롯된다고 주장합니다.

표준 소프트맥스 어텐션에서 로그-섬-익스프(log-sum-exp) 정규화 항은 경쟁적인 환경을 조성하여, 가장 독특한 키(key)가 출력을 지배하게 만듭니다. 이는 메모리의 고밀도 영역에 위치한 매치들을 효과적으로 억제합니다. 반면, 선형 어텐션은 효율성을 위해 이 정규화 항을 버립니다. 결과적으로, 모든 과거의 키가 출력에 가산적으로 기여하게 됩니다. 이로 인해 "유용한 타겟"(바늘)은 저장된 벡터들의 "덩어리"(건초더미)에 의해 희석됩니다. 특히 쿼리가 메모리의 밀도가 높은 방향과 겹칠 때 이러한 현상이 두드러집니다. 기존의 해결책들은 쓰기 측(무엇이 상태에 들어갈지 결정하는 것)에 집중해 왔으나, 미래의 쿼리가 어떤 방향을 읽게 될 것인지에는 반응할 수 없습니다.

2. 방법론: 곡률 조건부 쿼리 (Curvature-Conditioned Query, CCQ)

본 논문은 누락된 소프트맥스 정규화의 국소 기하학(local geometry)에서 영감을 얻은 경량화된 읽기 시점 교정 메커니즘인 **곡률 조건부 쿼리(CCQ)**를 제안합니다.

이론적 유도

저자들은 소프트맥스 경쟁 항 $A_t(q_t) = \log \sum_{j \le t} \exp(k_j^\top q_t)$ 가 키(key)가 고정되었을 때 쿼리 $q_t$ 만의 함수라는 점에 주목합니다. 이들은 등방성 어텐션 지점( $q=0$ ) 주변에서 이 로그 분할 함수의 **2차 테일러 전개(second-order Taylor expansion)**를 수행합니다:

$A_t(q) \approx \text{const} + \mu_t^\top q + \frac{1}{2} q^\top (\bar{C}_t - \mu_t \mu_t^\top) q$

여기서 전개의 헤시안(Hessian)은 키의 **실행 샘플 공분산(running sample covariance)**인 $\Sigma_t = \text{Cov}_{\le t}[k]$ 에 대응합니다. 이 공분산 행렬은 메모리 내의 고밀도 방향을 포착합니다.

메커니즘

CCQ는 이 기하학적 통찰을 활용하여, 소프트맥스 로그 분할의 단일 테일러 전개로부터 유도된 "정제된" 쿼리를 구축합니다. 원시 쿼리 $q_t$ 로 상태를 읽는 대신, 모델은 선형 수축(linear contraction)을 적용합니다:

$q_t^{\text{clean}} = (I - \lambda_t \Sigma_t) q_t = q_t - \lambda_t \Sigma_t q_t$

$\Sigma_t$ : 백본 상태와 동일한 순환 또는 청크 방식(chunkwise mechanism)으로 유지되는 실행 키 공분산 (각 헤드당 하나의 추가적인 $d_k \times d_k$ 행렬과 하나의 $d_k$ -벡터가 필요함).
$\lambda_t$ : 쿼리에 의해 조건화된 스칼라 게이트( $\lambda_t = \sigma(W_\lambda q_t + b_\lambda)$ )로, 수축의 공격성을 조절함.
효과: 이 연산자는 메모리의 고분산(고밀도) 방향을 따라 쿼리를 수축시킵 sleep다. 이는 메모리의 벌크(bulk)와 정렬되는 키들을 페널티를 부여함으로써, 쿼리를 혼잡한 방향으로부터 "끌어내어" 고립된 타겟을 선호하도록 만듭니다.

통합

CCQ는 읽기 단계만을 수정합니다. 쓰기 규칙이나 상태 순환 $S_t = \text{Update}(S_{t-1}; k_t, v_t, \dots)$ 를 변경하지 않으므로, 모든 선형 어텐션 백본(예: GLA, Gated DeltaNet)과 완전히 결합 가능합니다. 최종 출력은 $o_t = S_t q_t^{\text{clean}}$ 로 계산됩니다.

3. 주요 기여

읽기 단계의 병목 현상 식별: 본 논문은 읽기 단계를 쓰기 측의 해결책을 보완하는, 성능 격차를 줄이기 위한 별도의, 그리고 아직 충분히 탐구되지 않은 레버로 식별했습니다.
CCQ 메커니술: 소프트맥스 로그 분할의 단일 테일러 전개로부터 유도된 곡률 인식 선형 수축을 제안합니다. 이는 선형 어텐션의 쓰기 규칙에 부가적으로 적용될 수 있습니다.
실증적 검증: CCQ를 GLA 및 Gated DeltaNet 백본에 부착했을 때 퍼플렉시티(perplexity), 제로샷 다운스트림 정확도, 바늘 찾기(needle-in-a-haystack, S-NIAH) 검색, 길이 외삽(length extrapolation), LongBench 성능이 향상됨을 광범위한 실험을 통해 입증했습니다.

4. 실험 결과

저자들은 FineWeb-Edu 서브셋으로 학습된 500M 및 1.3B 파라미터 모델에 대해 CCQ를 평가했습니다.

언어 모델링 및 다운스트림 정확도:
- 1.3B 규모에서, CCQ-GLA는 순환 모델 중 가장 우수한 WikiText 퍼플렉시티(16.92)와 LAMBADA 정확도(47.82%)를 달성하며 백본 모델을 상당한 차이로 앞질렀습니다.
- CCQ-Gated DeltaNet은 7개 태스크 평균 정확도(56.24%)에서 순환 모델 중 최고치를 기록했습니다.
합성 검색 (S-NIAH):
- CCQ는 길이 외삽 작업에서 백본 모델을 크게 구제했습니다. 예를 들어, 1.3B 모델에서 CCQ-GLA는 4K 컨텍스트에서의 S-NIAH-1(pass-key) 정확도를 GLA 백본 대비 +49.0% 개선했습니다.
- 표준 트랜스포머는 4K 학습 제한으로 인해 8K 컨텍스트에서 정확도가 0%로 급락한 반면, CCQ 변체들은 상당한 정확도를 유지했습니다.
길이 외삽 (Length Extrapolation):
- 6개의 롱 컨텍스트 코퍼스(GovReport, QSum 등)에서 CCQ 변체들은 4K에서 20K 컨텍스트에 걸쳐 백본보다 일관되게 낮은 퍼플렉시티를 달しました.
- 20K 지점에서 CCQ 변체들은 각 백본보다 1~2.5 포인트 더 낮은 퍼플렉시티를 기록했습니다.
롱 컨텍스트 이해 (LongBench):
- CCQ-GLA는 14개 태스크의 LongBench에서 순환 모델 중 가장 높은 평균 점수(15.77)를 기록하며, Mamba2를 +2.64 포인트 차이로 앞질렀습니다.
- 두 CCQ 변체 모두 긴 출력 생성이 필요한 작업(예: GovReport, MultiNews)과 퓨샷 추론(few-shot reasoning)에서 뚜렷한 개선을 보였습니다.

5. 의의 및 주장

본 논문은 선형 어텐션의 성능 격차가 단순히 용량의 문제가 아니라 기하학적인 문제라고 주장합니다. 즉, 읽기 단계에서의 경쟁 결여가 메모리 밀도로 인해 특정 타겟을 가려버리는 것입니다.

기하학적 통찰: 저자들은 소프트맥스 로그 분할의 국소 곡률(Hessian)이 키 공분산과 일치한다는 점을 통해, 선형 어텐션에서 "누락된" 경쟁을 근사할 수 있음을 보여줍니다.
메모리 인식 교정: 입력 전용 쿼리 투영과 달리, CCQ는 저장된 키의 실행 통계치를 사용하여 쿼리를 조건화하므로 "메모리 인식(memory-aware)"적입니다.
모듈성: CCQ는 쓰기 역학을 수정하지 않고 읽기 단계를 대체할 수 있는 드롭인(drop-in) 방식의 모듈로 제시됩니다.
제한적 범위: 저자들은 현재 결과가 500M/1.3B 규모, 두 가지 특정 백본(GLA, Gated DeltaNet), 그리고 특정 벤치마크에 국한되어 있다는 점을 명시하며 한계를 인정합니다. 이들이 CCQ가 모든 선형 어텐션 문제를 해결한다거나, 추가 조사 없이 7B+ 규모나 Mamba와 같은 상태 공간 모델(SSM)에 일반화된다고 주장하는 것은 아닙니다.

요약하자면, 본 논문은 "모든 것을 읽지 않음으로써"(즉, 밀집된 메모리 방향을 따라 쿼리를 수축시킴으로써), 선형 어텐션이 소프트맥스 정규화 항을 버림으로써 잃어버린 검색 및 롱 컨텍스트 능력을 최소한의 계산 비용으로 회복할 수 있다고 주장합니다.