🤖 machine learning

Interdomain Attention: Beyond Token-Level Key-Value Memory

본 논문은 커널 방법을 통해 상태 공간 모델 (SSM) 을 어텐션 메커니즘에 통합하여 고정된 크기의 상태에 대한 쿼리 조건부 어텐션을 달성함으로써 SSM 의 확장성과 길이 견고성과 콘텐츠 기반 매칭의 성능 이점을 결합하는 새로운 아키텍처인 인터도메인 어텐션을 제안합니다.

원저자: Naoki Kiyohara, Harrison Bo Hua Zhu, Riccardo El Hassanin, Zhuo Sun, Wenlong Chen, Samir Bhatt, Yingzhen Li

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Naoki Kiyohara, Harrison Bo Hua Zhu, Riccardo El Hassanin, Zhuo Sun, Wenlong Chen, Samir Bhatt, Yingzhen Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Interdomain Attention" 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 정리합니다.

큰 문제: "너무 많은 정보" 딜레마

당신이 이야기를 쓰려고 하는데 기억력이 매우 나쁘다고 상상해 보세요.

옛날 방식 (표준 트랜스포머): 다음 문장을 쓰기 위해 지금까지 쓴 모든 단어를 다시 살펴봐야 합니다. 100 페이지 분량의 책을 쓴다면, 올바른 연결고리를 찾기 위해 뇌가 한 번에 100 페이지 전체를 머릿속에 담아 있어야 합니다. 이는 매우 느리고 엄청난 양의 정신적 에너지 (컴퓨팅 파워) 를 필요로 합니다. 이야기가 길어질수록 뇌는 압도당하게 됩니다.
대안 방식 (상태 공간 모델/SSM): 에너지를 절약하기 위해 전체 이야기를 단일한 작은 메모 카드 하나로 요약합니다. 다음 문장을 쓸 때 이 메모 카드만 봅니다. 이야기가 아무리 길어져도 이는 매우 빠르고 효율적입니다. 하지만 작은 메모 카드만 있기 때문에 구체적인 세부 사항을 놓치기 쉽습니다. 3 장 전에 언급된 캐릭터의 이름을 잊어버릴 수도 있습니다.

목표: 저자들은 작은 메모 카드의 속도와 효율성과 전체 책을 보는 기억력과 세부 사항을 모두 갖춘 시스템을 구축하고자 했습니다.

해결책: "Interdomain Attention"

저자들은 Interdomain Attention이라는 새로운 방법을 개발했습니다. 이는 매우 특정한 방식으로 도서관을 관리하는 똑똑한 사서라고 생각하면 됩니다.

1. "압축된 도서관" (SSM 핵심)

서가에 모든 책 (토큰) 을 보관하는 대신, 사서는 특수한 기계 (SSM) 를 사용하여 이야기의 전체 역사를 고정된 크기의 "요약 계수" 집합으로 압축합니다.

비유: 1,000 페이지 분량의 소설이 있다고 가정해 보세요. 1,000 페이지 전체를 보관하는 대신, 이야기를 64 개의 구체적인 "테마"나 "분위기" (예: "영웅의 여정", "악당의 동기", "배경의 분위기" 등) 로 정제합니다. 이 64 개의 테마가 바로 당신의 "상태"입니다. 이야기가 10 페이지든 10,000 페이지든 상관없이, 당신은 항상 이 64 개의 테마만 손에 들고 있으면 됩니다.

2. "스마트 쿼리" (어텐션 부분)

다음 문장을 쓰고 싶을 때, 당신은 64 개의 테마를 맹목적으로 보지 않습니다. 대신 구체적인 질문 (쿼리) 을 던집니다.

마법 같은 트릭: 시스템은 당신의 질문을 그 64 개의 테마와 같은 "언어"로 번역합니다. 그런 다음 확인합니다: "이 64 개의 테마 중 현재 질문과 가장 관련 있는 것은 무엇인가?"
결과: 당신은 양쪽의 장점을 얻게 됩니다. 압축된 요약을 보고 있으므로 빠르지만, 현재 생각하고 있는 내용에 기반하여 그 요약의 올바른 부분을 선택하기 때문에 똑똑합니다.

작동 원리 (주방 비유)

당신이 수프 (출력) 를 만드는 요리사라고 상상해 보세요.

표준 어텐션: 거대한 냄비 안의 재료들 (전체 역사) 이 있습니다. 소금을 넣으려면 냄비 안의 모든 재료를 맛보고 얼마나 넣을지 결정해야 합니다. 냄비가 커질수록 이는 영원히 걸립니다.
표준 SSM: 64 개의 병만 들어 있는 작은 향신료 선반이 있습니다. 병 하나를 집어 넣고 섞기만 하면 됩니다. 빠르지만 더 이상 특정 재료의 맛을 느낄 수는 없습니다.
Interdomain Attention:
1. 당신이 지금까지 요리한 모든 것을 바탕으로 고정된 크기의 향신료 선반 (64 개의 테마) 을 지속적으로 업데이트하는 기계가 있습니다.
2. 소금을 넣고 싶을 때 냄비 전체를 맛보지 않습니다. 대신 특수한 맛보는 숟가락 (쿼리 특징 지도) 을 들고 있는데, 이것이 즉시 알려줍니다: "현재 맛을 바탕으로 '토마토' 병의 30% 와 '허브' 병의 70% 를 섞어야 합니다."
3. 고정된 향신료 선반에서 그 특정 양을 섞습니다. 선반이 작기 때문에 빠르지만, 숟가락이 현재 순간에 맞춰 섞는 방법을 정확히 알고 있기 때문에 정확합니다.

논문에서 실제로 발견한 점

저자들은 1 억 2,500 만 개 파라미터 (작은 규모) 에서 13 억 개 파라미터 (큰 규모) 에 이르는 언어 모델에서 이 새로운 "Interdomain Attention"을 테스트했습니다. 주요 주장은 다음과 같습니다.

"작은 메모 카드" (SSM) 를 능가함: 모든 테스트에서 Interdomain Attention 은 표준 SSM 방법보다 텍스트 작성에 더 뛰어났습니다. 속도를 유지하면서도 문맥을 더 잘 이해했습니다.
규모 확대 시 "거대한 냄비" (표준 어텐션) 를 능가함: 테스트한 가장 큰 규모 (13 억 개 파라미터) 에서 Interdomain Attention 은 모든 단어를 보는 표준 방법보다 더 나은 텍스트를 작성했습니다 (더 낮은 "퍼플렉시티"와 더 나은 상식 점수).
긴 이야기를 잊지 않음: 가장 큰 승리는 길이입니다. 표준 방법들은 훈련된 길이보다 이야기가 길어지면 혼란스러워지고 실수를 범합니다. 반면 Interdomain Attention 은 훈련된 길이보다 3.5 배 더 긴 이야기에서도 차분하고 일관되게 유지되었습니다. 느려지거나 더 혼란스러워지지 않고 계속 작동했습니다.
비밀 재료: 그들은 "메커니즘 분해" (어떤 부분이 작업을 수행했는지 보이기 위해 기계를 분해하는 세련된 방법) 를 수행했습니다. 그 결과, 쿼리 조건부 투영 (질문을 요약 언어로 번역하는 "스마트 숟가락") 이 성공의 주된 이유임을 발견했습니다. 그 특정 단계가 없으면 시스템은 표준 SSM 처럼 행동하여 성능이 저하되었습니다.

트레이드오프 (할 수 없는 것)

논문은 한 가지 약점에 대해 솔직합니다: 정확한 회상입니다.

비유: 시스템에 "4 페이지에 언급된 캐릭터의 정확한 전화번호는 무엇인가?"라고 묻는다면, 전체 책을 보는 표준 방법이 찾기에 뛰어납니다. Interdomain Attention 은 압축된 요약에 의존하기 때문에, 주요 "테마"의 일부가 아닌 경우 (전화번호나 특정 이름과 같은) 정확한 문자열을 검색하는 데는 덜 뛰어납니다.
그러나 저자들은 이는 정보 압축을 사용하는 어떤 시스템의 한계이며, 그들의 새로운 방법만의 문제가 아니라고 지적합니다.

요약

Interdomain Attention은 AI 가 기억하는 새로운 방법입니다. 전체 세계를 머릿속에 담으려 하거나 (느림) 작은 메모만 갖거나 (망각) 대신, 세계에 대한 똑똑하고 압축된 요약을 유지합니다. 글을 쓸 때 필요할 때, 특수한 번역기를 사용하여 그 요약의 정확한 부분을 선택합니다. 이는 빠르고 효율적이며, 혼란스러워지지 않고 매우 긴 이야기를 처리하는 데 놀라울 정도로 뛰어납니다.

기술 요약: 인터도메인 어텐션

문제 정의

트랜스포머와 심층 상태 공간 모델 (SSM) 은 시퀀스 모델링을 위한 두 가지 대립적인 설계 패러다임을 나타냅니다. 표준 어텐션 메커니즘 (Vaswani et al., 2017) 은 성장하는 키 - 값 (KV) 캐시를 활용하여 콘텐츠 기반 매칭을 통해 쿼리를 라우팅합니다. 이는 날카로운 회상 (recall) 을 제공하지만, 시퀀스 길이에 따라 이차적인 계산 비용 ( $O(N_q N)$ ) 과 선형적인 메모리 증가 ( $O(N)$ ) 를 초래합니다. 반면, 심층 SSM(예: S4, Mamba) 은 전체 컨텍스트를 고정된 크기의 재귀적 상태로 압축하여 단계당 $O(1)$ 시간에 업데이트합니다. 그러나 이러한 압축은 직접적인 쿼리 - 키 매칭을 상실하는 대가를 치릅니다. 고정된 상태는 특정 쿼리에 의해 직접 주소 지정될 수 없으므로, 정밀한 검색이나 콘텐츠 기반 어텐션이 필요한 작업에서 종종 성능이 약화됩니다.

하이브리드 아키텍처는 이러한 접근 방식을 교차하여 시도해 왔으며, 선형 어텐션 변형들은 직접적으로 어텐션 비용을 줄이려 노력했습니다. 본 논문은 다른 경로를 제안합니다: 고정된 크기의 상태 효율성을 유지하면서 각 쿼리가 압축된 과거 기록에 주의를 기울일 수 있도록 어텐션 메커니즘에 SSM 을 직접 통합하는 것입니다.

방법론: 인터도메인 어텐션

핵심 기여는 커널 어텐션과 상태 공간 모델을 통합하는 토크 믹서인 인터도메인 어텐션입니다. 이 방법은 어텐션의 커널 회귀 관점과 HiPPO 스타일의 기저 투영에서 유도됩니다.

이론적 유도

커널 특징 맵: 어텐션 커널 $K(q, k)$ 는 유한 특징 맵 $\xi(q)^\top \xi(k)$ 로 근사됩니다.
기저 투영: 모든 키와 값을 저장하는 대신, 이 방법은 키 특징 $\xi(k)$ 와 값 $v$ 를 단일 SSM 재귀 (특히 HiPPO 스타일) 가 유지하는 공유 기저 함수 집합으로 투영합니다. 이는 시퀀스 길이와 무관한 고정된 크기의 상태를 결과로 낳습니다.
압축된 계수: 이러한 투영의 적분은 세 가지 상태 성분을 생성합니다:
- $U$ : 키에 대한 기저 투영 계수 (유도 변수).
- $\Gamma$ : 값 투영.
- $\eta$ : 정규화 상수.
쿼리 조건부 판독: 각 위치에서 쿼리 $q$ 는 특징 공간 $\xi(q)$ 로 매핑됩니다. 출력은 개별 토큰이 아닌 압축된 계수에 주의를 기울여 계산됩니다:
$\tilde{o} = \frac{\sum_m (\xi(q)^\top u_m) \gamma_m}{\sum_m (\xi(q)^\top u_m) \eta_m}$
행렬 형태로는: $\tilde{O} = \frac{F_q U^\top \Gamma}{F_q U^\top \eta}$ 이며, 여기서 $F_q$ 는 쿼리 특징 행렬입니다.

확장 가능한 구현

실용적인 구현은 이론적 유도의 학습된 완화 버전으로, 안정성과 효율성을 위해 설계되었습니다:

특징 맵: $\xi(x) = \text{SiLU}(\text{SC}(x)) / \|\text{SiLU}(\text{SC}(x))\|^2$ 인 DeltaNet 스타일의 신경 특징 맵을 사용하며, 여기서 SC 는 인과적 깊이별 합성곱 (causal depthwise convolution) 입니다.
재귀적 코어: 복소수 대각 S4D 재귀를 사용하여 HiPPO 투영을 근사화합니다. SSM 입력은 키 특징 $\xi(k)$ 와 값 $v$ 를 연결합니다.
정규화: SSM 에 들어가기 전에 키와 값 반쪽에 대해 학습 가능한 헤당 편향을 적용한 입력 RMSNorm 을 적용합니다.
분모 없는 판독: 입력 재조정으로 인해 발생하는 불일치한 스케일의 혼합을 피하기 위해 정규화 항 $\eta$ 를 제거하여 선형 어텐션 판독을 도출합니다: $\tilde{O} = F_q U^\top \Gamma$ .
아키텍처: 사전 정규화, SwiGLU 피드포워드, 회전 위치 임베딩 (RoPE) 을 갖춘 Llama 스타일 디코더에 내장됩니다.

주요 기여

구축: 커널 회귀와 HiPPO 기저 투영에서 유도된 쿼리 조건부 고정 상태 토크 믹서로, 이상적인 이론적 유도 및 확장 가능한 구현 간의 명확한 구분을 제공합니다.
메커니즘 분해: 1 억 2 천 5 백만 파라미터에서의 제거 실험 (ablation study) 은 표준 S4D 믹서 대비 성능 향상을 주도하는 주된 요인으로 쿼리 조건부 투영을 규명합니다. 이중 키/값 입력은 더 작고 부차적인 기여를 합니다.
확장 연구: 매칭된 재귀 상태 예산 하에서 1 억 2 천 5 백만에서 13 억 파라미터까지 FineWeb-Edu 에서 수행된 포괄적인 평가.

실험 결과

이 연구는 인터도메인 어텐션을 S4D 전용 토크 믹서 및 표준 소프트맥스 어텐션 베이스라인과 비교합니다.

S4D 대비 성능: 인터도메인 어텐션은 모든 규모 (1 억 2 천 5 백만~~13 억) 에서 S4D 토크 믹서를 개선하여 검증 퍼플렉시티를 13~~16% 낮췄습니다.
소프트맥스 대비 성능: 13 억 파라미터에서 인터도메인 어텐션은 동일한 레시피의 소프트맥스 베이스라인을 검증 퍼플렉시티 (7.98 대 8.63) 와 여덟 가지 작업으로 구성된 상식 suites(+3.03 백분율 포인트 평균 정확도) 에서 능가합니다. 1 억 2 천 5 백만 파라미터에서는 소프트맥스와 대략 동급입니다.
길이 외삽: 고정 상태 코어를 활용하여 인터도메인 어텐션은 "길이 평탄 (length-flat)" 거동을 보입니다. 훈련 컨텍스트 (4K) 를 넘어선 소프트맥스 베이스라인의 퍼플렉시티가 크게 저하되는 반면, 인터도메인은 훈련 컨텍스트의 3.5 배인 14K 까지 안정적인 성능을 유지합니다.
회상 한계: 논문은 인터도메인 어텐션이 다른 고정 상태 모델들과 마찬가지로 소프트맥스 어텐션에 비해 정확한 문자열 연관 회상 (예: 건초 더미 속 바늘 찾기 작업) 에서 어려움을 겪는다고 지적하며, 이는 인터도메인 메커니즘의 특정 결함이 아니라 고정 상태 압축의 구조적 한계로 식별합니다.

중요성과 주장

본 논문은 인터도메인 어텐션이 고정 상태 SSM 의 효율성과 어텐션의 콘텐츠 기반 검색 능력 사이의 간극을 성공적으로 메웠다고 주장합니다. 특징을 SSM 기저에 투영함으로써, 표준 어텐션의 이차적 비용이나 선형 메모리 증가 없이 쿼리가 압축된 과거 기록에 주의를 기울일 수 있게 합니다.

주요 중요성은 고정된 재귀적 상태에 대한 쿼리 조건부 투영이 순수 SSM 과 더 큰 규모에서는 표준 소프트맥스 어텐션보다 더 우수한 성능을 발휘할 수 있음을 보여주며, 동시에 SSM 의 바람직한 길이 외삽 특성을 계승한다는 점에 있습니다. 저자들은 이 접근 방식이 메모리 효율성과 다양한 컨텍스트 길이에 걸친 일관된 성능이 중요한 장문 컨텍스트 언어 모델링을 위한 실현 가능한 경로라고 제안합니다. 향후 작업 방향으로는 더 강력한 고정 상태 코어 (예: Mamba-3) 통합 또는 판독을 빠른 가중치 업데이트 규칙과 결합하는 것이 언급됩니다.