🤖 machine learning

Controllably Efficient Language Models

이 논문은 압축된 토큰 청크로부터 디코딩함으로써 품질과 비용 간의 트레이드오프를 테스트 시점에 제어할 수 있게 하여, 단일 모델이 다양한 효율적 아키텍처의 성능을 구현하는 동시에 밀집 트랜스포머보다 더 높은 처리량을 제공할 수 있도록 하는 메타-시퀀스 믹서인 Compress & Attend Transformer (CAT)를 소개한다.

원저자: Jatin Prakash, Aahlad Puli, Rajesh Ranganath

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jatin Prakash, Aahlad Puli, Rajesh Ranganath

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 질문에 답하기 위해 책을 읽는 아주 똑똑한 로봇 비서가 있다고 상상해 보세요. 문제는, 로봇이 더 많이 읽을수록 기억해야 할 것이 많아지고, 기억할 것이 많아질수록 이를 실행하는 데 더 느려지고 비용도 많이 든다는 점입니다. 이것은 마치 배낭 안에 도서관을 통째로 넣으려는 것과 같습니다. 결국, 당신은 전혀 움직일 수 없게 될 것입니다.

오랫동안 과학자들은 이 문제를 해결하기 위해 "효율적인" 로봇을 만드는 데 집중했습니다. 예를 들어, 마지막 몇 페이지만 기억하거나(슬라이딩 윈도우), 모든 것을 아주 작은 고정된 크기의 메모로 요약하는(선형 어텐션) 방식입니다. 하지만 여기에는 함정이 있습니다. 이 논문은 우리가 반드시 하나의 "효율적인" 로봇을 선택해서 그것만 계속 써야 한다는 생각에 반대합니다. 만약 당신이 마지막 몇 페이지만 기억하는 로봇을 선택한다면, 속도는 빠르겠지만 이야기의 줄거리를 잊어버릴 것입니다. 반대로 모든 것을 기억하는 로봇을 선택한다면, 똑똑하긴 하겠지만 문자 메시지를 보내는 것 같은 빠른 작업에는 너무 느릴 것입니다.

이 논문의 저자들은 이렇게 말합니다. "왜 선택해야 하나요?" 그들은 CAT(Compress & Attend Transformer)라고 불리는 새로운 종류의 로봇을 만들었습니다.

마법의 기술: "덩어리" 배낭

CAT를 단순히 한 번에 한 단어씩 읽는 로봇이 아니라, 덩어리(chunks) 단위로 읽는 로봇이라고 생각해 보세요. 마치 단어를 한 움큼씩 집어 드는 것처럼 말이죠.

압축 단계 (The Compression Step): 긴 이야기가 있다고 상상해 보세요. CAT는 모든 단어를 하나하나 다 기억하는 대신, 단어 뭉치(예를 들어 8단어씩)를 잡아서 즉시 하나의 작고 핵심적인 "요약 토큰"으로 압축합니다. 이는 마치 한 단락 전체를 핵심 아이디어만 담긴 작은 포스트잇 한 장으로 만드는 것과 같습니다.
어텐드 단계 (The Attending Step): 이제 로봇은 도서관 전체를 기억하려고 애쓰는 대신, 이 작은 포스트잇들만 살펴보면 됩니다. 질문에 답해야 할 때, 로봇은 과거의 포스트잇들과 지금 읽고 있는 현재의 단어 덩어리들을 함께 살펴봅니다.

가장 멋진 부분: "볼륨 조절 노브"

보통 로봇을 빠르게 만들고 싶다면, 더 "멍청한"(기억력이 적은) 모델을 따로 학습시켜야 합니다. 똑똑하게 만들고 싶다면 "느린" 모델을 학습시켜야 하죠.

CAT는 다릅니다. 이 논문은 하나의 모델을 학습시킨 후, 사용하는 바로 그 순간에 **청크 크기(chunk size)**라는 "볼륨 조절 노브"를 돌려 조절할 수 있다는 것을 보여줍니다.

노브를 "작은 덩어리"(예: 4단어)로 돌리면: 로봇이 더 세밀한 디테일을 유지합니다. 고화질 메모리를 가진 것과 같습니다. 속도는 느리고 전력도 더 많이 쓰지만, 코딩이나 100페이지 전의 함수 이름을 기억해야 하는 미스터리 해결 같은 복잡한 작업에 적합합니다.
노브를 "큰 덩어리"(예: 32단어)로 돌리면: 로봇은 과거의 내용을 매우 적은 수의 요약 노트로 압축합니다. 그러면 매우 빨라지고 메모리도 아주 적게 사용합니다. 깊은 회상이 필요 없는 짧은 이메일을 쓰는 것과 같은 빠른 작업에 완벽합니다.

여기서 진짜 마법이 일어납니다. 일반적으로 효율적인 모델을 만들려면 용도에 따라 다른 모델을 학습시켜야 하지만, CAT는 단 하나의 모델로 이 모든 것이 가능합니다.

이 논문은 하나의 학습된 CAT 모델만으로도 재학습 없이 이러한 모드 사이를 전환할 수 있음을 보여주었습니다. 이는 마치 손잡이를 돌리는 것만으로 작은 드라이버가 되었다가 거대한 렌치가 될 수 있는 스위스 아미 나이프와 같으며, 그 과정에서 도구 자체는 변하지 않습니다.

실제로 효과가 있을까요?

저자들은 자신들의 모델을 10개의 다른 인기 있는 "효율적인" 로봇(슬라이딩 윈도우 방식이나 선형 수학 기법을 사용하는 모델들)과 비교 테스트했습니다.

결과: CAT 로봇은 가장 기본적인 "밀집(dense)" 어텐션(특수 기법을 쓰지 않은 표준 방식)을 사용했음에도 불구하고, 장기 기억 작업에서 다른 전문화된 로봇들과 대등하거나 오히려 더 나은 성능을 보였습니다.
속도: 저자들이 속도를 높이기 위해 노브를 돌렸을 때, CAT는 표준 로봇보다 1.4배에서 3.7배 더 빨랐으며, 메모리는 2.2배에서 9.5배 적게 사용했습니다.
메모리: 고정된 메모리를 사용하는 로봇들과 달리, CAT의 메모리는 "우아하게" 늘어납니다. 이야기가 길어짐에 따라 메모리가 조금씩 추가되지만, 표준 로봇만큼 급격하게 늘어나지는 않습니다. 덕분에 CAT는 고정된 메모리를 가진 로봇들보다 훨씬 더 긴 이야기를 잘 기억할 수 있습니다.

이 논문이 부정하는 것들

이 논문은 자신들의 솔루션만큼 효과적이지 않은 것들에 대해 명확히 선을 긋습니다.

고정된 메모리 (Fixed Memory): 이야기가 아무리 길어져도 고정된 크기의 메모리를 유지하려는 로봇들은 아주 오래전의 내용을 기억하는 데 어려움을 겪습니다. 본 논문은 이러한 방식이 장기 문맥(long-context) 작업에서 실패한다는 것을 보여줍니다.
서로 다른 모델의 사전 학습 (Pre-training Different Models): 기존 방식은 이메일용 모델 하나, 코딩용 모델 하나를 따로 만드는 것이었습니다. 이 논문은 CAT가 하나의 모델로 두 가지를 모두 할 수 있기 때문에 이러한 방식은 낭비이며 불필요하다고 제안합니다.
학습 없는 기법 (Training-Free Tricks): 어떤 사람들은 모델을 학습시킨 후 메모리의 일부를 무시함으로써 로봇을 빠르게 만들려고 시도합니다(예: "학습 없는" 희소 어텐션). 하지만 이 논문은 이것이 좋지 않은 방법이라고 주장합니다. 왜냐하면 로봇은 원래 모든 것을 기억하도록 학습되었는데, 갑자기 일부를 무시하면 로봇이 혼란을 겪기 때문입니다. 반면 CAT는 학습하는 과정에서부터 압축하는 법을 배우기 때문에, 무엇을 남겨야 할지 정확히 알고 있습니다.

얼마나 확신하나요?

저자들은 단순히 추측한 것이 아니라 측정했기 때문에 매우 자신감이 있습니다.

그들은 150억 개의 토큰으로 모델을 학습시켰습니다.
그들은 "건초더미에서 바늘 찾기"(긴 텍스트에서 특정 숫자 찾기)나 긴 문서 이해와 같은 실제 세계의 작업들로 테스트했습니다.
그들은 다양한 크기와 구성을 가진 10개의 다른 모델과 직접 비교했습니다.
심지어 CAT 모델의 크기(파라미터 수)를 키우면 속도가 느려지지 않으면서도 성능이 더욱 향고된다는 점까지 보여주었는데, 이는 AI 분야에서 보기 드문 승리입니다.

요약하자면, 이 논문은 각기 다른 작업을 위해 수천 개의 서로 다른 로봇을 만드는 대신, 상황에 따라 자신의 메모리를 스스로 조절할 줄 아는 하나의 "똑똑한" 로봇을 만들 수 있다는 것을 시사합니다. 텍스트 덩어리를 압축한다는 이 단순한 아이디어가 놀라울 정도로 강력한 힘을 발휘합니다.

기술 요약: 제어 가능한 효율적 언어 모델 (CAT)

1. 문제 정의

대규모 언어 모델(LLM)의 배포는 트랜스포머의 밀집 어텐션(dense attention) 메커니즘과 관련된 상당한 추론 비용이라는 결정적인 병목 현상에 직면해 있습니다. 이는 시퀀스 길이( $N$ )에 따라 제곱( $O(N^2)$ )으로 증가합니다. 희소 어텐션(sparse attention), 슬라이딩 윈도우(sliding windows), 선형 어텐션(linear attention), 상태 공간 모델(SSM)과 같은 효율적인 대안들이 존재하지만, 이들은 종종 효율성을 위해 품질, 구체적으로는 인컨텍스트 회상(in-context recall) 능력을 희생합니다.

현재의 접근 방식들은 훈련 단계에서 품질과 비용 사이의 트레이드오프를 고정해 버립니다. 이는 서로 다른 요구사항을 가진 다운스트림 애플리케이션에 있어 하위 최적(suboptimal)의 시나리오를 만듭니다:

저회상 작업(예: 짧은 이메일 생성)은 밀집 어텐션의 높은 메모리와 연산량을 필요로 하지 않을 수 있습니다.
고회상 작업(예: 저장소 전체에서 함수 이름을 회상해야 하는 코딩 에이전트)은 밀집 어텐션의 전체 컨텍스트 윈도우를 필요로 하며, 이 경우 저회상 모델은 효과적이지 않습니다.

모든 가능한 트레이드오프를 위해 별도의 모델을 각각 사전 훈련하는 것은 불가능에 가깝습니다. 본 논문은 재학습 없이 **테스트 시점(test time)**에 사용자가 추론 비용(메모리 및 연산량)을 제어할 수 있으면서도 경쟁력 있는 품질을 유지하는 단일 모델에 대한 공백을 식별했습니다.

2. 방법론: 압축 및 어텐드 트랜스포머 (CAT)

저자들은 압축(compression)과 디코딩(decoding)을 분리하는 개념적으로 단순한 "메타-시퀀스 믹서(meta-sequence mixer)"인 CAT를 제안합니다.

아키텍처

CAT는 $N$ 개의 토큰 시퀀스를 크기가 $C$ 인 $N/C$ 개의 청크(chunk)로 나누어 처리합니다.

압축(Compression): 압축 시퀀스 믹서( $f_\theta$ )가 각 청크를 병렬로 처리하여, 해당 청크를 하나의 청크 표현(representation)으로 압축합니다. 이는 시퀀스 길이를 $N$ 에서 $N/C$ 로 줄입니다.
디코딩(Decoding): 디코더 시퀀스 믹서( $g_\theta$ $g_{θ}$ )는 현재 청크에 대한 토큰을 자기회귀적(autoregressively)으로 생성합니다. 결정적으로, 디코더는 다음 사항들에 어텐션을 수행합니다:
- 현재 청크 내의 이전 토큰들.
- 모든 과거 청크들의 압축된 표현들.

핵심 메커니즘

테스트 시점 제어 가능성(Test-Time Controllability): 청크 크기( $C$ )는 하나의 "노브(knob)" 역할을 합니다. $C$ 가 커질수록 압축률이 높아져(어텐션해야 할 청크 수가 줄어듦) 메모리와 연산량 절감 효과는 커지지만, 잠재적으로 회상 능력은 낮아집니다. $C$ 가 작아질수록 밀집 트랜스포머의 동작에 가까워집니다.
멀티 청크 훈련(Multi-Chunk Training): 테스트 시점의 제어를 가능하게 하기 위해, 모델은 여러 청크 크기(예: $C \in \{4, 8, 16, 32\}$ )에 대해 동시에 훈련됩니다. 학습 가능한 인디케이터 토큰(indicator token)이 훈련 중에 현재의 청크 크기를 모델에 알려줍니다. 추론 시에는 이 인디케이터 토큰을 변경함으로써 재학습 없이 운영 지점(operating point)을 전환할 수 있습니다.
병렬 확장 가능 훈련(Parallel Scalable Training):
- 과제: 디코더의 과거 청크 수가 가변적이기 때문에, 나이브한 방식의 디코더 훈련은 비효율적이며 주의 깊게 처리하지 않을 경우 $O((N/C)^3)$ 의 복잡도를 가집니다.
- 해결책: 저자들은 압축된 표현들을 시퀀스 사이에 인터리빙(interleave)합니다: $\{c_1, f_\theta(c_1), c_2, f_\theta(c_2), \dots\}$ . 커스텀 어텐션 마스크는 $c_i$ 내의 토큰이 $c_i$ 내의 원시 토큰과 $c_{<i}$ 의 압축된 표현에만 어텐션을 수행하도록 보장합니다. 이를 통해 KV 벡터를 압축된 청크에 재사용할 수 있으며, 훈련 복잡도를 밀집 어텐션 대비 상수 배 개선된 $O(N^2/C)$ 로 낮춥니다.
효율적인 생성(Efficient Generation): 추론 시, 과거의 원시 토큰들은 폐기되며 압축된 표현들만이 KV 캐시에 저장됩니다. 이는 메모리 사용량을 $C$ 배만큼 줄이고, 어텐션 범위를 $N/C + C$ 토큰으로 제한하여 처리량(throughput)을 크게 높입니다.

구현 사례

본 논문은 CAT를 사용하여 압축기와 디코더 모두에 **바닐라 밀집 어텐션(vanilla dense attention)**을 적용함을 보여줍니다. 이 선택은 기존 인프라를 활용하며 커스텀 CUDA/Triton 커널을 필요로 하지 않으면서도, 특화된 효율적 아키텍처들과 경쟁할 만한 결과를 달립니다.

3. 주요 기여

제어 가능한 효율적 메타-시퀀스 믹서: 테스트 시점의 청크 크기 파라미터를 통해 품질-처리량 프런티어를 이동할 수 있는 CAT를 도입했습니다.
단순한 구현: 표준 밀집 어텐션으로 구현된 CAT가 다양한 실세계 롱 컨텍스트 회상 작업에서 10가지 이상의 다양한 효율적 모델(선형, 하이브리드 등)과 비교했을 때, 다양한 처리량 수준에서 성능이 대등하거나 더 우수함을 입증했습니다.
하드웨어 중심 평가: 평가 지표를 FLOPs/파라미터에서 초당 토큰 수(throughput) 및 메모리 사용량으로 전환하여, 이것들이 실제 배포 비용의 결정 요인임을 주장했습니다.
확장 가능한 구현: 커스텀 커널 없이 90M에서 1B 파라미터까지 확장 가능한 순수 PyTorch 구현을 제공하며, 밀집 트랜스포머보다 $1.4\times$ 에서 $3.7\times$ 더 높은 생성 처리량을 달로합니다.
확장성: CAT가 다른 시퀀스 믹서(예: 하이브리드)를 드롭인 레이어로 감쌀 수 있음을 보여주며, 이를 통해 기존 믹서의 효율성을 상속받으면서도 제어 가능성을 추가할 수 있음을 입증했습니다.

4. 실험 결과

저자들은 약 300M에서 820M 사이의 파라미터 수를 가진 10개의 모델(Mamba2, GatedDeltaNet 및 다양한 하이브리드 포함)을 대상으로 CAT를 평가했습니다.

롱 컨텍스트 회상(Long-Context Recall): 실세계 인컨텍스트 회상 작업(SWDE, FDA) 및 RULER 벤치마크(Needle-in-a-Haystack)에서, CAT(특히 4 또는 8과 같은 작은 청크 크기 사용 시)는 밀집 트랜스포머와 대등하거나 이를 능가했으며, 선형/재귀 모델보다 유의미하게 뛰어난 성능을 보이면서도 유사하거나 더 높은 처리량을 기록했습니다.
처리량 vs 품질(Throughput vs Quality): 단일 CAT 모델은 전체 효율적 베이스라인 모델군보다 우수한 품질-처리량 트레이드오프를 달성했습니다. 예를 들어, CAT-4는 밀집 트랜스포머보다 $1.45\times$ 높은 처리량에서 더 나은 회상 능력을 제공했습니다.
메모리 효율성: CAT는 청크 크기에 따라 밀집 트랜스포머 대비 KV 캐시 메모리 사용량을 $2.2\times$ 에서 $9.5\times$ 까지 줄였습니다. 이는 과거의 원시 토큰을 폐기하기 때문입니다.
스케일링(Scaling): CAT는 밀집 모델과 유사하게 스케일링됩니다. (압축을 보완하기 위한 더 큰 디코더를 사용함에도 불구하고) 동일한 시퀀스 길이에서 CAT는 밀집 베이스라인보다 메모리 및 연산 효율성이 높습니다.
우아한 성능 저하(Graceful Degradation): 컨텍스트 길이가 증가함에 따라, CAT 모델은 고정된 메모리를 사용하는 선형 모델보다 더 우아하게 성능이 저하됩니다. 이는 "점진적으로 성장하는" 메모리(선형적이지만 더 작은 상수 계수를 가짐)가 롱 컨텍스트 모델링에 유익함을 시사합니다.

5. 의의 및 주장

본 논문은 CAT가 테스트 시점에 토큰당 추론 비용을 제어할 수 있게 만드는 간단한 레시피를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

네이티브 제어 가능성: 서로 다른 효율성 수준을 위해 재학습이 필요한 기존 믹서들과 달리, CAT는 단일 모델로 사용자 제약 조건(지연 시간 vs 회상 능력)에 즉각적으로 적응할 수 있습니다.
상보성: CAT는 기존의 효율적 믹서(선형 어텐션이나 MoE 등)의 경쟁자가 아니라, 이를 감쌀 수 있는 메타 아키텍처입니다. 이를 통해 길이 의존적 믹서가 제어 가능성을 상속받게 하고, 길이 독립적 믹서가 CAT 프레임워크 내에서 압축기나 디코더로 사용될 수 있게 합니다.
실용적 배포: 표준 밀집 어텐션 구성 요소를 사용함으로써, CAT는 많은 효율적 대안들이 요구하는 커스텀 커널의 엔지니어링 오버헤드를 피할 수 있어 즉각적인 배포가 가능합니다.

저자들은 CAT가 길이 의존적인 비용을 갖지만(순수 선형 모델과는 다름), "성장하는 메모리"의 유효한 품질과 선형 모델의 "고정된 메모리" 사이의 트레이드오프가 롱 컨텍스트 이해를 요구하는 작업에서 CAT 방식에 유리하다고 결론짓습니다. 단일 모델로부터 여러 운영 지점을 서비스할 수 있는 능력은 학습 오버헤드보다 더 가치 있는 속성으로 제시됩니다.