💬 NLP

CARVE: Content-Aware Recurrent with Value Efficiency for Chunk-Parallel Linear Attention

CARVE는 삭제 연산을 키 축(key axis)으로 제한함으로써 주요 델타 규칙 모델들의 핵심 결함들을 해결하고, 이를 통해 효율적인 WY-형식 청크 병렬 학습을 가능하게 함으로써 더 적은 파라미터와 메모리 사용량으로도 퍼플렉시티, 추론 및 검색 측면에서 최첨단 성능을 달성하는 콘텐츠 인지형 순환 구조이다.

원저자: Sayak Dutta

게시일 2026-06-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sayak Dutta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 모든 것을 기억하는 아주 똑똑한 로봇 비서가 있다고 상상해 보세요. 하지만 여기 문제가 하나 있습니다. 이 로봇의 기억력은 아주 작은, 정해진 크기의 수첩입니다. 당신이 새로운 정보를 말할 때마다 로봇은 결정해야 합니다: 이걸 적어 넣을까? 공간을 만들기 위해 예전 기록 중 하나를 지워야 할까? 그리고 어떤 기록을 지워야 할까?

오랫동안, 가장 뛰어난 로봇들(예를 들어 "GDN-2" 제품군)은 치명적인 약점이 있었습니다. 그들은 오직 방금 당신이 말한 새로운 정보에만 근거해서 무엇을 지울지 결정했습니다. 그들은 이미 자신의 수첩에 무엇이 적혀 있는지 확인하지 못했습니다. 그것은 마치 눈을 가린 채 방 청소를 하면서, 지금 손에 들고 있는 물건만 보고 무엇을 버릴지 추측하는 것과 같았습니다.

또한 그들에게는 "대역폭" 문제가 있었습니다. 무엇을 쓸지 결정하기 위해, 매번 개별 정보마다 거대하고 복잡한 일련의 지침들을 사용했기 때문에 속도가 느려지고 공간을 낭비했습니다.

또한 "교통 체증" 문제도 있었습니다. 빠르게 학습하려고 할 때, 그들은 다차선 고속도로 대신 일차선 도로처럼 한 번에 하나씩만 처리해야 했습니다.

CARVE의 등장.

이 논문은 CARVE(Content-Aware Recurrent with Value Efficiency)라고 불리는 새로운 로봇 아키텍처를 소개합니다. CARVE는 이 세 가지 문제를 하나의 영리한 기술과 두 가지 스마트한 업그레이드로 해결합니다.

1. "눈가리개" 해결: 지우기 전에 먼저 보기

문제점: 기존의 로봇들은 이미 무엇이 저장되어 있는지 모르는 상태에서 무언가를 지웠습니다.
CARVE의 해결책: CARVE는 지우기로 결정하기 전에 자신의 메모를 살짝 엿볼 수 있습니다.
마법 같은 기술: 보통 메모를 엿보는 것은 하드 드라이브로 가는 느린 여정(마치 책을 확인하러 도서관까지 걸어가는 것과 같은)을 필요로 합니다. 하지만 CARVE는 영리합니다. CARVE는 일일 보고서를 작성하는 동안, 이미 손에 필요한 정보를 쥐고 있다는 사실을 깨달았습니다. CARVE는 단순히 그 정보를 재사용하여 무엇을 지울지 결정합니다.

비유: 당신이 여행 가방을 싸고 있다고 상상해 보세요. 기존 방식은 손에 들고 있는 새 셔츠만 보고 무엇을 버릴지 추측하는 것이었습니다. CARVE의 방식은 셔츠를 든 채로 가방 안을 빠르게 훑어보고, 이미 안에 무엇이 들어있는지 확인한 뒤, "아, 이런 게 이미 세 개나 있네, 하나는 버려서 공간을 만들어야겠다"라고 말하는 것과 같습니다.
결과: 이것은 추가 비용 없이 이루어집니다. 속도가 느려지지 않고, 이미 처리하고 있던 정보를 활용할 뿐입니다.

2. "무거운 배낭" 해결: 짐 줄이기

문제점: 기존의 로봇들은 얼마나 많이 쓸지 결정하기 위해 거대한 배낭(엄청난 수의 파라미터)을 짊어지고 다녔습니다. 그것은 마치 견과류를 까기 위해 대형 망치를 사용하는 것과 같았습니다.
CARVE의 해결책: CARVE는 모든 개별 항목마다 복잡한 지도가 필요하지 않다는 것을 깨달았습니다. 그저 전체 그룹을 조절하는 단순한 "볼륨 조절 노브" 하나만 있으면 됩니다.

비유: 수첩의 모든 페이지마다 각기 다른 지우개를 가지고 있는 대신(이는 많은 공간을 차지합니다), CARVE는 페이지 전체에 얼마나 많이 쓸지를 제어하는 하나의 마스터 스위치를 가집니다.
결과: 이 방식은 로봇의 "두뇌 크기"를 약 19% 줄여주어, 지능을 잃지 않으면서도 더 빠르고 저렴하게 만들 수 있게 해줍니다.

3. "교통 체증" 해결: 고속도로 개통하기

문제점: 기존의 로봇들은 메모를 한 줄씩 처리해야 했기에 느렸습니다.
CARVE의 해결책: "지우는" 규칙을 특정 방향("key" 축)으로 제한함으로써, CARVE는 특별한 수학적 지름길을 열어줍니다.

비유: 기존의 로봇들은 차들이 서로 기다려야 하는 단선 도로와 같았습니다. CARVE는 모든 차가 나란히 전속력으로 달릴 수 있는 다차선 고속도로로 바꿉니다.
결과: CARVE는 기존의 가장 빠른 모델들만큼 빠르게 학습하면서도, 더 똑똑하고 가벼운 장점을 동시에 갖게 되었습니다.

결과로 증명하다

저자들은 이 새로운 로봇을 실제 데이터를 사용하여 거대한 규모(13억 개의 파라미터)로 테스트했습니다. 그 결과는 다음과 같습니다:

더 똑똑해짐: 기존의 최고 모델들보다 언어 작업에서 실수가 적었습니다(낮은 "perplexity").
더 나은 기억력: 긴 이야기 속에 숨겨진 특정 사실을 찾아내는 능력(건초더미에서 바늘 찾기)이 훨씬 뛰어났으며, 특히 방해 요소가 많을 때 더욱 빛을 발했습니다.
더 빠르고 가벼움: 속도가 느려지지 않았으며, 오히려 컴퓨터 메모리를 13% 적게 사용하면서도 이전 챔피언들과 거의 동일한 속도로 실행되었습니다.

핵심 요약

CARVE가 획기적인 이유는 AI의 주요 모순을 해결했기 때문입니다: 즉, 더 똑똑하고(무엇을 저장하는지 알고), 더 작으며(더 적은 자원을 사용하고), 더 빠른(교통 체증에 걸리지 않는) 메모리 시스템을 동시에 구현했다는 점입니다. 이는 지능을 위해 속도를 희생할 필요가 없음을 증명하며, 단지 로봇이 지우기를 시작하기 전에 자신의 수첩을 쳐다보게 하기만 하면 된다는 것을 보여줍니다.

기술 요약: CARVE (Content-Aware Recurrent with Value Efficiency)

1. 문제 정의

델타 규칙(delta-rule) 계열(예: GDN-2)에 기반한 순환 시퀀스 모델은 과거의 컨텍스트를 고정된 크기의 상태 행렬 $S_t \in \mathbb{R}^{d_v \times d_k}$ 로 압축합니다. 최첨단 모델인 GDN-2는 삭제(erase) 및 쓰기(write)를 위해 전체 요소별(element-wise) 행렬 게이트를 사용하는 반면, 저자들은 효율성과 역량을 제한하는 세 가지 본질적인 구조적 결함을 식별했습니다:

메모리 무시 게이팅(Memory-Blind Gating): 삭제( $B_t$ )와 쓰기( $W_t$ ) 게이트 모두 입력 토큰 $x_t$ 로부터만 계산됩니다. 모델은 무엇을 잊을지 결정하기 전에 현재 상태 $S_{t-1}$ 을 관찰할 수 없으므로, 콘텐츠에 의존적인 선택적 망각(예: 높은 가치의 연관 관계는 보호하면서 오래된 노이즈만 제거하는 것)을 수행하는 것이 불가능합니다.
쓰기 게이트 대역폭 병목(Write-Gate Bandwidth Bottleneck): GDN-2의 쓰기 게이트 프로젝션은 입력을 전체 $d_v \times d_k$ 행렬로 매핑합니다. 이는 값(value) 프로젝션 자체와 동등한 파라미터 수와 메모리 풋프린트를 발생시키지만, 저자들은 이러한 개별 값 단위의 선택성이 핵심적인 연상 회상(associative recall) 작업에 대해 미미한 표현력의 이득만을 제공한다고 주장합니다.
청크 병렬성 파괴(Destruction of Chunk-Parallelism): 델타 규칙 모델의 효율적인 학습은 토큰들을 하나의 선형 시스템으로 배치하는 WY-form 삼각형 청크 솔버(WY-form triangular chunk solver)에 의존합니다. 그러나 GDN-2의 삭제 게이트는 값(value) 축과 키(key) 축 모두에 작용합니다. 이러한 결합은 청크 내부 시스템을 $d_v$ 개의 독립적인 솔브(solve)로 분해하게 만들어, 학습 처리량을 병렬 $O(\log T)$ 에서 직렬 순환 비용으로 급격히 떨어뜨립니다.

2. 방법론: CARVE 아키텍처

CARVE는 모든 게이팅을 키(key) 축으로만 제한한다는 단일 아키텍처 제약을 통해 이 세 가지 문제를 동시에 해결합니다. 이 제약은 WY-form 청크 솔버가 유효하게 유지되기 위한 필요충분조건임을 증명합니다.

2.1 출력 재사용을 통한 콘텐츠 인식 삭제(Content-Aware Erase)

고대역폭 메모리(HBM)로부터 상태 행렬 $S_{t-1}$ 을 읽어오는 막대한 비용 없이도 메모리 인식 게이팅을 가능하게 하기 위해, CARVE는 새로운 리드아웃 메커니즘을 도입합니다:

메커니즘: 순환 출력 텐서 $o_t = S_{t-1}q_t$ 는 이미 커널에 의해 계산되어 HBM에 기록됩니다. CARVE는 이 텐서를 재사용하여 청크 평균 $m_c = \frac{1}{L}\sum o_t$ 를 계산합니다.
게이팅: 이 청크 평균은 제로 초기화된 저계수(low-rank) 프로젝션 $U_b$ 를 통해 전달되어 삭제 게이트를 조절하는 콘텐츠 신호 역할을 합니다: $b_{c,t} = \sigma(b_{x,t} + U_b m_c)$ .
효율성: 이는 추가적인 HBM 트래픽을 전혀 발생시키지 않습니다. 신호는 한 청크만큼 "오래된(stale)" 상태이지만, 이론적 분석에 따르면 결과적인 게이트 섭동(perturbation)은 $O(1/\sqrt{L})$ 로 감소하며, 청크 길이 $L=128$ 까지 실험적으로 0.18%의 평탄한 편차를 보입니다.

2.2 스칼라 값 쓰기 게이트(Scalar Value Write Gate)

CARVE는 $d_v$ 차원의 개별 값 단위 쓰기 게이트 프로젝션을 모든 값 채널에 균일하게 브로드캐스팅되는 단일 스칼라 $w_{h,t}$ 로 대체합니다.

영향: 이를 통해 쓰기 게이트 파라미터를 $d_v$ 배만큼 줄입니다 (예: $H=12, d_v=768$ 일 때 레이어당 589,824개에서 9,216개로 감소).
이론적 보장: 저자들은 단일 슬롯 연상 회상(single-slot associative recall)을 위해 스칼라가 충분하다는 것을 증명합니다(정리 15). 따라서 이 감소는 핵심 작업에 대해 손실이 없습니다.

2.3 키 축 감쇠 및 퓨전(Key-Axis Decay and Fusion)

이 아키텍처는 키 축에 엄격하게 적용되는 지수적 감쇠 게이트를 사용합니다. 감쇠 활성화 함수는 Triton 커널 내부에 직접 퓨전("gate-in-kernel")되어, 전체 시퀀스 활성화 텐서를 저장할 필요를 없애 메모리를 절약하고 처리량을 개선합니다.

3. 주요 기여 및 이론적 보장

본 논문은 설계의 근간이 되는 6가지 공식적인 이론적 결과를 제공합니다:

청크 가능성 경계 (정리 11): 키 축 전용 삭제가 WY-form 삼각형 청크 솔버가 분해 없이 작동하기 위한 필요충분조건임을 증명합니다.
포함 계층 구조 (정리 1): CARVE가 메모리 무시 키-축 아키텍처, 스칼라 게이트 네트워크, 그리고 원래의 델타 규칙을 엄격하게 일반화함을 확립합니다.
비교 불가능성 (명제 2): CARVE와 GDN-2가 구조적으로 다른 부분 공간에서 작동함을 보여줍니다. 어느 쪽도 다른 쪽을 포함하지 않지만, CARVE가 더 우수한 메모리 조건부 역량을 제공합니다.
리아푸노프 안정성 (정리 4): CARVE의 이축(bi-axial) 게이팅(감쇠 + 삭제)이 GDN-2보다 엄격하게 더 타이트한 수축 비율(contraction ratio)을 제공하여 상태 노름(state norm)이 유계(bounded)로 유지됨을 보여줍니다.
그래디언트 흐로 (정리 5): 그래디언트 노름을 제한하여 CARVE가 새로운 기울기 소실 문제를 유발하지 않음을 보여줍니다.
표현력 분리 (정리 7): CARVE가 $O(d_v + d_k)$ 파라미터로 "선택적 키 덮어쓰기(Selective Key Overwrite, SKO)" 작업을 해결할 수 있음을 증명하며, 이는 메모리 무시 게이트가 너비와 상관없이 실패하는 것과 대조됩니다.

4. 실험 결과

NVIDIA H100 GPU를 사용하여 100B 토큰의 FineWeb-Edu 데이터셋에서 1.3B 파라미터 규모로 평가되었습니다 (3개의 시드로 평균화):

언어 모델링: WikiText에서 CARVE는 GDN-2의 15.90 대비 15.72의 퍼플렉서티(perplexity)를 달성했습니다 ($-0.18 $감소, 4.5$ \sigma$ 효과). 하이브리드 변형(CARVE + Sliding Window Attention)은 15.62 대비 15.41을 기록했습니다.
추론 벤치마크: CARVE는 9개의 상식 추론 작업에서 모든 순환 모델 베이스라인을 평균 +0.63 퍼센티지 포인트 차이로 앞섰습니다.
인컨텍스트 검색 (RULER): 모든 Single-Needle (S-NIAH) 및 Multi-Key Needle (MK-NIAH) 컨텍스트 길이에서 최고 성능을 기록하며 Mamba-3와 GDN-2를 능가했습니다.
실제 환경 검색: 순환 및 하이브리드 구성 모두에서 6개의 실제 검색 벤치마크(SWDE, SQuAD, FDA 등)에서 1위를 차지했습니다.
하드웨어 효율성:
- 처리량: 93.36K 토큰/초로, GDN-2 베이스라인과 0.4% 이내의 차이(통계적으로 무시할 만한 수준)를 보였습니다.
- 메모리: 피크 메모리 사용량이 13% 더 낮습니다 (6.54 GB vs 7.50 GB).
- 파라미터: 스칼라 쓰기 게이트 덕분에 믹서(mixer) 파라미터가 19% 적습니다.

5. 의의 및 주장

본 논문은 CARVE가 다음과 같은 사항을 동시에 달-성한 최초의 게이트형 델타 계열 아키텍처라고 주장합니다:

추가 메모리 비용 없이 콘텐츠 인식 게이팅(삭제 전 메모리 관찰) 구현.
전체 WY-form 청크 병렬 학습 유지 (높은 처리량 보존).
파라미터 수 감소 (스칼라 쓰기 게이트를 통해).

저자들은 이러한 개선이 단순한 근사치가 아니라 공식적인 증명과 하드웨어 측정을 통해 뒷받침된다는 점을 강조합니다. 이 설계는 기존 GDN-2와 같은 모델을 제약했던 "더 풍부한 게이팅, 더 낮은 대역폭, 그리고 병렬 학습" 사이의 "삼각 관계(three-way tension)"를 해결합니다. 결론적으로, 출력 텐서를 재사용함으로써 "자신의 메모리를 보고 무엇을 잊을지 결정하는 능력"을 추가 비용 없이 달성할 수 있으며, 이는 순환 언어 모델의 효율성과 역량을 근본적으로 향상시킨다는 것입니다.

인정된 한계점: 콘텐츠 신호는 이전 청크의 평균에 의존하므로, 두 개 미만의 청크를 가진 시퀀스는 콘텐츠 신호를 받지 못합니다. 또한 현재 평가는 사전 학습(pre-training) 단계에 국한되어 있으며, 미세 조정(fine-tuning) 또는 지시 이행(instruction-following) 환경에서의 동작은 여전히 미해결 과제로 남아 있습니다.