🤖 machine learning

PRISM: Parallel Residual Iterative Sequence Model

PRISM은 비선형성을 분리하고 2단계 프록시 아키텍처를 사용하여 반복적 정교화 과정을 피드포워드 연산자로 증류함으로써, 트랜스포머의 표현력과 선형적 효율성 사이의 긴장을 해결하고 이론적인 Rank- $L$ 누적을 달성하며 명시적 최적화 방법보다 174배 높은 처리량을 유지하면서도 대등한 성능을 구현하는 병렬화 가능한 시퀀스 모델이다.

원저자: Jie Jiang, Ke Cheng, Xin Xu, Mengyang Pang, Tianhao Lu, Jiaheng Li, Yue Liu, Yuan Wang, Jun Zhang, Huan Yu, Zhouchen Lin

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jie Jiang, Ke Cheng, Xin Xu, Mengyang Pang, Tianhao Lu, Jiaheng Li, Yue Liu, Yuan Wang, Jun Zhang, Huan Yu, Zhouchen Lin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: "속도 vs 지능"의 딜레마

당신이 다음에 어떤 일이 일어날지 예측하기 위해 아주 긴 이야기(예: 사용자의 전체 쇼핑 기록이나 읽고 있는 책 한 권)를 기억하려고 노력하고 있다고 상상해 보세요.

"똑똑한" 방식 (Transformer): 이것은 당신이 질문을 할 때마다 이야기 전체를 다시 읽는 초지능적인 사서와 같습니다. 이들은 전체 그림을 보기 때문에 매우 정확하지만, 느립니다. 이야기가 너무 길어지면 사서는 압도되어 답을 찾는 데 한참 걸리게 됩니다.
"빠른" 방식 (Linear Models): 이것은 아주 작은 요약 노트를 가지고 있는 사서와 같습니다. 이들은 새로운 단어가 들어올 때마다 이 노트를 즉각적으로 업데이트합니다. 매우 빠르지만, 노트가 너무 단순하기 때문에 이야기 속의 미묘한 디테일이나 복잡한 연결 고리를 놓치는 경우가 많습니다. 이들은 "멍청하지만" 효율적입니다.

오랫동안 연구자들은 둘 중 하나를 선택해야 한다고 생각했습니다. 빠르고 멍청하거나, 아니면 똑똑하고 느거나 말이죠.

오래된 "똑똑한" 해결책: 직렬 병목 현상 (The Serial Bottleneck)

일부 연구자들은 빠른 사서들을 더 똑똑하게 만들기 위해 "테스트 시 훈련(Test-Time Training, TTT)" 방법을 도입했습니다. 이것은 빠른 사서에게 이렇게 말하는 것과 같습니다: "대답하기 전에, 깊게 생각하고, 노트를 점검하고, 실수를 바로잡고, 다시 한번 생각해 봐."

이렇게 하면 그들은 훨씬 똑똑해지지만(복잡한 패턴을 처리할 수 있게 됨), 속도가 깨집니다. 왜일까요? 그들이 단계별로 생각해야 하기 때문입니다. 1단계를 마치기 전까지는 2단계를 생각할 수 없습니다. 이는 마치 군중이 기다리고 있는데 혼자서 퍼즐 조각을 하나씩 맞추고 있는 사람과 같습니다. 정확하긴 하지만, 속도의 이점을 완전히 죽여버립니다.

새로운 해결책: PRISM

이 논문의 저자들인 PRISM은 대담한 질문을 던졌습니다: "사서가 깊게 생각하게 만들면서도(똑똑한 모델처럼), 동시에 모든 것을 처리하게(빠른 모델처럼) 만들 수는 없을까?"

그들의 대답은 **"예"**였습니다. 그들은 깊은 사고 과정을 모방하면서도, 이를 병렬로 일어날 수 있도록 재배치한 시스템을 구축했습니다.

PRISM의 작동 원리 (비유)

사서가 자신의 기억 노트를 업데이트해야 한다고 상상해 보세요.

"쓰기-잊기" 기법 (The "Write-Forget" Trick):
논문은 오래된 정보를 "잊는 것"은 쉽고 안정적이라는 점(예: 커피가 식는 것처럼)을 깨달았습니다. 이를 위해 초복잡한 두뇌가 필요하지 않습니다. 하지만 새로운 정보를 "쓰는 것"이야말로 마법이 일은 곳입니다. PRISM은 이 두 작업을 분리합니다. 잊는 작업에는 단순하고 빠른 방법을 사용하고, 모든 지적 에너지는 "쓰는" 부분에 집중합니다.
"입력 앵커" (치트 시트/컨닝 페이퍼):
기존의 "깊은 사고" 방식이 느렸던 이유는 사서가 다음에 무엇을 쓸지 결정하기 위해 반드시 현재의 노트를 먼저 살펴봐야 했기 때문입니다. 이것이 연쇄 반응을 일으켰습니다(1단계 결과가 1단계 결과에 의존하고, 그것이 다시 1단계 결과에 의존하는 식).
PRISM은 이 사슬을 끊습니다. 대신, 사서는 현재의 노트가 아니라 입력값(방금 들어온 새로운 단어들)으로부터 도출된 **"치트 시트"**를 봅니다. 이 치트 시트는 노트가 어떤 모습이 될지를 예측합니다.
- 비유: 날씨가 변할 때까지 기다렸다가 옷을 입기로 결정하는 것이 아니라, 예보(입력)를 보고 즉시 옷을 결정하는 것과 같습니다. 비가 오는지 확인하기 위해 기다리지 않습니다.
"병렬 루프" (전문가 팀):
보통 깊은 사고는 루프를 따라 일어납니다: 생각한다, 점검한다, 다시 생각한다, 다시 점검한다. 이것은 직렬 방식입니다.
PRISM은 이 루프를 펼쳐 놓습니다(unroll). 한 사람이 단계별로 생각하는 대신, L명의 전문가가 동시에 작업하는 팀을 상상해 보세요.
- 전문가 1은 치트 시트를 보고 수정을 제안합니다.
- 전문가 2는 동일한 치트 시트를 보고 다른 수정을 제안합니다.
- 전문가 3도 마찬가지로 수행합니다.
  그들은 서로를 기다리는 대신 모두 치트 시트(입력)를 보기 때문에, 동시에 작업할 수 있습니다. 최종 기억 노트는 이 모든 전문가들의 제안을 결합한 결과물입니다.

결과: 두 세계의 장점 결합

이 논문은 PRISM이 "Rank-L" 업데이트를 달enc성한다고 주장합니다. 쉬운 말로, 이는 사서가 이제 여러 방향으로 동시에 기억을 업데이트할 수 있으며, 기존의 "빠른" 모델들이 놓쳤던 복잡한 디테일을 포착할 수 있음을 의미합니다.

속도: 모두가 병렬로 작업하기 때문에, PRISM은 기존의 "멍청한" 모델만큼 빠릅니다. 기존의 "똑똑하지만 느린" 방식보다 174배 더 빠릅니다.
지능: PRISM은 느리지만 깊게 생각하는 방식만큼 성능이 뛰어납니다. 추천 시스템(영화나 책을 추천하는 시스템 등) 테스트에서, 빠른 모델들보다 더 정확했으며 느린 모델들과 대등한 성능을 보였습니다.

요약

PRISM은 AI 메모리를 구축하는 새로운 방법입니다. PRISM은 다음 세 가지를 통해 속도와 지능 사이의 긴장을 해결합니다:

쉬운 부분(잊기)과 어려운 부분(쓰기)을 **분리(Decoupling)**합니다.
현재 상태를 기다리는 대신 입력값에 기반하여 필요한 수정 사항을 **예측(Predicting)**합니다(치트 시트).
"생각하는" 과정을 직렬 체인(한 사람이 단계별로 생각하는 것) 대신 **병렬(Parallel)**로 실행합니다(전문가 팀).

그 결과, PRISM은 단거리 선수의 속도를 가지면서도 마라톤 선수의 지능을 가진 AI가 되었습니다.

기술 요약: PRISM (Parallel Residual Iterative Sequence Model)

1. 문제 정의

생성적 시퀀스 모델링은 Transformer 기반 아키텍처의 **표현력(expressivity)**과 선형 시퀀스 모델의 효율성(efficiency) 사이의 근본적인 긴장 관계에 직면해 있습니다.

효율성의 병목 현상: 기존의 효율적인 아키텍처(예: Linear Attention, Mamba와 같은 SSM, DeltaNet)는 온라인 볼록 최적화(Online Convex Programming, OCP) 목적 함수에 대한 선형화된 단일 단계(one-shot) 솔루션에 의존합니다. 이러한 방식들은 하드웨어 효율적인 병렬 스캐닝을 지원하지만, 이론적으로 Rank-1 병목에 의해 제약을 받습니다. 각 토큰의 기여도가 하나의 외적( $v_t k_t^\top$ ) 안에 구조적으로 갇혀 있어, 고차원 특징 상호작용을 포착하거나 단일 단계 내에서 재구성 오차를 반복적으로 최소화하는 능력이 제한됩니다.
표현력의 병목 현상: TTT(Test-Time Training)와 같은 강력한 반복 방법은 다단계 비선형 경사 하강법을 수행하여 Rank-L 업데이트를 달성함으로써 Rank-1의 한계를 해결합니다. 그러나 이는 **직렬 의존성 병목(Serial Dependency Bottleneck)**을 유발합니다. 즉, 각 경사 단계가 이전 단계에서 업데이트된 상태에 의존하기 때문에 하드웨어 병렬성이 깨지며, 결과적으로 $O(NL)$의 순차적 계산이 발생합니다. 이로 인해 TTT는 선형 재귀 모델보다 훨씬 느려집니다(최대 174배).

이 논문이 다루는 핵심 질문은 다음과 같습니다: 어떻게 하면 병렬 스캔 호환성(높은 효율성)을 유지하면서 Rank-L 업데이트(높은 표현력)를 달성할 수 있는가?

2. 방법론: PRISM 아키텍처

PRISM은 TTT의 "게이트 $\times$ 잔차 $\times$ 방향" 반복 패턴을 병렬화 가능한 형태로 명시적으로 재구성함으로써 이 긴장을 해결합니다. 이 아키텍처는 두 가지 핵심 메커니즘을 기반으로 구축되었습니다.

2.1. 쓰기-망각 디커플링 (Write-Forget Decoupling)

PRISM은 스펙트럼 섭동 분석(spectral perturbation analysis)을 바탕으로 상태 업데이트 $S_t = S_{t-1} A_t + B_t$ 를 두 개의 별도 경로로 분해합니다.

망각 (Forgetting, $A_t$ ): 망각 연산자는 근사 오차에 강건합니다. PRISM은 이를 구조화되고 효율적인 Rank-1 형태(Gated DeltaNet과 동일)로 고정하여, 복잡한 비선형성 없이도 장기 기억의 안정성을 보장합니다.
쓰기 (Writing, $B_t$ ): 주입 연산자(injection operator)는 랭크 충실도(rank-fidelity)에 매우 민감합니다. PRISM은 여기에 표현력을 할당하며, 반복적 솔버를 통해 Rank-L 주입을 구축합니다.

2.2. 입력 고정 루프 언롤링 (Input-Anchored Loop Unrolling)

명시적 솔버(잔차와 경사 방향이 진화하는 은닉 상태 $S_{t-1}$ 에 의존하는 경우)의 직렬 의존성을 우회하기 위해, PRISM은 다단계 솔루션을 단일 병렬 패스로 "분할 상환(amortize)"하는 2단계 프록시 메커니즘을 도입합니다.

1단계: 앵커 구축 (Anchor Construction): 입력 시퀀스에 대한 단기 컨볼루션(ShortConv)을 통해 상태가 독립적인 프록시 $u_t \approx S_{t-1} k_t$ 를 계산합니다. 이는 로컬 히스토리 에너지를 포착하며, 이후 모든 계산의 앵커 역할을 수행하여 실제 은닉 상태에 대한 의존성을 제거합니다.
2단계: 병렬 정밀화 루프 (Parallel Refinement Loop): 앵커 $u_t$ $u_{t}$ 를 사용하여 $L$ $L$ 번의 정밀화 단계를 병렬로 언롤링합니다. 각 단계 $l \in \{1, \dots, L\}$ $l \in {1, \dots, L}$ 에 대해:
- 방향 (Direction): 학습된 투영 $k_t^{(l)} = W_k^{(l)} u_t$ 가 rank- $l$ 업데이트의 기저를 제공합니다.
- 이득 (Gain): 학습된 예측기 $p_t^{(l)} = W_p^{(l)} u_t$ 가 문맥적 이득 $\sigma'(S_{t-1} k_t)$ 를 근사합니다.
- 잔차 업데이트 (Residual Update): 잔차를 탐욕적으로 차감합니다: $r_t^{(l+1)} = r_t^{(l)} - \delta_t^{(l)}$ , 여기서 $\delta_t^{(l)} = \text{GELU}(p_t^{(l)} \odot r_t^{(l)})$ 입니다.
- 신뢰도 (Confidence): 스텝 사이즈 게이트 $\beta_t^{(l)}$ 가 업데이트를 조절합니다.

최종 주입 행렬은 $B_t = \sum_{l=1}^L \beta_t^{(l)} \delta_t^{(l)} (k_t^{(l)})^\top$ 로 누적됩니다. 모든 구성 요소가 (앵커를 통해) 입력에만 의존하므로, 전체 업데이트는 **병렬 프리픽스 스캐닝(parallel prefix scanning)**에 필요한 상태 독립성 조건을 충족합니다.

3. 주요 기여

통합된 OCP 관점 및 분류 체계: 본 논문은 기존 방법들을 공통된 최적화 프레임워크 내에 배치하고, Rank-1/병렬성 간의 트레이드오프를 핵심 병목으로 식별합니다. 또한 PRISM이 Rank-L 표현력과 병렬 스캔 호환성을 모두 달성한 최초의 방법임을 입증합니다.
PRISM 아키텍처: 쓰기-망각 디커플링과 입력 고정 루프 언롤링을 활용한 하드웨어 인지적 구현을 제시합니다. 이 설계는 반복적 솔버의 직렬 계산을 우회하면서도 그 표현력을 보존합니다.
이론적 표현력 보장: 저자들은 입력 고정 공식이 **Rank Accumulation(랭크 축적)**을 생성함을 공식적으로 증명합니다. PRISM의 주입 연산자는 토큰당 Rank-L 상태 수정을 생성하며, 이상적인 비선형 델타 규칙의 솔루션 품질에 점근적으로 도달합니다. 또한, $L=0$ 일 때 PRISM은 구조적으로 Gated DeltaNet으로 축소되어 하위 호환성을 확립합니다.

4. 실험 결과

네 가지 추천 시스템 벤치마크(Amazon Books, Movies, Electronics, Yelp)와 언어 모델링 작업(SlimPajama)에서 실험이 수행되었습니다.

성능 (Rank-L 효과성): PRISM은 TTT나 Titans와 같은 명시적 직렬 솔버와 대등하거나 여러 경우에서 이를 능가하는 성능을 보여줍니다. Amazon Movies에서 PRISM은 모든 선형 모델 중 가장 높은 AUC를 기록하며 Titans를 앞질렀습니다. 또한 풀 어텐션(full-attention) Transformer(예: SASRec)와의 격차를 좁힘으로써, 선형화에 따른 "표현력 비용"이 무시할 만한 수준임을 시사했습니다.
효율성 (병렬 스캔): PRISM은 다양한 시퀀스 길이에 걸쳐 안정적인 훈련 처리량(~57K–61K tokens/s)을 유지하며, Rank-1 베이스라인(Gated DeltaNet, Mamba-2)과 대등한 성능을 보입니다. 반면, TTT는 순차적 특성 때문에 174배 더 느리며, Transformer++는 시퀀스 길이에 따라 이차적으로 성능이 저하됩니다.
절제 연구 (Ablation Studies):
- 반복 깊이 (Iterative Depth): 반복 정밀화( $L=0$ )를 제거하면 가장 큰 성능 저하가 발생하여, 다단계 정밀화가 필수적임을 검증했습니다.
- 비선형성 (Non-linearity): 정밀화 루프에서 GELU 활성화 함수를 제거하면 성능이 감소하여, 비선형적 형성이 최적화 품질의 업데이트에 필요함을 확인했습니다.
- 메커니즘 프로빙 (Mechanistic Probing): Rank-1 모델이 실패하는 논리 작업(XOR, Parity)에서 PRISM은 100% 정확도를 달est하여, 이 이점이 단순히 공간적 랭크 확장보다는 반복적인 비선형 계산에서 온다는 것을 증명했습니다.

5. 의의 및 주장

본 논문은 PRISM이 최적화 충실도와 하드웨어 효율적인 병렬 훈련 사이의 간극을 성공적으로 메웠다고 주장합니다. 반복적 교정의 구조적 패턴을 병렬화 가능한 피드포워드 연산자로 증류함으로써, PRISM은 Rank-Parallel 트레이드오프를 해결합니다.

저자들은 이 설계가 효율적인 시퀀스 모델이 선형 재귀의 처리량 이점을 희생하지 않으면서도 복잡한 다중 모달 사용자 관심사와 장기 의존성을 포착할 수 있게 한다고 단언합니다. PRISM은 단순한 이론적 개선을 넘어, Rank-1 장벽을 넘어서는 실질적인 경로로서, 명시적 최적화의 표현력과 선형 모델의 효율성을 동시에 제공하는 것으로 제시됩니다. 이 연구는 생성적 모델링을 위해 로컬 컨텍스트가 최적화 궤적을 예측하는 매우 효율적인 구조적 사전 정보(structural prior)를 제공하며, 정확한 상태 의존성으로부터의 디커플링이 스케일링을 위한 유효한 전략임을 시사합니다.