🤖 AI

Pretraining Recurrent Networks without Recurrence

이 논문은 트랜스포머 기반의 예측 상태 목적 함수를 통해 메모리 업데이트를 크레딧 전파로부터 분리함으로써, 기존의 시간 기반 역전파(backpropagation through time)의 한계를 극복하고 순환 신경망의 병렬적이고 안정적인 사전 학습을 가능하게 하는 방법인 지도 메모리 학습(Supervised Memory Training, SMT)을 소개한다.

원저자: Akarsh Kumar, Phillip Isola

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Akarsh Kumar, Phillip Isola

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: 기억의 "전화기 게임(Telephone Game)"

로봇에게 긴 이야기를 기억하도록 가르치려 한다고 상상해 보세요. 로봇은 결말을 이해하기 위해 이야기의 맨 처음에 무슨 일이 있었는지 기억해야 합니다.

이 작업을 수행하는 기존 방식(BPTT)은 메시지를 한 사람에게서 다음 사람에게로 하나씩 전달하는 "전화기 게임"과 같습니다.

문제점: 이야기가 길어지면 메시지가 왜곡됩니다. 정보가 끝에 도달할 때쯤이면, 메시지는 뭉개지거나(그래디언트 소실, vanishing gradients) 엉뚱한 값으로 폭발할(그래디언트 폭주, exploding gradients) 수 있습니다.
병목 현 현상: 이 속도를 높일 수 없습니다. 사람 1이 사람 2에게 말하고, 그 사람이 다시 사람 3에게 말할 때까지 기다려야 합니다. 한꺼번에 처리할 수 없습니다. 이 때문에 학습이 느려지고, 로봇이 시간상 멀리 떨어진 사건들 사이의 연결 고리를 학습하는 것을 어렵게 만듭니다.

새로운 해결책: SMT (지도 기억 학습, Supervised Memory Training)

저자들은 SMT라고 불리는 새로운 방법을 제안합니다. 로봇에게 메시지를 줄지어 전달하는 법을 가르치는 대신, 로봇에게 "컨닝 페이퍼"와 "코치"를 제공하는 것입니다.

작동 방식은 다음과 같습니다.

1. 코치 (트랜스포머 인코더, Transformer Encoder)

먼저, 매우 똑똑한 "코치"(트랜스포머 모델)를 고용합니다. 이 코치는 이야기 전체를 한 번에 볼 수 있는 권한이 있습니다. 코치는 시작, 중간, 끝을 동시에 읽습니다.

역할: 코치는 다음에 일어날 일을 예측하기 위해 어떤 정보를 기억하는 것이 중요한지 정확히 파악합니다. 코치는 이야기의 모든 순간에 대해 완벽한 "요약 노트"(메모리 상태)를 생성합니다.
비유: 코치가 책 전체를 순식간에 읽고 모든 페이지에 대해 완벽한 한 문장 요약을 작성하는 사서라고 상상해 보세요.

2. 학생 (RNN)

이제 "학생"(순환 신경망 또는 RNN)을 데려옵니다. 학생은 실제로 이야기를 순간순간 직접 겪어야 하는 존재입니다.

역할: 학생은 스스로 무엇을 기억해야 할지 고민하지 않습니다. 대신 코치의 노트를 복사하는 법을 배웁니다.
과정: 학생은 현재의 순간과 그 순간에 대한 코치의 노트를 봅니다. 그런 다음 다음과 같은 질문을 받습니다: "이 노트와 다음 단어를 바탕으로, 그다음 노트는 어떤 모습이어야 할까?"
마법 같은 점: 학생은 단순히 코치의 노트를 복사하는 것이기 때문에, 긴 줄을 따라 메시지를 전달할 필요가 없습니다. 단지 한 번에 한 걸음씩만 나아가면 됩니다. 이는 마치 전체 시험 문제를 처음부터 끝까지 풀려고 애쓰는 대신, 선생님의 정답지를 한 문제씩 베껴 쓰는 학생과 같습니다.

3. 결과: 병렬 학습 (Parallel Training)

학생은 단 한 번의 작은 도약(노트 A에서 노트 B로)을 배우는 것이기 때문에, 컴퓨터는 모든 단계를 동시에 학습할 수 있습니다.

비유: 주자가 바통을 넘겨받기를 기다려야 하는 계주 경주 대신, 모두가 각자의 짧은 전력 질주를 동시에 수행하며 코치의 완벽한 경로를 따라가는 것을 상상해 보세요.
이점: 이 방식은 학습을 믿을 수 없을 정도로 빠르고 안정적으로 만듭니다. 신호가 긴 거리를 이동할 필요 없이 한 단계에서 다음 단계로 바로 점프하기 때문에 신호가 유실되지 않습니다.

"드리프트(Drift)" 문제와 해결책 (DMT)

한 가지 주의할 점이 있습니다. 학습 중에 학생은 코치의 완벽한 노트를 보고 있기 때문에 부정행위를 하고 있는 셈입니다. 하지만 실제 세상에서 학생은 코치 없이 스스로 노트를 만들어내야 합니다.

문제점: 만약 학생이 1단계에서 아주 작은 실수를 하면, 그 실수는 2단계에서 더 커지고 100단계에 이르면 엄청나게 커집니다. 이를 "드리프트(drift)"라고 합니다. 학생의 기억은 코치의 기억과 전혀 달라지게 됩니다.
해결책 (DMT): 저자들은 DMT라는 두 번째의 짧은 단계를 추가했습니다. 여기서 학생은 스스로 노트를 만들 수 있으며, 코치는 학생이 비틀거릴 때 부드럽게 교정해 줍니다. 이는 학생이 혼자서 전체 경주를 연습하되, 코치가 옆에서 올바른 방향으로 살짝 밀어주며 연습하는 최종 리허설과 같습니다.

이 연구가 중요한 이유 (논문에 따르면)

이 논문은 이 방법이 "비선형(nonlinear)" RNN(매우 강력하고 유연함)을 현대적인 트랜스포머만큼 쉽게 학습시킬 수 있다고 주장하면서도, **고정된 메모리(Fixed Memory)**라는 큰 장점을 가지고 있다고 말합니다.

트랜스포머는 지금까지 들은 모든 단어를 머릿속에 담아두려고 노력하는 사람과 같습니다. 이야기가 길어질수록 그들의 뇌는 더 커지고 느려집니다.
SMT로 학습된 RNN은 작은 크기의 수첩을 가지고 있는 사람과 같습니다. 가장 중요한 요약을 적고, 오래된 내용은 지우고, 새로운 요약을 적습니다. 이들은 뇌가 커지지 않고도 평생 지속되는 이야기를 기억할 수 있습니다.

비유 요약

기존 방식 (BPTT): 긴 춤 동작을 연습할 때, 처음부터 끝까지 전체를 반복해서 연습하며, 마지막 동작에 도달했을 때 첫 동작을 잊어버리지 않기를 바라는 것과 같습니다.
새로운 방식 (SMT): 숙련된 안무가(코치)가 전체 춤을 보고 매 초마다 완벽한 동작을 적어둡니다. 무용수(학생)는 그 후 오직 한 동작에서 다음 동작으로 넘어가는 전환만을 연습하며 안무가의 노트를 복사합니다. 한 번에 한 단계에만 집중하기 때문에, 전체 루틴을 즉시 연습할 수 있고 완벽하게 배울 수 있습니다.

이 논문은 이 방법이 그림의 다음 픽셀을 예측하거나 이야기를 완성하는 것과 같이 장기 기억이 필요한 작업에서 기존 방식보다 더 뛰어나며, 컴퓨터가 느린 순차적 처리에 갇히지 않고도 수행 가능하다는 것을 보여줍니다.

기술 요약: 순환(Recurrence) 없는 순환 신경망의 사전 학습

문제 정의

순환 신경망(RNN)을 학습시키는 것은 근본적으로 긴 시퀀스에 걸친 **신용 할당 문제(credit assignment problem)**를 해결해야 하는 작업입니다. 즉, 수많은 중간 계산이 개입할 때 초기 입력이 미래의 출력에 어떻게 영향을 미치는지 결정하는 문제입니다. 표준적인 해결책인 **BPTT(Backpropagation Through Time)**는 RNN을 시간축으로 펼친(unroll) 후 전체 계산 그래프를 통해 그래디언트를 역전파합니다. 이 방식은 두 가지 결정적인 한계를 가집니다:

순차적 병목 현상(Sequential Bottleneck): BPTT는 본질적으로 시간에 대해 순차적이므로 병렬화가 불가능하며, 현대적 하드웨어에서의 확장성을 제한합니다.
그래디언트 불안정성(Gradient Instability): 그래디언트 경로의 길이가 $O(T)$ ( $T$ 는 시퀀스 길이)입니다. 이는 기울기 소실 또는 폭주 문제를 야기하여, 모델이 장기 의존성을 학습하는 것을 어렵게 만들고 초기 정보를 잊어버리는 "최신성 편향(recency bias)"을 유발합니다.

트랜스포머(Transformer)가 병렬화 문제는 해결했지만, 과거의 모든 토큰을 저장하는 대신 압축된 고정 크기의 메모리를 갖추지는 못했습니다. 선형 RNN(Linear RNNs)은 고정된 메모리와 병렬성을 제공하지만, 선형 전이 함수에 의해 제약되어 상태 추적(state tracking)과 같은 복잡한 순차적 과업을 위한 표현력(expressivity)이 제한됩니다.

방법론: 지도 학습 기반 메모리 학습 (Supervised Memory Training, SMT)

본 논문은 순환적 신용 전파(recurrent credit propagation)를 완전히 우회하여 비선형 RNN을 학습시키는 방법인 **SMT(Supervised Memory Training)**를 제안합니다. SMT는 RNN 학습을 일보(one-step) 메모리 전이 레이블에 대한 지도 학습으로 환원합니다.

핵심 메커니즘

SMT는 무엇을 기억할 것인가(메모리 표현)와 메모리를 어떻게 업데이트할 것인가(메모리 역학)를 분리합니다:

교사 모델 (예측 상태 학습, Predictive State Learning): 시간 병렬적인 트랜스포머 기반 인코더-디코더 쌍을 사용하여 과거 컨텍스트를 **예측 상태(predictive state)**인 메모리 상태 $m_t$ 로 압축하도록 학습시킵니다. 이 상태는 미래 출력을 예측하는 데 필요한 정보만을 유지하고 불필요한 세부 사항은 버립니다. 인코더는 컨텍스트 $x_{\le t}$ 를 $m_t$ 로 매핑하고, 디코더는 $m_t$ 와 미래 입력을 바탕으로 미래 출력 $y_{\ge t}$ 를 예측합니다.
학생 모델 (RNN 역학, RNN Dynamics): RNN $f_\theta$ 는 교사의 메모리 전이를 모방하도록 학습됩니다. 즉, RNN을 펼치는 대신, 일보 업데이트 함수인 $(m_t, x_{t+1}) \to \hat{m}_{t+1}$ 를 학습합니다.
손실 함수:
- 디코딩 손실 ( $L_{dec}$ ): 압축된 메모리로부터 미래를 예측하도록 교사를 학습시킵니다.
- 역학 손실 ( $L_{dyn}$ ): 현재 메모리 $m_t$ 와 입력 $x_{t+1}$ 이 주어졌을 때 다음 메모리 상태 $\hat{m}_{t+1}$ 을 예측하도록 RNN을 학습시키며, 이때 교사의 정답(ground truth) $m_{t+1}$ 을 기준으로 합니다.
- 균일성 손실 ( $L_{unif}$ ): 메모리 공간이 하나의 점으로 붕괴되는 것을 방지합니다.

학습 파이프라인

사전 학습 (SMT): 교사 인코더-디코더와 RNN을 위의 손실 함수들을 사용하여 공동(또는 순차적)으로 학습시킵니다. 결정적으로, 이 단계에서 RNN은 절대 펼쳐지지(unrolled) 않습니다. 어떤 두 토큰 사이의 그래디언트 경로는 $O(1)$ 인데, 이는 신용이 RNN의 순환 단계를 통한 역전파가 아니라 교사의 예측 상태 목적 함수에 의해 할당되기 때문입니다.
미세 조정 (DMT - DAgger Memory Training): RNN이 교사의 정답 메모리가 아닌 자신의 예측된 메모리를 사용할 때 발생하는 훈련-테스트 간의 불일치(train-test mismatch, 즉 드리프트 현상)를 해결하기 위해, 가벼운 DAgger 단계를 도입합니다. RNN을 자신의 예측된 상태들과 함께 펼치고, 온-폴리시(on-policy) 모방 학습을 통해 이 드리프트를 수정하도록 역학 손실을 계산합니다.

주요 기여

비선형 RNN의 시간 병렬 학습: SMT는 순환적 펼침 없이도 표현력이 풍부한 비선형 RNN을 학습할 수 있게 하며, 토큰 간 $O(1)$ 의 그래디언트 경로 길이를 달성합니다.
안정적인 장기 신용 할당: 문제를 예측 상태에 대한 지도 학습으로 환원함으로써, SMT는 $O(T)$ 경로와 관련된 기울기 소실/폭주 문제를 제거하여 장기 의존성의 안정적인 학습을 가능하게 합니다.
고정 메모리 추론: 트랜스포머와 달리, SMT로 학습된 RNN은 추론 시 고정된 메모리 크기( $O(M)$ )를 유지하므로 무제한 시퀀스(예: 평생 학습)에 적합합니다.
표현과 역학의 분리: 이 방법은 메모리 압축(병렬 교사에 의해 처리됨)과 메모리 역학(RNN에 의해 처리됨)을 분리하여 RNN의 최적화 환경을 단순화합니다.

실험 결과

저자들은 합성 태스크와 실제 데이터셋에서 SMT를 BPTT 베이스라인 및 트랜스포머와 비교 평가했습니다:

합성 태스크: 그래디언트 안정성(retrieval), 메모리 용량(string copy), 상태 추적(stack operations), 연상 회상(associative recall), 인-컨텍스트 학습 테스트 태스크에서 SMT→DMT는 BPTT보다 일관되게 우수한 성능을 보였습니다. BPTT는 시퀀스 길이가 증가함에 따라 성능이 크게 저하된 반면, SMT의 성능은 안정적으로 유지되었습니다.
픽셀 시퀀스 모델링 (Attneave의 과업): MNIST 및 Sketchy 데이터셋(1D 픽셀 시퀀스로 모델링됨)에 대한 실험에서, BPTT로 학습된 RNN은 장기 구조적 의존성(예: 스트로크의 연속성)을 포착하는 데 실패했습니다. 반면 SMT→DMT RNN은 일관된 이미지를 생성해내며 수백 타임스텝에 걸친 정보를 통합하는 탁월한 능력을 입증했습니다.
효율성: SMT 및 SMT→DMT는 대등하거나 더 나은 성능을 달encing하기 위해 BPTT보다 훨씬 적은 순차적 FLOPs(직렬 계산의 척도)를 필요로 했습니다. 특히 장기 메모리가 필요한 과업에서 그러했습니다. 데이터 효율성은 언어 모델링에서는 BPTT와 유사했으나, 픽셀 모델링에서는 더 우수했습니다.
스케일링 법칙 (Scaling Laws): SMT→DMT는 컨텍스트 길이, 메모리 크기, 모델 파라미터가 증가함에 따라 매끄러운 성능 향상을 보여주었습니다. 주목할 점은, 더 큰 규모에서 RNN의 성능이 교사 트랜스포머의 성능에 근접했다는 것입니다.
일반화: SMT 학습 RNN은 훈련 시 보았던 시퀀스 길이보다 더 긴 시퀀스에 대해 트랜스포머 교사보다 더 잘 일반화되었으며, 이는 더 강력한 시간적 추상화(temporal abstraction) 유도 편향을 시사합니다.

의의 및 주장

본 논문은 SMT가 과거 경험의 시간적 추상화를 구축하는 모델의 스케일링을 잠금 해제하는 경로를 제공한다고 주장합니다. 비선형 RNN이 안정적인 그래디언트와 고정된 메모리를 가지고 장기 의존성을 학습할 수 있게 함으로써, SMT는 BPTT(불안정성, 순차성)와 트랜스포머(무제한적 메모리 증가)의 한계를 동시에 해결합니다.

저자들은 SMT를 주로 사전 학습 알고리즘으로 포지셔닝합니다. SMT가 메모리 표현을 효과적으로 학습하지만, 드리프트를 완화하고 모델을 특정 다운스트림 태스크에 적응시키기 위해서는 가벼운 사후 학습 단계(DMT와 같은)가 필요하다는 점을 인정합니다. 이는 모델이 교사의 표현력 한계를 넘어설 수 있게 할 수도 있습니다. 이 연구는 시간 병렬 학습과 고정 메모리 추론, 그리고 최대의 표현력을 결합하는 것이 차세대 시퀀스 모델을 위한 유망한 방향이며, 이를 통해 에이전트가 인간의 평생 경험과 같은 무제한의 지평으로부터 학습할 수 있게 할 수 있음을 시사합니다.