🤖 machine learning

Learning Long-Range Dependencies with Temporal Predictive Coding

이 논문은 시간적 예측 코딩(Temporal Predictive Coding)과 실시간 순환 학습(Real-Time Recurrent Learning)을 결합하여 순환 시스템에서 장기 의존성을 온라인 및 국소적으로 학습할 수 있게 하는 새로운 알고리즘인 tPC-RTRL을 소개하며, 이는 언어 모델링, 번역 및 제어 작업 전반에서 시간 기반 역전파(backpropagation-through-time)와 거의 대등한 성능을 달면서도 학습과 필터링을 위한 통합된 프레임워크를 제공한다.

원저자: Tom Potter, Oliver Rhodes

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tom Potter, Oliver Rhodes

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 미로를 탐색하는 법을 가르치고 있다고 상상해 보세요. 로봇은 자신이 지금 어디로 가고 있는지 알기 위해 어디서 시작했는지를 기억해야 합니다. 이것이 바로 **순환 신경망(RNN)**의 핵심 과제입니다. 즉, 시간에 따른 일련의 사건들로부터 학습하는 것입니다.

수십 년 동안 이 로봇들을 훈련시키는 표준적인 방법은 **시간을 통한 역전파(BPTT)**였습니다. BPTT를 이런 식으로 생각해보세요. 선생님이 로봇이 미로를 달리는 전체 과정을 지켜보다가, 결승선에서 로봇을 멈춰 세운 뒤, 테이프를 처음부터 프레임 단위로 되감으며 이렇게 말하는 것입니다. "자, 5단계에서 네가 왼쪽으로 돌았기 때문에 50단계에서 벽에 부딪힌 거야." 이 방식은 완벽하게 작동하지만, 선생님이 로봇이 거친 모든 단계를 기억해야 한다는 전제가 필요합니다. 만약 미로가 거대하다면, 선생님은 메모리 용량이 부족해질 것이고, 과정 또한 느리고 에너지를 많이 소모하게 됩니다.

이 논문은 tPC-RTRL(실시간 순환 학습을 결합한 시간적 예측 코딩)이라는 새로운 방법을 소개합니다. 이는 효율적인 뇌 모방형 학습 방식과 정확한 장기 기억 능력을 결합하여 두 세계의 장점만을 취하고자 합니다.

다음은 쉬운 비유를 사용한 상세 설명입니다.

1. 문제점: "단기 기억" 로봇

저자들은 **시간적 예측 코딩(tPC)**이라는 기존의 뇌 모방 방식을 살펴보았습니다.

작동 방식: 미래에 어떤 일이 일어날지 끊임없이 추측하는 로봇을 상상해 보세요. 만약 추측이 틀리면, 로봇은 즉시 작은 "오차"를 느끼고 그 자리에서 바로 자신의 뇌를 조정합니다. 테이프를 되감을 필요가 없습니다. 그저 즉각적인 실수로부터 배우는 것입니다. 이는 에너지와 속도 측면에서 매우 훌륭합니다 (작고 저전력인 칩에 완벽합니다).
결함: 논문에 따르면 이 로봇은 기억력이 매우 짧습니다. 이 로봇은 오직 실수의 즉각적인 원인으로부터만 배웁니다. 만약 로봇이 5단계에서의 행동 때문에 50단계에서 실수를 했다면, 표준 tPC 로봇은 5단계를 잊어버립니다. 로봇은 "지금 실수를 했지만, 바로 지금 당장은 아무런 잘못을 하지 않았으니 고칠 수 없다"라고 생각합니다. 즉, 먼 과거와 현재를 연결하는 데 실패합니다.

2. 해결책: "영향력 장부"

이를 해결하기 위해 저자들은 tPC를 **RTRL(실시간 순환 학습)**이라는 오래된 알고리즘과 결합했습니다.

비유: 로봇이 특별한 "영향력 장부"(수학적 노트)를 가지고 있다고 상상해 보세요. 로봇이 움직일 때마다, 단순히 뇌를 업데이트할 뿐만 아니라 장부에 다음과 같이 기록합니다. "만약 내가 지금 뇌 설정을 바꾼다면, 10단계 후의 내 위치는 어떻게 변할 것인가?"
마법 같은 효과: 시간이 흐름에 따라 로봇은 이 장부를 업데이트합니다. 50단계에서 실수가 발생하면, 로봇은 장부를 살펴보고 5단계의 뇌 설정이 어떻게 그 실수에 기여했는지 확인합니다. 이제 로봇은 드디어 "아, 5단계가 이것의 원인이었구나!"라고 말하며, 비록 오래전 일이라 할지라도 근본적인 원인을 찾아 고칠 수 있게 됩니다.

3. 결과: 두 세계의 장점 결합

논문은 이 "영향력 장부"를 뇌 모방 방식인 tPC에 추가함으로써, 로봇이 메모리 소모가 큰 기존의 BPTT 방식만큼 정확하게 학습하면서도 메모리 비용은 들지 않는다는 것을 증명합니다.

그들은 네 가지 서로 다른 도전 과제를 통해 이를 테스트했습니다:

복사 작업(Copy Task): 로봇이 숫자 시퀀스를 기억했다가 나중에 반복해야 하는 간단한 게임입니다. 기존의 뇌 모방 방식은 실패했지만, 새로운 방식은 완벽하게 성공했습니다.
언어 모델링(Language Modeling): 로봇에게 문장의 다음 글자를 예측하도록 가르치는 것입니다 (스마트폰 키보드처럼). 새로운 방식은 업계 표준만큼 잘 작동했습니다.
번역(Translation): 영어를 프랑스어로 번역하는 작업입니다. 여기서도 새로운 방식은 기존의 최고 성능과 일치하는 모습을 보였습니다.
나노 드론(Nanodrone): 가장 현실적인 테스트였습니다. 그들은 아주 작은 드론의 비행 경로를 예측하도록 모델을 훈련했습니다. 새로운 방식은 표준 방식만큼 정확하게 비행하는 법을 배웠습니다.

4. 보너스: "자기 수정" 드론

훈련 후에 로봇이 어떻게 행동하는지에 대한 가장 흥-미로운 발견 중 하나입니다.

로봇은 훈련 중에 "예측 및 수정" 루프를 사용하기 때문에, 실제로 비행할 때도 이 루프를 사용할 수 있습니다.
시나리오: 드론이 비행하던 중 갑자기 GPS 신호로부터 "당신은 생각했던 것보다 왼쪽으로 2미터 떨어져 있습니다"라는 신호를 받았다고 가정해 봅시다.
기존 방식: 표준 로봇은 이 신호를 무시하거나 이를 매끄럽게 통합하는 데 어려움을 겪을 수 있습니다.
tPC-RTRL 방식: 로봇은 즉시 내부의 "예측 엔진"을 사용하여, 새로운 GPS 신호를 바탕으로 자신이 어디에 있었고 어디로 가고 있는지에 대한 전체 정신적 지도를 조정합니다.
결과: 이 "자기 수정" 기능은 드론의 최종 착륙 오차를 단순히 눈을 감고 비행했을 때보다 절반으로 줄였습니다.

요약

이 논문은 AI의 주요 병목 현상을 해결했다고 주장합니다: 어떻게 하면 거대한 메모리 뱅크 없이도 긴 사건의 시퀀스로부터 학습하는 로봇을 만들 수 있을까?

그들은 로봇에게 과거의 행동이 미래에 어떤 영향을 미치는지 추적하는 "장부"를 부여함으로써 이 문제를 해결했으며, 이를 통해 로봇이 장기적인 교훈을 효율적으로 배울 수 있게 했습니다. 이는 이 시스템을 (훈련을 위해 슈퍼컴퓨터를 먼저 필요로 하는 대신) 현장에서 즉석으로 학습할 수 있는 작은 저전력 장치(엣지 하드웨어 또는 뉴로모픽 칩 등)에 적용할 수 있게 만듭니다.

기술 요약: 장기 의존성 학습을 위한 시간적 예측 코딩 (Learning Long-Range Dependencies with Temporal Predictive Coding)

1. 문제 정의

표준 **BPTT (Backpropagation Through Time)**는 순환 신경망(RNN)을 훈련하기 위한 지배적인 알고리즘이지만, 뉴로모픽 및 에지 하드웨어에는 적합하지 않습니다. BPTT는 역방향 모드 순회(reverse-mode traversal)를 수행하기 위해 전체 잠재 상태 궤적(latent-state trajectory)을 저장해야 하며, 이는 긴 시퀀스에 대해 과도한 메모리 및 동기화 비용을 발생시킵니다.

**시간적 예측 코딩 (Temporal Predictive Coding, tPC)**은 로컬하고 병렬화 가능한 연산을 사용하여 예측 오차를 최소화함으로써 유망한 대안을 제시하며, 이는 뉴로모픽 설계 원칙과 잘 부합합니다. 그러나 저자들은 표준 tPC의 결정적인 구조적 한계를 지적합니다. 즉, 표준 tPC의 순환 파라미터 업데이트 규칙은 현재의 예측에 대한 파라미터의 즉각적인 영향만을 포착합니다. 이는 순환 파라미터가 잠재 상태 궤적을 따라 미치는 역사적 영향을 간과합니다. 결과적으로 표준 tPC는 장기적인 시간 지평(temporal horizons)에 대해 크레딧을 할당하는 데 실패하며, 이는 1단계 절단된(one-step truncated) BPTT와 유사하게 동작하여 장기 의존성이 필요한 작업에서 어려움을 겪습니다.

2. 방법론: tPC-RTRL

이를 해결하기 위해 저자들은 **tPC-RTRL (Temporal Predictive Coding with Real-Time Recurrent Learning)**을 제안합니다. 이 방법은 tPC의 로컬 오차 역학(error dynamics)과 **RTRL (Real-Time Recurrent Learning)**의 온라인 크레딧 할당 메커니즘을 결합합니다.

핵심 메커니즘: tPC-RTRL은 표준 tPC의 업데이트에 **온라인 영향 행렬 (influence matrix, $M^{(t)}$ )**을 추가합니다. 이 행렬은 현재 전파된 잠재 상태가 순환 파라미터에 어떻게 의존하는지를 추적하여, 네트워크를 언롤링(unrolling)하지 않고도 시퀀스를 통해 파라미터의 역사적 영향을 효과적으로 포착합니다.
업데이트 규칙: 순환 파라미터 업데이트 ( $\Delta \theta_{rec}$ $Δ θ_{r ec}$ )는 다음 두 항을 포함하도록 수정됩니다:
1. 즉각적 항 (Immediate term): 현재 파라미터 적용에 대한 순간적 자유 에너지(instantaneous free energy)의 기울기 (표준 tPC).
2. 역사적 항 (Historic term): 이전 단계의 전파된 상태에 대한 자유 에너지의 기울기에 이전 단계의 영향 행렬을 곱한 값.
  $\Delta \theta_{rec} = -\left( \frac{\partial F^{(t)}}{\partial \theta^{(t)}_{rec}} + \frac{\partial F^{(t)}}{\partial \bar{x}^{(t-1)}} M^{(t-1)} \right)$
레짐 (Regimes): 저자들은 주로 **예측 롤아웃 레짐 (predictive-rollout regime)**에서 동작합니다. 여기서 전파된 상태 $\bar{x}^{(t)}$ 는 추론된 상태 $\hat{x}^{(t)}$ 가 아니라 예측된 상태 $\mu^{(t)}_x$ (피드포워드 사전 확률)입니다. 이는 RTRL 재귀가 정확함을 보장하고 훈련 및 테스트 시점의 역학 사이의 일관성을 유지합니다.
구현: 이 방법은 **RG-LRU (Real-Gated Linear Recurrent Unit)**에 구현되었습니다. RG-LRU의 순환 구조는 요소별(element-wise)로 이루어져 있기 때문에, 영향 행렬이 블록 희소(block-sparse) 형태를 유지하여 일반적인 밀집(dense) RTRL의 $O(n^3)$ 계산 비용을 피할 수 있습니다.

3. 주요 기여

알고리즘 혁신: 장기적 시간 크레딧 할당을 복원하면서도 공간적 및 시간적 국소성을 보존하기 위해 시간적 예측 코딩과 온라인 영향 행렬을 결합한 최초의 알고즘인 tPC-RTRL을 도입했습니다.
이론적 검증: 명시적 가정(수렴된 추론, 고정 예측 가정, 예측 롤아웃) 하에서 tPC-RTRL이 BPTT의 정확한 기울기를 복구한다는 것을 증명했습니다(Proposition 1). 이는 로컬하고 병렬화 가능한 업데이트가 이론적으로 글로벌 역전파의 최적화 품질과 일치할 수 있음을 보여줍니다.
경험적 동등성: tPC-RTRL이 다양한 작업에서 BPTT와 거의 동등한 성능을 달ert는 반면, 표준 tPC는 뒤처진다는 것을 입증함으로써 표준 tPC의 실패가 구체적으로 시간적 크레딧 할당의 한계 때문임을 확인했습니다.
필터링 적용: 훈련 중에 사용된 반복 추론 메커니즘을 배포 시점에 재사용하여 간헐적인 상태 관측치를 통합(필터링)할 수 있으며, 이를 통해 나노드론 벤치마크에서 오픈 루프 롤아웃 대비 위치 오차를 크게 줄일 수 있음을 보여주었습니다.

4. 실험 결과

저자들은 네 가지 작업에 대해 tPC-RTRL을 BPTT, 표준 tPC, 그리고 공간적 BP (절단된 BPTT)와 비교 평가했습니다.

Copy Task (복사 작업): 장기 의존성에 대한 통제된 진단 작업입니다.
- 결과: BPTT와 tPC-RTRL은 약 99.99%의 정확도를 달성했습니다. 표준 tPC와 공간적 BP는 실패했습니다 (~40%), 이는 tPC-RTRL이 성공적으로 시간적 간극을 메웠음을 확인시켜 줍니다.
WikiText-103 (바이트 수준 언어 모델링):
- 결과: tPC-RTRL은 1.865의 검증 BPC(bits-per-character)를 달성하여 BPTT(1.864)와 거의 동일한 성능을 보였습니다. 표준 tPC는 2.020에서 정체되었습니다.
CCMatrix (영어-프랑스어 번역):
- 결가: tPC-RTRL은 20.23의 BLEU 점수를 기록하여 BPTT(20.29)와 일치하는 성능을 보였습니다. 표준 tPC는 공간적 BP와 유사하게 낮은 성능(4.75)을 보였습니다.
나노드론 시스템 식별 (Nanodrone System Identification):
- 결과: 실제 비행 데이터셋에서 tPC-RTRL은 0.506 m의 평균 위치 오차를 달성하여 BPTT(0.505 m)와 사실상 구분이 불가능했습니다. 표준 tPC는 더 나쁜 성능(0.556 m)을 보였습니다.
필터링 (나노드론):
- 결과: 테스트 시점에 간헐적인 그라운드 트루스 보정을 사용하는 훈련된 tPC-RTRL 모델은 최종 위치 오차를 오픈 루프(0.805 m)에서 고주파 보정 시(0.402 m)로 감소시켰으며, 이는 단순 상태 리셋보다 우수한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 tPC-RTRL이 두 가지 상호 보완적인 메커니즘을 성공적으로 통합했다고 주장합니다:

공간적 국소성 (Spatial Locality): 예측 코딩에 의해 제공되며, 글로벌 역방향 모드 순회를 제거합니다.
시간적 국소성 (Temporal Locality): RTRL에 의해 제공되며, 전체 상태 궤적을 저장하고 언롤링할 필요를 제거합니다.

저자들은 이 결합이 최적화 품질을 BPTT 수준으로 유지하면서도 뉴로모픽 하드웨어(예: Loihi, SpiNNaker)의 엄격한 메모리 및 동기화 제약을 충족하는 학습 규칙을 제공한다고 주장합니다. 특히 나노드론 모델의 경우, tPC-RTRL은 200 스텝 호라이즌에서 BPTT에 비해 시간적 크레딧 할성을 위한 저장 공간을 약 52배 줄였으며, 시퀀스 길이에 관계없이 메모리 사용량이 일정하게 유지됩니다.

이 연구는 데이터가 순차적으로 도착하고 메모리가 제한적이며 상태 수정을 위한 간헐적 관측이 가능할 수 있는 연속 작동 시스템(로보틱스, 에지 센싱)을 위한 에너지 효율적인 온디바이스 순환 모델 훈련의 경로를 제시합니다. 저자들은 이러한 가설적 조건들이 완화되더라도 실무에서는 알고리즘이 BPTT와 유사한 방향으로 작동하여 경험적 성공을 거두었다고 언급하며, 향후 더 깊은 스택으로의 확장과 실제 뉴로모픽 하드웨어에서의 에너지/지연 시간 이점 검증을 중요한 과제로 꼽았습니다.