기술 요약: 온라인 일반화 예측 부호화

문제 정의

본 논문은 동적 환경에서의 온라인 삼중 추정 과제를 다룬다. 뇌 영감 계산의 맥락에서 이는 감각 데이터가 도착함에 따라 실시간으로 세 가지 작업을 동시에 수행하는 것을 포함한다:

1. 온라인 숨은 상태 추론: 세계의 잠재적 동적 상태를 추정한다.
2. 온라인 매개변수 학습: 생성 모델 (GM) 의 알려지지 않은 매개변수를 추론한다.
3. 온라인 불확실성 추정: 상태 및 관측 노이즈의 정밀도 (분산의 역수) 를 추정한다.

주된 어려움은 문제의 온라인 성격에 있다. 전체 시계열을 재방문하여 해법에 수렴할 수 있는 오프라인 방식과 달리, 온라인 시스템은 각 데이터를 정확히 한 번만 처리해야 한다. 다음 관측이 도착하기 전에 내부 상태나 매개변수를 반복적으로 정교화할 수 없다. 이는 특히 실제 생성 과정 (GP) 의 함수 형태가 추론에 사용된 모델과 다를 때, 엄격한 시간적 제약 하에서 신속하고 정확한 업데이트가 가능한 계산 방식을 요구한다.

방법론

이론적 틀

제안된 방법인 **온라인 동적 기대 최대화 (ODEM)**는 **자유 에너지 원리 (FEP)**와 **변분 추론 (VI)**에 기반한다. 이는 지각을 **변분 자유 에너지 (VFE)**의 최소화로서 규정하며, VFE 는 음의 로그 모델 증거에 대한 상한선 역할을 한다. VFE 는 데이터 적합도 (정확도 항) 와 사전 신념으로부터의 편차를 패널티하는 복잡도 항으로 분해되어, 오컴의 면도날 원칙을 따른다.

연속 시간 동역학에 대해 VFE 를 다루기 쉽게 만들기 위해, 저자들은 라플라스 근사를 사용하여 사후 분포를 가우시안으로 근사한다. 이는 VFE 를 정밀도 가중 예측 오차의 합으로 축소한다.

운동의 일반화 좌표 (GCM)

ODEM 의 핵심 구성 요소는 **운동의 일반화 좌표 (GCM)**의 사용이다. 숨은 상태 ($x_t$) 의 위치만 모델링하는 대신, 이 모델은 고차 시간 미분 (속도, 가속도, 저크 등) 의 벡터를 추론한다: $\tilde{x}_t = \{x_t, x'_t, x''_t, \dots\}$.

• 이는 칼만 필터나 파티클 필터와 달리 폐형 전이 밀도나 몬테카를로 시뮬레이션을 요구하지 않고 시스템의 부드러운 동역학을 포착할 수 있게 한다.
• 이 모델은 GP 내의 무작위 요동이 일정한 부드러움을 갖는다고 가정하여, 표준 위너 과정 가정을 완화한다.
• 일반화 관측 ($\tilde{y}_t$) 은 유한 차분을 통해 감각 입력의 고차 미분을 근사함으로써 구성된다.

시간 척도의 분리

ODEM 은 세 가지 추정 작업을 관리하기 위해 하켄의 시너지학에서 영감을 받은 시간 척도의 중요한 분리를 구현한다:

1. 빠른 D-단계 (상태 추론): 모든 관측 시 발생한다. VFE 표면의 곡률 (오자키 방식) 로 정규화된 VFE 의 경사 기반 최소화를 사용하여 숨은 상태를 지속적으로 업데이트한다. 이는 빠르게 움직이는 외부 상태를 추적한다.
2. 느린 E-단계 (매개변수 학습): 덜 빈번하게 발생한다 (interEM 개의 관측마다). 데이터 창에 걸쳐 누적된 경사를 사용하여 모델 매개변수 ($\theta$) 를 업데이트한다. 이는 시냅스 가소성이나 변화하는 맥락의 더 느린 시간 척도를 반영한다.
3. 느린 M-단계 (불확실성/정밀도 추정): E-단계와 동일한 느린 시간 척도에서 발생한다. 상태 및 관측 노이즈에 대한 정밀도 초매개변수 ($\lambda$) 를 업데이트한다. 이는 예측 오차의 가중치를 조절하는 주의 메커니즘으로 해석된다.

알고리즘

ODEM 알고리즘은 관측 $y_t$를 반복한다:

1. 관측을 $\tilde{y}_t$로 일반화한다.
2. D-단계 수행: 야코비 기반 업데이트 규칙을 사용하여 상태 사후의 평균 ($\tilde{\mu}_x$) 을 업데이트한다.
3. 매개변수 및 정밀도에 대한 경사를 누적한다.
4. interEM 으로 정의된 간격에서 E-단계와 M-단계 수행: 로빈스 - 몬로 학습률을 사용하여 매개변수 ($\theta$) 및 정밀도 ($\lambda$) 사후의 평균과 공분산을 업데이트한 후, 경사 누적기를 초기화한다.

주요 기여

1. ODEM 알고리즘: 비선형이며 잠재적으로 혼돈적인 시스템의 삼중 추정을 위해 특별히 설계된 동적 기대 최대화 (DEM) 알고리즘의 온라인 변형 도입.
2. 일반화 예측 부호화 구현: 폐형 전이 밀도 없이 동역학을 모델링하기 위해 GCM 을 활용하는 ODEM 의 Python/PyTorch 구현.
3. 모델 불일치에 대한 강건성: 고차 운동이 사용된다면 GM 의 함수 형태가 GP 와 근본적으로 다를지라도 (예: 일반화 로트카 - 볼테라 과정을 추론하기 위해 로렌츠 모델 사용), ODEM 이 잠재 상태를 성공적으로 추적할 수 있음을 입증.

실험 결과

저자들은 매끄럽고 상관된 노이즈를 가진 **일반화 로트카 - 볼테라 (GLV)**생성 과정 (GP) 을 사용하여 ODEM 을 검증했다. 두 가지 GM 을 테스트했다:

• 시나리오 - 동일: GLV-GM (GP 와 일치).
• 시나리오 - 상이: 로렌츠-GM (불일치 함수 형태).

주요 발견:

• GCM 차수의 영향: 운동 차수 ($k_x$) 를 2 에서 3 으로 증가시키는 것은 특히 시나리오 - 상이 경우 추적 성능을 크게 향상시켰다. $k_x=2$일 때, 로렌츠-GM 은 GLV-GP 를 추적하는 데 어려움을 겪었으나, $k_x=3$일 때 추적이 크게 개선되었다. 시나리오 - 동일 경우, GLV-GM 은 두 차수 모두에서 잘 수행되어, GCM 이 구조적 가정의 불일치 시 가장 중요함을 시사한다.
• 수렴: 매개변수 ($\mu_\theta$) 및 정밀도 ($\mu_\lambda$) 에 대한 사후 추정치는 시간이 지남에 따라 안정화되었다. 매개변수 추정치 주변의 불확실성 (신용 구간) 은 더 높은 운동 차수로 더 빠르게 감소했다.
• 자유 행동 (FA): FA 값 (모델 증거의 대리 지표) 은 시나리오 - 동일 (GLV-GM) 이 시나리오 - 상이 (로렌츠-GM) 보다 낮았다. 더 높은 운동 차수가 정확도를 향상시켰지만, 복잡성도 증가시켜 모든 차수에서 전반적인 FA 값이 유사하게 나타났다.
• 정밀도 비율 민감도: 성능은 사전 정밀도 비율 $C$(예상 관측 노이즈 정밀도와 상태 노이즈 정밀도의 비율) 에 매우 민감하여, 감각 데이터 대 내부 동역학에 대한 상대적 신뢰를 조정하는 것의 중요성을 부각시켰다.

중요성 및 주장

본 논문은 ODEM 이 온라인 추론, 학습, 불확실성 추정에 대한 생물학적 영감 해결책을 제공한다고 주장한다. 시간 척도를 분리함으로써, 이는 뇌가 빠른 상태 추정 (빠른 뉴런 동역학) 을 수행하는 동시에 더 느린 매개변수 (시냅스 가소성) 와 주의 (신경조절) 를 적응시키는 능력을 모방한다.

저자들은 ODEM 이 생물학적 및 인공 에이전트 모두의 적응적 추론을 연구하기 위한 확장 가능한 틀을 제공한다고 주장한다. 특히, 운동의 일반화 좌표에서의 추론이 모델의 구조적 가정이 실제 생성 과정과 다를지라도, 모델이 고차 미분을 통해 동역학의 부드러움을 포착할 수 있다면 복잡한 비선형 동역학을 추적할 수 있음을 입증한다. 이 연구는 예측 부호화, 변분 추론, 온라인 동적 시스템 모델링을 연결하여 배치 최적화나 사후 보정이 필요하지 않은 방법을 제공한다.