기술 요약: SUNTA – 서프라이즈 기반 청킹을 이용한 계층적 비디오 예측

문제 정의

계층적 상태 공간 모델(Hierarchical State-Space Models, HSSMs)은 시퀀스를 시간적 청크(temporal chunks)로 분해하여 여러 타임스케일에 걸쳐 역학(dynamics)을 모델링할 수 있게 함으로써, 장기 예측(long-horizon prediction)을 위한 유망한 프레임워크를 제공한다. 그러나 HSSM의 효능은 **청크 경계(chunk boundaries)**를 어떻게 결정하느냐에 결정적으로 달려 있다. 기존의 접근 방식들은 대개 다음 중 하나에 의존한다:

1. 고정 길이 청킹(Fixed-length chunking): 데이터의 내재적 시간 구조와 일치하지 않는 결정론적 간격.
2. 유사도 기반 탐지(Similarity-based detection): 관측값의 변화(예: 시각적 변화)로부터 경계를 추론함. 이 방식은 유의미한 의미론적 전이가 발생하더라도 두드러진 시각적 변화가 없는 경우, 혹은 근본적인 역학적 변화 없이 표면적인 시각적 변화만 발생하는 경우 실패한다.

저자들은 청킹이 내부 월드 모델 내의 **예측 오차(서프라이즈, surprise)**에 의해 구동되어야 한다고 주장한다. 이러한 오차는 현재의 컨텍스트가 불충분하며 더 높은 수준의 추상화가 필요함을 직접적으로 나타내기 때문이다. 그러나 서프라이즈 기반 청킹을 HSSM에 통합하는 데에는 두 가지 핵심적인 과제가 따른다:

• 계층적 붕괴(Hierarchical Collapse): 엔드 투 엔드(end-to-end) 학습 시, 상위 수준 모델이 개선됨에 따라 하위 수준 모델을 더 효과적으로 조건화하게 되어 하위 수준의 예측 오차가 감소한다. 이는 청크 경계를 정의하는 데 필요한 서프라이즈 신호 자체를 지워버려 계층 구조의 붕괴를 초래한다.
• 오픈 루프 생성 시의 서프라이즈 부재(Missing Surprise in Open-Loop Generation): 서프라이즈 신호는 일반적으로 예측값과 외부 관측값을 비교해야 한다. 오픈 루프 롤아웃(생성) 과정 중에는 관측값을 사용할 수 없으므로, 청크 전환을 트리거하기 위해 필요한 바텀업(bottom-up) 서프라이즈를 계산하는 것이 불가능하다.

방법론: SUNTA

저자들은 이러한 격차를 해결하기 위해 분리된 학습 전략과 탑다운(top-down) 서프라이즈 메커니즘을 갖춘 2단계 HSSM인 **Surprise-based Nested Temporal Abstraction (SUNTA)**을 제안한다.

1. 모델 아키텍처

SUNTA는 서로 다른 타임스케일에서 작동하는 두 개의 레벨로 구성된다:

• 레벨 1 (Low-Level): 재귀적 상태 공간 모델(Recurrent State Space Model, RSSM)을 기반으로 한다. 이는 원시 관측값($x_t$)을 처리하여 확률적 잠재 상태($s^{(1)}_t$)를 추론한다. 또한 다음 관측값과 잠재 상태를 예측하도록 학습된다.
• 레벨 2 (High-Level): 학습된 저수준 잠재 시퀀스를 "관측값"으로 취급한다. 경계 $m_t$에 의해 정의된 청크 내에서 작동하며, 청크 내부에서 상위 수준 상태($s^{(2)}_t$)는 일정하게 유지되어 저수준 시퀀스를 단일 표현으로 압축한다. 여기에는 상위 수준 상태로부터 저수준 잠재 시퀀스를 재구성하는 **탑다운 디코더(Top-Down Decoder)**가 포함된다.

2. 핵심 메커니즘

서프라이즈 기반 청킹 (Surprise-Based Chunking)

청크 경계는 저수준 모델에서의 예측 오차(베이지안 서프라이즈) 크기에 의해 결정되며, 이는 사후 분포(posterior)와 사전 분포(prior) 사이의 쿨백-라이블러(Kullback-Leibler, KL) 발산으로 정량화된다.

• 추론 (Recognition): $DKL(q(s^{(1)}_t | \dots) \parallel p(s^{(1)}_t | \dots))$가 임계값 $\tau_{inf}$를 초과할 때 경계가 트리거된다.
• 생성 (Generation, Open-Loop): "서프라이즈 부재" 문제를 해결하기 위해, SUNTA는 탑다운 서프라이즈(Top-Down Surprise) 신호를 도입한다. 외부 관측값과 예측을 비교하는 대신, 모델은 탑다운 디코더에 의해 생성된 진화하는 저수준 롤아웃(rollout)을 현재의 상위 수준 컨텍스트와 비교한다. 생성된 저수준 궤적과 상위 수준 컨텍스트 사이의 불일치가 임계값 $\tau_{gen}$을 초 exceed할 때 경계가 트리거된다.

분리된 학습 (Decoupled Training, 레벨별 최적화)

계층적 붕괴를 방지하기 위해, SUNTA는 엔드 투 엔드 최적화 대신 순차적 학습 전략을 채택한다:

1. 레벨 1 학습: 증거 하한(Evidence Lower Bound, ELBO)을 최대화하도록 원시 관측값에 대해 저수준 RSSM을 최적화한다.
2. 레벨 1 동결: 저수준 잠재 시퀀스와 청크 경계를 추론한다.
3. 레벨 2 학습: 추론된 저수준 잠재 값을 관측값으로 취급하여 상위 수준 모델을 학습시킨다.
   이를 통해 상위 수준 모델의 개선이 경계 검출에 사용되는 저수준 서프라이즈 신호를 억제하지 않도록 보장한다.

시간적 패턴 완성 (Temporal Pattern Completion, TPC)

상위 수준 인코더가 학습 시에는 전체 청크를 보지만 추론 시에는 부분적인 청크만을 보는 학습-테스트 불일치 문제를 해결하기 위해, SUNTA는 정규화 기법을 도입한다. 이 손실 함수는 부분적인 청크 접두사(prefix)로부터 추론된 상위 수준 표현이 전체 청크로부터 추론된 표현과 일치하도록 유도하는 동시에, 부정적인(관련 없는) 컨텍스트와는 분리되도록 한다. 이는 생성 시 불완전한 컨텍스트에 대한 강건성을 향상시킨다.

주요 기여

1. 서프라이즈 기반 청킹: 시각적 유사성이 아닌 내부 예측 오차를 사용하여 시간적 추상화 경계를 결정할 것을 제안하며, 이것이 내재적 역학에 더 잘 부합한다고 주장한다.
2. 분리된 학습 전략: 서프라이즈 신호의 억제를 방지하는 레벨별 최적화 접근 방식을 도입하여 계층적 붕괴 문제를 해결한다.
3. 생성을 위한 탑다운 서프라이즈: 외부 관측값 없이도 상위 수준 컨텍스트와 저수준 롤아웃 사이의 불일치를 측정함으로써 오픈 루프 생성 중 청크 경계를 감지하는 메커니즘을 개발한다.
4. 시간적 패턴 완성: 전체 컨텍스트(학습)와 부분 컨텍스트(추론) 사이의 격차를 메우기 위한 정규화 기술을 제공한다.

실험 결과

SUNTA는 세 가지 데이터셋(Bouncing Ball(합성 2D), Serial Nine Rooms(지연된 의존성을 가진 2D 네비게이션), 3D Maze(에고센트릭 네비게이션))에서 평가되었다.

• 장기 예측 (Long-Horizon Prediction): SUNTA는 모든 베이스라인(RSSM, VTA, LOVE, VPR)을 크게 앞질렀다.
  • Bouncing Ball 데이터셋에서 SUNTA는 250 타임스텝 동안 정확한 예측을 유지한 반면, 모든 베이스라인은 첫 10 타임스텝 이내에 성능이 저하되었다.
  • 3D Maze 및 Serial Nine Rooms에서 SUNTA는 계층적 및 비계층적 베이스라인에 비해 우수한 SSIM과 낮은 MSE를 달est했다.
• 경계 탐지 (Boundary Detection): SUNTA는 실제 시간 경계를 식별하는 데 있어 매우 높은 F1 점수(Bouncing Ball 0.984, 3D Maze 0.992)를 기록하며, 유사도 기반 방식(VPR) 및 기타 HSSM(VTA, LOVE)을 크게 능가했다.
• 절제 연구 (Ablation Studies):
  • TPC 정규화 기법을 제거하면 장기적인 예측 성능이 저하되었다.
  • 고정 타임스케일 변형 모델(CW-SUNTA)은 일반적인 플랫(flat) RSSM보다 나은 성능을 보이지 못했는데, 이는 계층 구조 자체가 아니라 적응형 서프라이즈 기반 경계로부터 계층 구조의 이점이 온다는 것을 입증한다.
  • 계층적 베이스라인(VTA, LOVE)은 종종 비계층적 RSSM보다 성능이 낮았으며, 이는 잘못 정렬된 계층 구조가 해로울 수 있음을 시사한다.

의의 및 주장

본 논문은 SUNTA가 계층적 추상화를 내재적 시간 구조와 정렬하는 것의 결정적인 중요성을 보여준다고 주장한다. 저자들의 주장은 다음과 같다:

• 계층적 모델링의 주요 이점은 아키텍처 자체에 있는 것이 아니라, 예측 오차가 급증하는 구간을 동적으로 분할하여 상위 수준 역학 학습을 단순화하는 능력에 있다.
• 서프라이즈 기반 청킹은 시각적 유사성보다 시간적 추상화를 위한 더 신뢰할 수 있는 메커니즘이며, 특히 의미론적 전이가 시각적으로 두드러지지 않는 환경에서 그러하다.
• 제안된 분리된 학습 및 탑다운 서프라이즈 메커니즘은 기존 HSSM이 짧은 수평선 너머로 유지하기 어려운 안정적인 장기 예측을 성공적으로 가능하게 한다.

저자들은 한계점으로 서프라이즈 급증이 발생하는 환경에 대한 의존도, 현재의 시뮬레이션된 시각 데이터 중심의 연구, 그리고 2단계 계층 구조로 제한된 평가 등을 언급하였다. 향-후 연구에서는 더 깊은 계층 구조와 의사결정과의 통합을 탐구할 수 있을 것이다.