기술적 요약: 순차 모델의 연속성 법칙

문제 제기

순차 모델 (예: 트랜스포머, 상태 공간 모델) 은 특정 벤치마크에서 강력한 성능을 달성했지만, 서로 다른 시간 영역에서 성공하거나 실패하는 이유에 대한 원칙적인 이해는 종종 부족합니다. 신경 확장 법칙과 같은 기존 원칙들은 모델 크기에 따른 성능 변화를 설명하지만, 모델의 구조적 귀납적 편향이 작업의 시간적 구조와 일치하는지 여부는 다루지 않습니다. 구체적으로, 연속 시간 공식 (상태 공간 모델 또는 SSM 등) 에서 영감을 받은 모델들이 이산화되었을 때 실제로 연속적인 거동을 보이는지, 그리고 이러한 "연속성"이 동적 시스템과 같은 연속 시간 구조를 가진 작업에 비해 텍스트와 같은 이산 작업에 유용한 귀납적 편향인지에 대한 이해에는 격차가 존재합니다.

방법론

1. 모델 연속성 형식화

저자들은 시간적 세분화 하에서의 수렴이라는 관점을 통해 모델 연속성을 정의합니다. 모델은 시간 이산화 단계 크기 $\tau$가 0 에 가까워질 때, 그 이산 예측이 안정적인 속도로 공통된 기본 연속 궤도에 수렴하는 경우 연속적인 것으로 간주됩니다.

• 이론적 프레임워크: 본 논문은 제로 오더 홀드 (ZOH) 또는 이분법적 방법을 통해 이산화된 일반적인 연속 시간 동적 시스템에 대한 수렴 경계를 유도합니다.
• SSM 비교: 이 프레임워크는 S4(선형 시간 불변) 와 S6/Mamba(입력 의존적, 선택적) 를 비교하는 데 적용됩니다.
  • S4: 이론적 분석 (부록 1) 은 수렴 오차가 고정된 시스템 매개변수와 입력 규칙성에만 의존함을 보여줍니다.
  • S6: 이론적 분석 (부록 2) 은 오차 상수가 입력 진폭 ($M_u$), 투영 크기, 그리고 선택성 매개변수에 매우 민감함을 드러냅니다. 이는 S6 의 이산적 거동이 세분화 하에서 덜 안정적임을 시사합니다.
• 실증적 검증: 20 개의 무작위 시스템 - 입력 쌍에 대한 수치 실험은 S4 오차가 입력 스케일링과 시간적 세분화 하에서 안정적으로 유지되는 반면, S6 오차는 입력 크기에 따라 크게 증가함을 확인했습니다.

2. 작업 연속성 정량화

데이터셋의 연속성을 측정하기 위해 저자들은 지역적 시간적 유사성에 기반한 데이터 기반 지표($\mu$) 를 도입합니다.

• 정의: 이 지표는 시퀀스 내 인접한 요소들과 멀리 떨어진 요소들 간의 유사성을 비교합니다. 이는 다양한 지연 (lags) 범위에 걸쳐 지역적 유사성 점수를 집계하고, 지역적 연속성을 분리하기 위해 배경 유사성 항 ($\beta$) 을 차감합니다.
• 적용: 이 지표는 텍스트, 심볼 시퀀스와 같은 이산적 데이터셋부터 이미지, 동적 시스템 궤도와 같은 연속적 데이터셋까지 스펙트럼 상에 데이터셋을 배치합니다.

3. 모델 - 작업 정합성 조사

저자들은 모델 연속성이 작업 연속성과 정합되어야 한다는 가설을 검증하기 위해 통제된 실험을 수행합니다.

• 합성 연속성 제어: 그들은 입력 표현이 연속 임베딩과 양자화 (이산) 임베딩 사이의 가중치 보간인 예측 작업을 구성합니다. 가중치 $\eta$를 변화시킴으로써 연속성에 관한 작업 난이도의 연속체를 생성합니다.
• 벤치마크 평가: 그들은 Long-Range Arena (LRA) 벤치마크에서 S4, S6, 트랜스포머를 평가하고 각 작업에 대한 $\mu$ 점수를 계산합니다.

4. 알고리즘적 적용: 단계별 훈련

연속 모델 (예: S4) 이 시간적 세분화 하에서 안정적이라는 관찰을 활용하여, 저자들은 단계별 훈련 전략을 제안합니다.

• 메커니즘: 훈련은 시간적으로 하위 표본 추출된 (거친) 입력으로 시작합니다. 모델은 이 저해상도 데이터로 훈련되며, 이후 단계에서 해상도가 점진적으로 세분화됩니다. 이산화 매개변수 $\Delta$는 각 단계에서 이에 따라 스케일링됩니다.
• 근거: 이는 모델이 먼저 거친 패턴을 학습할 수 있는 능력을 활용하여 일종의 암시적 정규화 역할을 수행하고 초기 훈련 비용을 줄이는 것입니다.

주요 결과

1. 동기와 거동 간의 불일치: S4, S5, S6 모두 연속 시간 공식에서 유래했지만, 시간적 세분화 하에서 안정적인 연속 거동을 보이는 것은 S4 와 S5 뿐입니다. S6(Mamba) 은 입력 진폭과 선택적 동역학에 훨씬 더 민감하여 해상도가 증가함에 따라 이산 예측이 연속 궤도에서 벗어나게 됩니다.
2. 연속성과 성능의 정합:
   • 합성 작업: 작업이 더 연속적으로 변할수록 (높은 $\eta$), S4 가 S6 과 트랜스포머보다 우수한 성능을 발휘합니다. 반대로, 이산 작업 (낮은 $\eta$) 에서는 S6 과 트랜스포머가 우세합니다.
   • LRA 벤치마크: 계산된 연속성 점수가 높은 작업 (예: Image, Pathfinder, PathX) 은 S4 가 S6 과 트랜스포머보다 명확한 성능 우위를 보입니다. 연속성 점수가 낮은 작업 (예: ListOps, Text) 은 S6 과 트랜스포머를 선호합니다.
3. 효율성 향상: 단계별 훈련 전략은 연속 모델의 훈련을 크게 가속화합니다. 여섯 개의 LRA 작업 중 다섯 개에서 하위 표본 추출된 S4D 모델은 표준 훈련보다 더 짧은 실제 시간 (wall-clock time) 에 목표 정확도에 도달합니다. 매우 연속적인 작업에서는 최종 정확도도 더 높게 달성합니다.
4. 전략의 선택성: 하위 표본 추출 전략은 연속적 거동을 결여한 모델 (예: S6) 에서는 실패하며, 여기서 단계 전환은 정확도의 급격한 하락을 초래합니다. 이는 이 방법이 근본적인 모델의 연속성 속성에 의존함을 확인시켜 줍니다.

중요성과 주장

본 논문은 연속성을 순차 모델과 그 작업 간의 적합성을 지배하는 근본적인 귀납적 편향으로 제시합니다.

• 진단적 가치: 연속성은 모델 성능을 예측하는 원칙으로 작용합니다. 강한 시간적 연속성을 가진 모델은 동적 시스템, 시계열과 같은 연속 작업에 더 적합하며, 연속성이 약한 모델은 언어, 심볼 연산과 같은 이산 작업에 더 적합할 수 있습니다.
• 확장 법칙과의 차별성: 확장 법칙이 용량에 addressing 하는 것과 달리, 연속성 법칙은 구조적 호환성을 다룹니다. 불일치하는 아키텍처는 단순히 확장함으로써만 해결될 수 없으며, 귀납적 편향은 작업의 시간적 구조와 정합되어야 합니다.
• 실용적 유용성: 연속성은 단순히 진단적 속성이 아니라 알고리즘적으로 활용될 수 있는 구조적 특징입니다. 제안된 단계별 훈련은 모델 아키텍처 자체를 수정하지 않고도 모델의 연속성을 이해함으로써 더 효율적인 훈련 절차로 이어질 수 있음을 보여줍니다.

저자들은 연속성이 순차 모델링을 위한 "법칙과 같은 조직 원리"라고 결론지으며, 향후 연구가 모델 선택과 설계를 더욱 정교하게 만들기 위해 연속성이 주파수, 최근성 (recency) 과 같은 다른 귀납적 편향들과 어떻게 상호작용하는지 탐구해야 함을 시사합니다.