Regularity and Stability Properties of Selective SSMs with Discontinuous Gating

기술 요약: 불연속적 게이팅을 가진 선택적 SSM의 정칙성 및 안정성 특성

문제 정의

Mamba와 같은 선택적 상태 공간 모델(Selective State-Space Models, SSMs)은 장기 시퀀스 모델링의 중심이 되었습니다. 그러나 이들의 안정성 특성은 여전히 제대로 이해되지 않고 있습니다. 고전적인 선형 시불변(LTI) 또는 매끄러운 비선형 시스템과 달리, 선택적 SSM은 토큰 의존적 게이팅 신호에 의해 변조되는 상태 공간 계수($A, B, C$)를 특징으로 합니다. 이는 이 시스템이 LTI도 아니고 고전적인 비선형 시스템도 아닌, 데이터 의존적이며 불연속적인 파라미터를 가진 하이브리드 시스템임을 의미합니다. 기존의 분석은 주로 표현력(expressivity)에 초점을 맞추거나 재귀(recurrence)를 입력당 고정된 동적 시스템으로 취급하며, 모델이 초기 조건을 어떻게 망각하고, 에너지를 저장하며, 섭동(perturbation) 하에서 어떻게 안정성을 유지하는지에 대한 통합적인 에너지 기반의 설명을 결여하고 있습니다.

방법론

저자들은 고전 제어 이론, 특히 수동성(passivity), 소산성(dissipativity), 그리고 **입력-상태 안정성(Input-to-State Stability, ISS)**의 관점을 통해 이 문제에 접근합니다. 핵심적인 개념적 혁신은 두 신호를 명시적으로 분리하는 것입니다:

1. 선택 신호 ($x(\cdot)$): 시간 가변 행렬 $A, B, C$를 결정하여 동역학의 스케줄을 조절합니다.
2. 구동 입력 ($u(\cdot)$): 동역학을 구동하고 공급률(supply rate)에 나타나는 포트 입력입니다.

토큰 선택형 아키텍처에서는 흔히 $x \equiv u$로 설정되지만, 저자들은 수동성 및 ISS 분석에서 한정자(quantifiers)를 명확히 하기 위해 이 둘을 분리하여 유지합니다.

이론적 프레임워크

본 논문은 다음과 같이 정의된 연속 시간 선택적 SSM을 분석합니다:
$$\dot{h}(t) = A(\Delta(t), x(t))h(t) + B(\Delta(t), x(t))u(t)$$
$$y(t) = C(\Delta(t), x(t))h(t)$$
여기서 $\Delta(t)$는 보조 게이팅 신호(일반적으로 구간별 상수 형태)입니다. 분석은 게이팅에 의해 도입된 불연속성을 수용할 수 있도록 완만한 $L^p_{loc}$ 정칙성을 가정합니다.

주요 이론적 단계는 다음과 같습니다:

• 엄격한 소산성 (Strict Dissipativity): 시스템이 초기 조건의 지수적 망각을 보이는 조건을 확립합니다.
• 고정 선택 분석 (Frozen-Selection Analysis): 선택 신호를 고정($x(t) \equiv 0$)하여 수동적인 선형 시변(LTV) 부시스템을 드러냅니다. Morandin & Hinsen (2024)의 최신 결과들을 활용하여, 저자들은 이 부시스템이 불연속적인 게이팅 하에서도 국소 절대 상반 연속(Locally Absolutely Upper Semicontinuous, AUC$_{loc}$) 정칙성을 갖는 최소 이차 저장 함수(minimal quadratic storage function)를 가짐을 증명합니다.
• 보편적 이차 저장 (Universal Quadratic Storage): 만약 단일 이차 저장 함수가 모든 허용 가능한 선택 스케줄에 대해 수동성을 인증해야 한다면 어떤 구조적 제약이 발생하는지 조사합니다. 이는 파라미터화된 선형 행렬 부등식(LMI)과 "가역 불가능한 망각(irreversible forgetting)"(한 번 상태 방향이 저장 행렬의 커널에 진입하면 다시 관측 가능하게 만들 수 없음)의 개념으로 이어집니다.
• 전역 ISS (Global ISS): 선택 스케줄에 대해 균일하게, 구동 입력 $u(\cdot)$에 대한 전역 입력-상태 안정성(ISS)을 도출합니다.

이산 브릿지 및 정규화

현대적 아키텍처에 이론을 적용 가능하게 만들기 위해, 저자들은 연속 시간 파라미터 LMI를 Mamba의 선택적 스캔 재귀를 위한 샘플링된 블록 LMI로 변환합니다.

• 저자들은 일단계 이산 소산성 부등식을 유도합니다.
• 각 토큰 단계에서 샘플링된 블록 행렬 $L_k(P, \beta)$의 최대 양의 고윳값을 벌칙(penalty)으로 주는 미분 가능한 정규화 항 $R_{LMI}$를 정의합니다.
• 이 정규화 항은 실제 Mamba 기반 아키텍처인 SST의 학습 루프에 소프트 제약 조건으로 통합됩니다.

주요 기여

1. 두 신호 모델: 선택 신호와 포트 입력을 분리하여 엄격한 수동성 및 ISS 분석을 가능하게 하는 깔끔한 선택적 SSM 정식화.
2. 지수적 망각: 엄격한 소산성($\beta > 0$)이 이차 경계(quadratic bounds)와 결но 결합될 때, 허용 가능한 모든 선택 스케줄에 대해 균일하게 균질 궤적(homogeneous trajectories)의 지수적 감쇠를 보인다는 공식적 증명.
3. 정준 에너지 구조: 고정 선택 부시스템이 AUC$_{loc}$ 정칙성을 갖는 최소 이차 저장 함수를 보유함을 입증. 이는 HiPPO와 같은 원칙적인 초기화에 대한 에너지 기반의 정당성을 제공함.
4. 구조적 제약 및 가역 불가능한 망각: 보편적 이차 저장 가설 하에서 파라미터화된 LMI를 유도하고, 저장 행렬의 랭크(rank)가 비증가함을 증명. 이는 "가역 불가능한 망각"을 공식화하며, 에너지 구조에 의해 버려진 상태 방향은 게이팅 메커니즘에 의해 회복될 수 없음을 의미함.
5. 전역 ISS 조건: 선택 스케줄에 대해 균일하게, 구동 입력에 대한 전역 안정성을 위한 충분 조건 도출.
6. 이산 LMI 정규화 항: 연속 시간 이론으로부터 유도되어 Mamba의 선택적 스캔 코어에 적용 가능한, 실용적이고 미분 가능한 훈련 시간 정규화 항 제시.
7. 경험적 검증: 7개의 시계열 데이터셋과 4개의 예측 호라이즌에 대한 광범한 평가를 통해, 정규화 항이 정확도를 저해하지 않으면서 LMI 위반을 줄이는 능력을 입증.

결과

경험적 평가는 SST 아키텍처(Mamba와 단거리 어텐션의 라우티드 혼합 모델)를 사용하여 28개의 데이터셋-호라이즌 쌍(ETTh1/2, ETTm1/2, 날씨, 전력, 교통)에 대해 수행되었습니다.

• LMI 위반 감소: 이산 LMI 정규화 항은 모든 28개 쌍에서 평균 샘플드 Mamba 코어 LMI 위반을 약 92% (0.0358에서 0.029로) 감소시켰습니다.
• 클린 정확도 (Clean Accuracy): LMI 위반의 감소는 클린 MSE(평균 제곱 오차)에 거의 영향을 미치지 않았으며(비교 차이가 0.018% 미만), 이는 비정규화된 베이스라인과 비교했을 때 매우 미미한 수준입니다.
• 보수성 절제 실험 (Conservativeness Ablation): 고정된 항등 저장 행렬($P=I$)을 학습 가능한 대각 행렬($P=\text{diag}(q)$)로 교체했을 때, 모든 28개 쌍에서 엄격한 파레토 개선(더 낮은 위반, 동일한 정확도)을 보여 정규화 프레임워크의 유연성을 확인했습니다.
• 섭동에 대한 강건성: 주입된 섭동(가우시안 노이즈, 스파이크, 마스크 등) 하에서, 정규화 항은 내부 Mamba 코어 진단(LMI 위반 약 60% 감소 및 상태 노름 약 3.4% 감소)을 개선했습니다. 그러나 실제 예측 MSE의 강건성 향상은 측정되지 않았습니다. 저자들은 이를 "정직한 부정적 결과(honest negative)"라고 명시하며, 정규화 항이 Mamba 코어만을 제약하는 반면 주변 네트워크(정규화, 잔차, 라우팅)가 최종 출력에 미치는 섭동 효과를 흡수하기 때문이라고 설명했습니다.
• 라우터 안정성: 에너지 인지형 라우팅 스케줄을 학습하려는 시도(로컬 LMI 위반이 높을 때 Mamba 사용을 징벌)는 중립적인 결과를 낳았습니다. Mamba 가중치가 약간 낮아지긴 했으나, Mamba 가중치와 LMI 위반 사이의 상관관계는 거의 제로에 가까웠으며, 이는 클린 데이터로 학습하는 것이 에너지 인지형 라우팅을 유도하지 않음을 시사합니다.

의의 및 주장

본 논문은 고전 제어 이론과 현대 딥러닝 아키텍처 사이의 가교 역할을 합니다. 그 의의는 다음과 같습니다:

• 이론적 명확성: 리아푸노프 지수 진단을 넘어 수동성 및 ISS와 같은 구조적 특성으로 확장하여, 선택적 SSM에 대한 통일된 에너지 기반 설명을 제공합니다.
• 초기화의 정당성: HiPPO와 같은 초기화가 왜 효과적인지(잘 조건화된 이차 에너지 지형을 제공하기 때문)에 대한 이론적 근거를 제시합니다.
• 실용적 도구: 기존 훈련 파이프라인에 삽입하여 SSM 코어에 구조적 안정성을 강제할 수 있는 저비용의 미분 가능한 정규화 항을 도입합니다.
• 정직한 범위 설정: 저자들은 자신들의 주장에 대한 한계를 명확히 합니다. 이들이 정규화 항이 전체 딥 네트워크의 수동성을 인증하거나 독자적으로 강건한 MSE 개선을 보장한다고 주장하지 않습니다. 대신, "상당한 위반 감소"를 달eric하며, 코어 안정성과 엔드-투-엔드 강건성 사이의 간극이 여전히 열린 연구 과제임을 인정합니다.

요약하자면, 본 논문은 연속 시간 제어 이론의 보증을 선택적 SSM을 위한 검증 가능하고 미분 가능한 훈련 기준으로 성공적으로 변환하였으며, 이러한 구조적 제약이 정확도 손실 없이 내부 안정성 진단을 크게 향상시킬 수 있음을 입증하였습니다.