Geometric SSM: LTI State Space Models for Selective Tasks

이 논문은 시간 불변 (LTI) 특성을 유지하면서도 기하학적 제어 원리를 활용해 선택적 상태 공간 모델 (Geometric SSM) 을 제안함으로써, 기존 Mamba 모델이 수행하지 못한 다중 토큰 패턴 인식 및 선택적 태스크를 효율적으로 처리할 수 있음을 입증합니다.

핵심

🎯 핵심 주제: "선택적 집중을 하려면, 시스템을 매번 바꿔야 할까?"

최근 Mamba 라는 AI 모델이 등장하며, **"중요한 정보만 골라내고 (선택), 중요하지 않은 건 무시하려면, 시스템이 입력에 따라 계속 변해야 (시간에 따라 변하는 동역학) 한다"**는 주장이 지배적이었습니다. 마치 매번 새로운 안경을 끼거나, 상황에 따라 뇌의 구조를 바꿀 정도로 유연해야만 집중할 수 있다는 뜻이죠.

하지만 이 논문의 저자들은 **"아니요, 그건 오해입니다!"**라고 말합니다.
**"시스템을 고정된 채로 (LTI) 두어도, 잘만 설계하면 똑똑하게 집중할 수 있다"**는 것을 증명했습니다.

---

🧩 비유로 이해하는 두 가지 접근법

1. 기존 방식 (Mamba): "매번 변하는 마법사"

Mamba 는 입력되는 단어 하나하나에 따라 시스템의 규칙을 실시간으로 바꿉니다.

• 비유: 식당에 손님이 들어올 때마다, 요리사가 "오늘은 이 손님을 위해 냄비 모양을 바꾸고, 불 조절법을 새로 정하고, 조리법을 완전히 바꿔야겠다"라고 생각하며 요리하는 상황입니다.
• 장점: 그 손님의 취향에 딱 맞는 요리를 할 수 있습니다 (선택적 집중).
• 단점: 매번 냄비와 조리법을 바꾸느라 시간이 걸리고, 계산이 복잡해집니다. 또한, "어제 손님이 무엇을 먹었는지" 기억하기가 어렵습니다.

2. 새로운 방식 (Geometric SSM): "고정된 정교한 필터"

이 논문이 제안하는 기하학적 SSM은 시스템 자체는 변하지 않지만, 입력되는 신호가 시스템의 특정 '통로'를 통과하도록 설계합니다.

• 비유: 고정된 모양의 **여러 개의 특수한 체 (Filter)**가 있는 공장입니다.
  • '데이터'라는 이름의 공은 구멍이 큰 체를 통과해 다음 단계로 가고,
  • '빈 공 (불필요한 정보)'이라는 이름의 공은 구멍이 작은 체에 걸러져 버립니다.
  • 중요한 건, 이 체들의 모양은 변하지 않지만, 공의 모양 (입력 패턴) 에 따라 통과할지 말지가 결정된다는 점입니다.
• 핵심: 시스템은 고정되어 있지만, **과거의 기억 (Temporal Memory)**을 가진 '보조 기계'가 "지금 들어온 게 중요한 패턴인지, 과거의 패턴과 이어지는지"를 판단해서 문 (게이트) 을 열어줍니다.

---

🚀 이 연구가 왜 중요한가요? (세 가지 놀라운 사실)

1. "기억력"이 있는 선택 (Extended Induction Head)

기존 Mamba 는 '지금 당장 들어온 단어'만 보고 선택합니다. 하지만 여러 단어가 이어져야만 중요한 신호가 되는 경우 (예: "A, B, C"가 모두 들어와야 "D"를 기억하라) 에는 약점이 있었습니다.

• Mamba: "지금 'A'가 왔네? 중요할까? 모르겠어." (과거를 못 기억함)
• Geometric SSM: "이전에도 'A'와 'B'가 왔었지? 지금 'C'가 왔으니, 이건 중요한 신호야!"라고 과거의 맥락을 기억하며 선택합니다.
• 결과: Mamba 가 실패한 복잡한 패턴 인식 테스트에서, 이 새로운 모델은 99% 이상의 정확도를 기록하며 압도적인 승리를 거두었습니다.

2. 계산은 더 빠르고, 메모리는 더 적게

Mamba 는 시스템을 매번 바꿀 때 계산이 복잡해지고 메모리를 많이 씁니다. 하지만 Geometric SSM 은 시스템이 고정되어 있어, **FFT(고속 푸리에 변환)**라는 아주 빠른 수학적 도구를 쓸 수 있습니다.

• 비유: Mamba 는 매번 새로운 지도를 그려가며 길을 찾는 반면, Geometric SSM 은 이미 완성된 고속도로를 달리는 것과 같습니다.
• 효과: 같은 성능을 내면서 훨씬 적은 메모리와 계산 자원으로 작동합니다.

3. 이론과 실전의 만남

이 연구는 단순히 "더 좋은 AI"를 만든 것이 아니라, **"제어 이론 (Control Theory)"**이라는 오래된 공학 지식을 AI 에 적용하여, 왜 LTI(선형 시불변) 시스템으로도 선택이 가능한지 수학적으로 증명했습니다. 이는 AI 설계에 새로운 방향을 제시합니다.

---

💡 요약: 한 문장으로 정리하면?

"중요한 정보만 골라내는 '선택적 집중'을 위해 시스템을 매번 바꿀 필요는 없습니다. 고정된 시스템에 '과거 기억'을 가진 똑똑한 필터를 붙이면, Mamba 보다 더 정확하고 효율적으로 복잡한 패턴을 이해할 수 있습니다."

이 논문은 AI 가 더 똑똑해지기 위해 반드시 시스템을 복잡하게 변형시킬 필요는 없으며, 오히려 **기존의 단순하고 강력한 수학적 원리 (기하학적 제어)**를 잘 활용하면 더 나은 해결책을 찾을 수 있음을 보여줍니다.

기술 요약

1. 문제 제기 (Problem)

최근 선택적 상태 공간 모델 (Selective State Space Models, SSMs) 의 핵심인 Mamba 아키텍처는 입력의 중요도에 따라 동적으로 정보를 필터링하는 '선택성 (Selectivity)'을 구현하기 위해 선형 시변 (Linear Time-Varying, LTV) 동역학을 도입했습니다.

• 기존 주장: Mamba 의 저자 (Gu & Dao, 2023) 는 "선택성을 달성하려면 시스템 행렬이 시간에 따라 변해야 하며, 선형 시불변 (Linear Time-Invariant, LTI) 시스템으로는 선택적 입력 처리가 불가능하다"고 주장했습니다.
• 문제점: LTV 동역학은 기존 SSM 의 병렬 학습 (FFT 기반 컨볼루션) 이라는 장점을 해체하고, 순차적 계산을 필요로 하며 분석을 복잡하게 만듭니다.
• 핵심 질문: 정말로 선택성을 위해 LTI 속성을 포기해야 하는가?

2. 방법론 (Methodology)

이 논문은 기하학적 제어 이론 (Geometric Control Theory) 을 활용하여 LTI 시스템으로도 선택성이 가능함을 증명하고, 이를 기반으로 Geometric SSM을 제안합니다.

가. 이론적 기반: 기하학적 제어

• 핵심 통찰: 서로 다른 입력 패턴이 상태 공간의 서로 다른 불변 부분공간 (Invariant Subspaces) 을 자극하도록 시스템을 설계할 수 있습니다.
• 작동 원리: 특정 입력 (예: 데이터 토큰) 은 상태 공간의 특정 부분공간을 활성화하여 출력을 생성하고, 다른 입력 (예: 불필요한 토큰) 은 해당 부분공간을 자극하지 않아 출력을 0 으로 만듭니다. 이는 시스템 행렬이 시변 (Time-Varying) 이 아니더라도 입력 내용에 따라 다른 반응을 생성할 수 있음을 의미합니다.

나. 제안된 아키텍처: Geometric SSM

Mamba 가 재귀 (Recurrent) 내부에서 시변 행렬을 사용하는 것과 달리, Geometric SSM 은 선택 메커니즘을 동적 잔차 생성기 (Dynamic Residual Generator) 를 통해 외부로 분리합니다.

1. 신호 추출 ($\Sigma_f$): 입력 $u(t)$ 를 처리하여 특징 시그니처 $f(t)$ 를 생성하는 LTI 시스템.
2. 주 처리 ($\Sigma_M$): 입력과 특징을 결합하여 후보 출력 $y_s(t)$ 를 생성하는 LTI 시스템.
3. 잔차 생성 및 선택 신호 ($\Sigma_r$): 후보 출력과 실제 입력의 차이 (잔차) 를 기반으로 시그모이드 함수를 통해 선택 신호 $s(t)$ 를 생성하는 LTI 시스템. 이 시스템은 과거 입력의 맥락 (Temporal Memory) 을 유지합니다.
4. 게이팅 ($\Sigma_g$): 선택 신호 $s(t)$ 를 사용하여 이전 출력 $y(t)$ 와 후보 출력 $y_s(t)$ 를 보간하여 최종 출력 $y(t+1)$ 을 결정합니다.
   • $s(t) \approx 1$: 새로운 정보 전달 (주목).
   • $s(t) \approx 0$: 이전 상태 유지 (무시).

다. 효율적인 구현 (I/O 표현)

• FFT 기반 병렬 학습: 상태 공간 표현 대신 입력 - 출력 (I/O) 표현 (전달 함수) 을 사용합니다. 이는 LTI 시스템에만 가능한 표현으로, 파라미터 수를 상태 차원에 대해 선형적으로 줄이고, FFT 기반 컨볼루션을 통해 완전한 병렬 학습을 가능하게 합니다.
• 메모리 효율성: 학습 시 상태 궤적을 저장할 필요가 없어 메모리 사용량이 시퀀스 길이에만 의존합니다.

3. 주요 기여 (Key Contributions)

1. LTI 시스템의 선택성 증명: "선택성을 위해 LTV 가 필수적이다"라는 기존 주장을 반박하고, 기하학적 제어 원리를 통해 LTI 시스템으로도 선택적 입력 처리가 가능함을 수학적으로 증명했습니다.
2. Geometric SSM 아키텍처 제안: 시간 불변 (LTI) 구조를 유지하면서도 동적 잔차 생성기를 통해 맥락 기반 선택을 수행하는 새로운 아키텍처를 제시했습니다.
3. 메모리 없는 선택의 한계 규명: Mamba 의 현재 입력만 의존하는 선택 메커니즘이 다중 토큰 패턴 (Temporal Patterns) 을 인식하는 데 한계가 있음을 실험적으로 입증했습니다.
4. 효율성 유지: LTI 구조를 유지함으로써 FFT 기반의 병렬 학습과 이론적 분석 도구를 계속 활용할 수 있게 했습니다.

4. 실험 결과 (Results)

저자들은 합성 벤치마크와 표준 작업을 통해 Geometric SSM 과 Mamba (Selective SSM) 를 비교했습니다.

작업 (Task)	결과 및 분석
Induction Head (단일 토큰 트리거)	Geometric SSM: 거의 완벽한 정확도 (99%+) 달성. Mamba: 시퀀스 길이가 길어질수록 성능 저하 (20% 대). → Geometric SSM 이 훨씬 적은 파라미터 (50 개 vs 700 개) 로 더 우수한 일반화 성능을 보임.
Extended Induction Head (다중 토큰 트리거 시퀀스)	Geometric SSM: 99%+ 정확도 유지. Mamba: 20% 미만으로 실패. → Mamba 는 과거 입력을 기억하지 못해 다중 토큰 패턴을 인식하지 못함. Geometric SSM 은 잔차 생성기를 통해 시간적 맥락을 유지하여 성공.
Sequential MNIST (일반 시퀀스 모델링)	Geometric SSM: 81% 정확도. Mamba: 11% 정확도. → Geometric SSM 이 선택성뿐만 아니라 일반적인 장기 의존성 문제에서도 우수함을 입증. 또한 Mamba 는 상태 기반 학습으로 인해 메모리 부족으로 큰 모델을 실행하지 못함.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 의의: 선택적 시퀀스 모델링 분야에서 LTI 속성이 필수적으로 포기되어야 한다는 통념을 깨뜨렸습니다. 기하학적 제어 이론이 머신러닝 아키텍처 설계에 강력한 지침이 될 수 있음을 보여주었습니다.
• 실용적 의의:
  • 병렬 학습: LTV 구조의 단점인 순차적 학습을 피하고, FFT 기반 병렬 학습의 이점을 유지합니다.
  • 메모리 효율성: 내부 상태 차원에 의존하지 않는 메모리 효율적인 학습이 가능합니다.
  • 확장성: 다중 토큰 패턴 인식 등 복잡한 시간적 의존성을 처리할 수 있어, 향후 대규모 언어 모델이나 시계열 예측 모델의 설계에 새로운 방향을 제시합니다.

결론적으로, 이 논문은 "선택성 (Selectivity)"을 달성하기 위해 반드시 동적 (Time-Varying) 인 시스템을 사용할 필요는 없으며, 잘 설계된 기하학적 LTI 시스템이 더 효율적이고 강력한 선택적 시퀀스 모델링을 가능하게 함을 입증했습니다.