Transformers as Implicit State Estimators: In-Context Learning in Dynamical Systems

이 논문은 시스템 모델에 대한 명시적 지식이나 테스트 시간의 그래디언트 업데이트 없이도, 과거 입력 - 출력 시퀀스를 컨텍스트로 제공하는 고정된 트랜스포머가 선형 및 비선형 동적 시스템의 숨겨진 상태를 암묵적으로 추정하여 칼만 필터나 파티클 필터와 유사한 예측 성능을 달성함을 보여줍니다.

핵심

이 논문은 **"트랜스포머 (Transformer)"**라는 최신 인공지능 모델이, 복잡한 수학적 공식 없이도 **동적 시스템 (예: 움직이는 물체, 주식 시장, 날씨 등)**의 미래를 예측하는 놀라운 능력을 가지고 있다는 것을 보여줍니다.

기존의 공학자들은 이런 예측을 위해 '칼만 필터 (Kalman Filter)'라는 정교한 수학적 도구를 사용했습니다. 하지만 이 논문의 핵심은 **"인공지능이 스스로 그 도구의 원리를 '문맥 학습 (In-Context Learning)'을 통해 터득한다"**는 것입니다.

이 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

🚗 비유: "수학책을 안 본 운전사 vs. 경험 많은 택시 기사"

1. 기존 방식: 수학적 계산기 (칼만 필터)

과거에는 물체가 어떻게 움직일지 예측하려면, 물리학 공식 (뉴턴 역학 등) 을 완벽하게 알고 있어야 했습니다.

• 상황: 비가 오고 도로가 미끄러울 때, 앞차의 속도와 방향을 보고 "내 차가 몇 초 뒤 어디에 있을지" 계산해야 합니다.
• 방법: 공학자는 칼만 필터라는 정교한 계산기를 들고, "마찰 계수는 이렇고, 바람은 저렇다"는 수치를 대입해 정밀하게 계산합니다.
• 단점: 만약 도로 상태 (시스템의 규칙) 를 정확히 모거나, 계산기에 필요한 숫자 (소음, 마찰력 등) 가 빠져있으면 계산이 틀어집니다.

2. 이 논문의 발견: "문맥 학습"을 하는 AI (트랜스포머)

이 논문은 AI 가 수학 공식이나 물리 법칙을 가르쳐 주지 않아도, 과거의 기록만 보여주면 스스로 그 규칙을 찾아낸다고 말합니다.

• 상황: AI 에게 "지난 10 분 동안 비가 오고, 앞차가 이렇게 움직였어. 그다음은 어때?"라고만 물어봅니다. (수치나 공식은 없음)
• AI 의 반응: AI 는 과거의 수많은 운전 기록을 보며 **"아, 비가 오면 차가 미끄러져서 더 멀리 갈 거야"**라고 스스로 추론합니다.
• 결과: AI 는 마치 수학책을 한 번도 안 본 채, 수많은 운전 경험을 통해 '칼만 필터'와 똑같은 예측 능력을 터득한 베테랑 택시 기사가 된 것입니다.

---

🔍 핵심 포인트 3 가지

1. "공식 없이도 정답을 맞춘다" (문맥 학습)

기존의 AI 는 특정 문제를 풀기 위해 매번 새로운 공식을 학습하거나, 수학적 모델을 직접 입력받아야 했습니다.
하지만 이 연구에 따르면, AI 는 과거의 데이터 (입력) 와 그 결과 (출력) 를 나열해 주기만 하면, 그 패턴을 보고 "다음은 이렇게 될 거야"라고 예측합니다. 마치 유아동 그림책을 보고 문법을 배우는 아이처럼, 공식 없이도 언어 (규칙) 를 습득하는 것입니다.

2. "모델이 작으면 단순하고, 크면 똑똑해진다" (규모의 중요성)

논문의 흥미로운 점은 AI 의 크기 (모델 규모) 에 따라 행동이 달라진다는 것입니다.

• 작은 AI: 과거 데이터를 단순히 평균내거나, 가장 최근 값만 보고 예측합니다. (단순한 회귀 분석 수준)
• 큰 AI: 과거의 복잡한 흐름을 파악하고, 숨겨진 상태 (예: 운전사의 의도, 바람의 세기) 를 추론합니다. 이쯤 되면 칼만 필터나 파티클 필터 (더 정교한 예측 도구) 와 똑같은 성능을 냅니다.
• 비유: 작은 AI 는 "지난번에 빨랐으니 이번에도 빨라"라고 말하지만, 큰 AI 는 "비도 오고, 도로가 막히고, 운전자가 급하게 핸들을 꺾었으니 앞으로는 이렇게 움직일 거야"라고 상황을 종합적으로 판단합니다.

3. "정보가 부족해도 버텨낸다" (강건성)

만약 AI 에게 "도로의 마찰 계수"나 "바람의 세기" 같은 중요한 정보가 빠져있다면 어떻게 될까요?

• 기존 방식: 계산이 불가능해지거나 큰 오차가 발생합니다.
• 이 AI: "아, 마찰 계수가 안 나왔구나. 그럼 과거의 비슷한 상황들을 떠올려서 대충 추측해 볼까?"라고 결손된 정보를 스스로 채워 넣습니다. 이는 마치 눈이 가려진 상태에서 소리를 듣고 위치를 파악하는 고래처럼, 부족한 정보로도 최선의 예측을 해내는 능력을 보여줍니다.

---

💡 왜 이것이 중요한가요?

이 연구는 **"인공지능이 단순히 데이터를 외우는 것이 아니라, 동적 시스템의 '숨겨진 규칙'을 이해하고 추론할 수 있다"**는 것을 증명합니다.

• 실제 적용: 앞으로는 복잡한 공학 모델 (로켓, 자율주행, 금융 시장) 을 일일이 수학적으로 설계할 필요가 줄어들 수 있습니다. AI 에게 과거 데이터만 주면, AI 가 스스로 그 시스템의 '두뇌'를 만들어내 예측할 수 있기 때문입니다.
• 유연성: 시스템이 비선형적 (복잡하고 예측 불가능한) 으로 변해도, AI 는 새로운 패턴을 문맥에서 찾아내어 적응합니다.

📝 한 줄 요약

"이 논문은 AI 가 수학 공식 없이도, 과거의 경험 (데이터) 만으로 복잡한 시스템의 미래를 예측하는 '칼만 필터'와 같은 천재적인 능력을 스스로 터득할 수 있음을 보여주었습니다."

이는 마치 수학 문제를 풀지 않고도, 수많은 문제를 풀어본 경험만으로 '문제 해결의 본질'을 깨달은 학생과 같습니다.

기술 요약

논문 요약: "Transformers as Implicit State Estimators: In-Context Learning in Dynamical Systems"

저자: Usman Akram, Haris Vikalo (The University of Texas at Austin)
게재: Transactions on Machine Learning Research (03/2026)

---

1. 연구 배경 및 문제 정의 (Problem)

동적 시스템 (Dynamical Systems) 의 과거 노이즈가 포함된 출력 관측치로부터 시스템의 행동을 예측하는 문제는 공학 및 과학 전반에서 고전적인 과제입니다.

• 선형 가우시안 시스템: 칼만 필터 (Kalman Filter) 가 베이지안 관점에서 최적의 상태 추정기입니다.
• 비선형 시스템: 확장 칼만 필터 (EKF) 나 입자 필터 (Particle Filtering, PF) 와 같은 하위 최적의 휴리스틱 또는 수치적 방법이 사용됩니다.
• 기존 접근법의 한계: 이러한 전통적인 필터들은 시스템 모델 (상태 전이 행렬, 노이즈 공분산 등) 에 대한 명시적인 지식이 필요하며, 테스트 시 모델 파라미터를 재학습하거나 수정해야 할 수 있습니다.

본 논문은 변환기 (Transformer) 가 맥락 내 학습 (In-Context Learning, ICL) 을 통해 시스템 모델을 명시적으로 알지 못하거나, 테스트 시 그라디언트 업데이트 없이도 동적 시스템의 숨겨진 상태 (Hidden State) 를 암시적으로 추정하여 출력을 예측할 수 있는지 연구합니다.

2. 방법론 (Methodology)

2.1. 맥락 내 학습 (ICL) 설정

• 모델: 사전 학습된 (Frozen) GPT-2 아키텍처 기반의 변환기.
• 입력: 과거의 입력 - 출력 쌍 (Input-Output Pairs) 과 선택적으로 시스템 파라미터 (상태 전이 행렬 $F$, 노이즈 공분산 $Q, R$ 등) 를 포함하는 시퀀스.
• 목표: 현재 시점의 시스템 출력 ($y_t$) 을 예측하는 것. 테스트 시 그라디언트 업데이트는 수행되지 않음.

2.2. 구성적 증명 (Constructive Proof)

저자들은 변환기가 칼만 필터의 연산을 구현할 수 있음을 이론적으로 증명했습니다.

• RAW 연산자 (Read-Arithmetic-Write): Akyürek et al. (2023) 의 프레임워크를 기반으로, 변환기의 어텐션 헤드가 행렬 곱셈, 스칼라 나눗셈, 메모리 읽기/쓰기 등의 기본 연산을 수행할 수 있음을 보였습니다.
• 칼만 필터의 재구성: 칼만 필터의 예측 (Prediction) 및 업데이트 (Update) 단계를 변환기가 수행 가능한 기본 연산 (Mul, Div, Aff, Transpose) 으로 분해하여 표현했습니다.
• 이중 칼만 필터 (Dual Kalman Filter): 시스템 파라미터가 맥락에 포함되지 않은 경우에도, 변환기가 숨겨진 파라미터를 추정하는 이중 칼만 필터와 유사한 동작을 학습할 수 있음을 이론적으로 제시했습니다.

2.3. 실험 설계

• 데이터: 무작위로 샘플링된 시스템 파라미터로 생성된 합성 동적 시스템 궤적.
• 학습 방식: 커리큘럼 학습 (Context length를 점진적으로 증가) 을 통해 다양한 시나리오 (선형/비선형, 파라미터 유무) 에 적응하도록 훈련.
• 비교 대상: 칼만 필터 (KF), 확장 칼만 필터 (EKF), 입자 필터 (PF), SGD, 릿지 회귀 (Ridge Regression), OLS.

3. 주요 기여 (Key Contributions)

1. 동적 시스템 필터링의 ICL 구현: 무작위 시스템 파라미터로 훈련된 변환기가 테스트 시 그라디언트 업데이트 없이 맥락 내 학습을 통해 동적 시스템 필터링을 수행할 수 있음을 최초로 입증했습니다.
2. 선형 및 비선형 시스템에서의 성능:
   • 선형 시스템: 충분한 맥락과 모델 크기가 주어지면 변환기의 예측이 칼만 필터와 거의 일치함을 보였습니다.
   • 비선형 시스템: EKF 및 입자 필터와 유사하거나 일부 시나리오 (예: 알 수 없는 회전율을 가진 기동하는 표적 추적) 에서는 이를 능가하는 성능을 달성했습니다.
3. 강건성과 암시적 파라미터 추론: 상태 전이 행렬이나 노이즈 공분산과 같은 핵심 파라미터가 맥락에서 누락된 경우에도, 변환기는 성능이 크게 저하되지 않으며 누락된 정보를 암시적으로 추론하여 이중 칼만 필터 (Dual Kalman Filter) 와 유사한 동작을 보였습니다.
4. 모델 규모와 컨텍스트 길이의 영향:
   • 작은 모델/짧은 맥락: 단순한 선형 회귀 (SGD, OLS, Ridge) 와 유사한 동작을 보입니다 (잠재 상태 추론 없음).
   • 큰 모델/긴 맥락: 잠재 상태를 암시적으로 복원하여 최적의 필터링 행동 (칼만 필터 등) 에 수렴합니다.

4. 실험 결과 (Results)

• 선형 시스템 (Scalar & Vector Measurements):
  • 변환기는 맥락 길이가 증가함에 따라 MSE(평균 제곱 오차) 와 MSPD(평균 제곱 예측 차이) 가 칼만 필터에 수렴했습니다.
  • 노이즈 공분산 ($Q, R$) 이 입력에서 제거되어도 성능이 안정적으로 유지되었으며, 이는 변환기가 노이즈 통계를 암시적으로 학습했음을 시사합니다.
  • 시스템 파라미터 ($F$) 가 완전히 누락된 경우에도, 상태 차원이 작을 때 ($n=2$) 변환기는 칼만 필터 수준의 성능을 보였으나, 차원이 클 때 ($n=8$) 는 SGD 수준으로 성능이 저하되었습니다. 이는 모델 용량과 추론 복잡도 간의 관계를 보여줍니다.
• 비선형 시스템:
  • System 1 (비선형 상태 전이): 변환기는 EKF 와 PF 의 성능을 능가하거나 동급으로 달성했습니다.
  • System 2 (알 수 없는 회전율): 변환기는 EKF 와 PF 보다 더 낮은 오차를 기록하며, 특히 장기 예측에서 우수한 성능을 보였습니다. 이는 변환기가 명시적인 모델 없이도 복잡한 비선형 역학을 학습할 수 있음을 의미합니다.
• 모델 규모 분석:
  • 레이어 수와 임베딩 차원을 증가시킬수록 변환기의 행동이 단순 회귀에서 EKF/PF 와 같은 복잡한 필터링 알고리즘으로 전환되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 변환기가 단순히 정적인 패턴을 학습하는 것을 넘어, 동적 시스템의 상태 추정 (State Estimation) 과 같은 복잡한 시계열 추론 작업을 맥락 내 학습을 통해 수행할 수 있음을 입증했습니다.

• 비모수적 대안: 명시적인 시스템 모델이나 테스트 시 학습 없이도 유연하게 다양한 동적 시스템에 적용 가능한 비모수적 (Non-parametric) 필터링 대안을 제시합니다.
• 암시적 추론: 변환기가 입력된 맥락을 통해 시스템의 숨겨진 상태와 파라미터를 암시적으로 추론하고, 이를 기반으로 최적의 예측을 수행한다는 점을 보여주었습니다.
• 미래 방향: 상관관계가 있는 노이즈 (Temporally correlated noise) 로의 확장 및 내부 표현의 형성 메커니즘에 대한 추가 연구가 필요함을 제시합니다.

결론적으로, 이 논문은 딥러닝 기반의 변환기가 고전적인 제어 이론 및 추정 이론의 핵심 알고리즘을 학습하고 모방할 수 있는 강력한 능력을 가지고 있음을 보여주며, 동적 시스템 제어 및 예측 분야에서 새로운 패러다임을 제시합니다.