Cost-Driven Representation Learning for Linear Quadratic Gaussian Control: Part I

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"고해상도 카메라로 세상을 보지만, 실제로는 어떤 물체인지 모를 때, 어떻게 하면 가장 잘 움직일 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 인공지능 (AI) 은 카메라로 찍은 이미지 (관측치) 를 그대로 보고 학습하려 했어요. 하지만 이미지에는 목적과 상관없는 배경이나 사물이 너무 많아서 AI 가 혼란을 겪곤 했습니다. 이 논문은 **"이미지를 복원하는 대신, '비용 (Cost)'이라는 나침반만 보고 학습하자"**는 새로운 접근법을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 상황 설정: 안개 낀 미로와 나침반

상상해 보세요. 당신은 안개가 자욱한 미로에 갇혀 있습니다.

관측치 (이미지): 앞이 잘 안 보여서 주변 풍경이 흐릿하게 보입니다. (예: 로봇이 카메라로 보는 세상)
목표: 미로를 빠져나가는 것입니다.
비용 (Cost): 길을 잘못 들면 '벌점'을 받고, 잘 가면 '점수'를 받습니다.

기존 방법 (관측치 복원) 은 **"이 흐릿한 그림을 또렷하게 그려내서, 그림 속의 나무와 돌을 정확히 식별하자"**는 방식입니다. 하지만 그림이 너무 복잡하고 노이즈가 많아서, AI 는 쓸데없는 나뭇잎까지 기억하느라 지쳐버립니다.

이 논문이 제안하는 방법 (비용 주도 학습) 은 **"그림을 그리지 말고, '벌점'이 얼마나 많이 쌓였는지만 보자"**는 것입니다.

"아, 이 방향으로 가면 벌점이 많이 쌓이네? 그럼 저쪽은 틀렸구나."
"이쪽은 벌점이 적게 쌓이네? 이쪽이 정답에 가깝구나."

이미지의 디테일은 중요하지 않습니다. 어디로 가야 '비용 (벌점)'이 최소가 되는지만 알면 되니까요.

2. 핵심 아이디어: "단 한 번의 벌점"이 아닌 "누적 벌점"을 보라

논문의 가장 중요한 통찰은 **"단순히 지금 당장의 벌점만 보면 안 된다"**는 것입니다.

단순한 접근: "지금 발을 디디니 1 점 벌점이네." -> "아, 나쁜 방향이야." (하지만 다음 발걸음은 아주 좋을지도 모릅니다.)
이 논문의 접근 (다중 단계 누적 비용): "지금 1 점 벌점이지만, 이 방향으로 5 걸음 더 가면 총 100 점 벌점이 쌓일 거야. 반면 저쪽은 지금 2 점이지만, 5 걸음 뒤엔 0 점이야. 그러니 저쪽으로 가자."

이는 마치 체스를 두는 것과 같습니다.

초보자는 "지금 폰을 먹으면 1 점 이득"이라고만 봅니다.
고수는 "지금 폰을 먹으면 1 점 이득이지만, 3 수 뒤엔 내 왕이 잡혀서 게임이 끝날 거야"라고 미래의 누적 결과를 봅니다.

이 논문은 AI 가 **미래의 누적 비용 (벌점)**을 예측해서 학습하면, 복잡한 이미지 없이도 최적의 경로를 찾을 수 있음을 수학적으로 증명했습니다.

3. 기술적 난관과 해결책: "초기 단계의 실수"

학습을 시작할 때, AI 는 처음 몇 발짝은 어딘가 가야 할지 모르고 헤맬 수 있습니다. (논문의 'ℓ' 단계)

문제: 처음에는 방향을 잡지 못해 데이터가 부족합니다. 이때는 지도 (모델) 를 완벽하게 그릴 수 없습니다.
해결: 논문의 저자들은 **"처음 몇 발짝은 완벽하지 않아도 괜찮다. 중요한 건 그 이후에 방향을 잡는 것"**이라고 말합니다.
- 처음에는 어설프게 지도를 그리지만, 시간이 지날수록 (데이터가 쌓일수록) 지도가 점점 정밀해집니다.
- 특히 **안정성 (Stability)**을 보장하기 위해, 처음에는 지도의 일부만 정확히 그리는 것으로 만족하고, 나중에는 전체를 완벽하게 그리는 전략을 사용합니다.

4. 결론: 왜 이 연구가 중요한가?

이 연구는 **"이미지를 완벽하게 이해할 필요 없이, 목표 (비용) 만 명확히 하면 AI 는 스스로 세상을 이해할 수 있다"**는 것을 수학적으로 증명했습니다.

실제 적용: 자율주행차나 로봇 팔이 복잡한 카메라 영상을 처리할 때, "이 차가 뭐지? 저 나무는 뭐지?"라고 고민할 필요 없이, **"이 방향으로 가면 사고 (비용) 가 날 거야"**라는 신호만으로도 훨씬 빠르고 정확하게 움직일 수 있게 됩니다.
의의: 그동안 AI 연구자들은 "세상을 어떻게 똑똑하게 볼까?"에 집중했다면, 이 논문은 **"세상을 어떻게 똑똑하게 '사용'할까?"**에 집중하는 새로운 길을 열었습니다.

한 줄 요약

"흐릿한 카메라 화면을 완벽하게 복원하려 애쓰지 말고, '어디로 가야 벌점이 가장 적게 쌓일까?'라는 미래의 나침반만 쫓아다니면, AI 는 스스로 미로를 빠져나갈 수 있다."

이 논문은 바로 그 '나침반'을 쫓는 방법 (비용 주도 학습) 이 수학적으로도 안전하고 효율적임을 증명해낸 것입니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Setup)

배경: 부분 관측 가능 선형 동적 시스템 (Partially Observable Linear Dynamical Systems) 에서 제어 입력 $u_t$ 를 결정하기 위해 관측치 $y_t$ 로부터 상태 $x_t$ 를 추정해야 합니다.
목표: 알려지지 않은 시스템 파라미터와 비용 함수를 가진 LQG 제어 문제를 해결하기 위해, 관측치와 행동 (Action) 을 직접 예측하지 않고 비용 (Cost) 을 예측함으로써 잠재 상태 표현 함수를 학습하는 것입니다.
시스템 모델:
- 상태 전이: $x_{t+1} = A^*_t x_t + B^*_t u_t + w_t$
- 관측: $y_t = C^*_t x_t + v_t$
- 비용: $c_t(x, u) = \|x\|^2_{Q^*_t} + \|u\|^2_{R^*_t}$
핵심 도전 과제:
- 기존 모델 기반 학습 (Model-based) 은 관측치 재구성 (Observation Reconstruction) 에 의존하여 고차원 노이즈와 무관한 정보를 학습할 수 있습니다.
- 비용 주도 접근법은 직관적이지만, 비용이 상태의 2 차 형식 (Quadratic form) 이기 때문에 비선형 회귀 문제가 발생하며, 초기 단계에서 시스템이 충분히 자극 (Excitation) 받지 않아 상태 공분산이 랭크 결손 (Rank-deficient) 이 될 수 있어 이론적 보장이 어렵습니다.

2. 방법론 (Methodology: CoReL)

저자들은 CoReL (Cost-driven state representation learning) 알고리즘을 제안하며, 이는 세 가지 단계로 구성됩니다.

2.1. 비용 주도 상태 표현 함수 학습 (Algorithm 2)

누적 비용 (Cumulative Cost) 의 활용: 단일 시간 단계의 비용은 잠재 상태를 완전히 식별하기에 정보가 부족할 수 있습니다. 따라서 $k$ -단계 누적 비용 $\sum_{\tau=t}^{t+k-1} c_\tau$ 를 예측 타겟으로 사용합니다.
2 차 회귀 (Quadratic Regression): 관측 및 행동 히스토리 $h_t$ $h_{t}$ 와 누적 비용 사이의 관계를 2 차 회귀 문제로 풉니다.
- 목표: $\min \sum (\|M_t h_t\|^2_{Q_t} + \text{const} - c_{\text{cumulative}})^2$
- 이를 통해 대칭 행렬 $\hat{N}_t \approx (M^*_t)^\top M^*_t$ 를 추정합니다.
저랭크 근사 분해 (Low-rank Approximate Factorization): $\hat{N}_t$ $\hat{N}_{t}$ 의 고유값 분해를 수행하여 잠재 상태 표현 행렬 $\hat{M}_t$ $\hat{M}_{t}$ 를 복원합니다.
- 특이값 자르기 (Singular Value Truncation): 초기 단계 ( $t < \ell$ , 여기서 $\ell$ 은 제어 가능성 인덱스) 에는 시스템이 충분히 자극받지 않아 랭크 결손이 발생할 수 있으므로, 임계값 $\theta$ 이하의 특이값을 0 으로 처리하여 안정성을 확보합니다.

2.2. 잠재 모델 식별 (Algorithm 3)

학습된 잠재 상태 $\hat{z}_t = \hat{M}_t h_t$ 를 사용하여 선형 회귀를 통해 동역학 행렬 $(\hat{A}_t, \hat{B}_t)$ 를 식별합니다.
2 차 회귀를 통해 비용 행렬 $\hat{Q}_t$ 를 식별합니다.

2.3. 계획 (Planning)

식별된 모델 $(\hat{A}_t, \hat{B}_t, \hat{Q}_t)$ 을 사용하여 리카티 차분 방정식 (RDE) 을 풀어 최적 피드백 게인 $\hat{K}_t$ 를 계산하고, 최종 정책 $\hat{\pi} = (\hat{M}_t, \hat{K}_t)$ 을 생성합니다.

3. 주요 기여 및 기술적 혁신 (Key Contributions & Techniques)

유한 표본 보장 (Finite-Sample Guarantees):
- 비용 주도 접근법이 LQG 제어 문제를 해결할 수 있음을 수학적으로 증명했습니다.
- 학습된 상태 표현 함수와 최종 제어기의 성능이 최적 해에 얼마나 근접하는지에 대한 명시적인 오차 상한을 제시했습니다.
다단계 누적 비용의 이론적 정당성:
- 단일 비용이 아닌 다단계 누적 비용을 사용해야만 잠재 상태의 관측 가능성 (Observability) 을 보장하고 행렬을 완전히 복원할 수 있음을 보였습니다. 이는 MuZero 등의 실증적 성공을 이론적으로 뒷받침합니다.
랭크 결손 및 불완전 자극 처리:
- 초기 시간 단계 ( $t < \ell$ ) 에는 시스템이 완전히 자극받지 않아 상태 공분산이 랭크 결손이 될 수 있는 문제를 해결했습니다.
- 수학적 기법:
  - 2 차 회귀: 4 차 가우시안 변수의 농도 (Concentration) 를 다루기 위한 새로운 집중 부등식 (Concentration inequalities) 을 개발했습니다.
  - 특이값 자르기: 초기 단계의 랭크 결손을 처리하기 위해 특이값을 임계값으로 자르는 기법을 도입하고, 이것이 제어 성능에 미치는 영향을 분석했습니다.
  - 상관된 오차 모델링: 학습된 상태와 오차가 동일한 관측 경로에서 유래하여 상관관계를 가지는 문제를 해결하기 위해, 오차를 제어된 크기의 상관된 섭동 (Correlated Perturbations) 으로 모델링했습니다.
정규화 파라미터화 (Normalized Parameterization):
- 시스템 파라미터의 동치성 (Similarity Transform) 문제를 해결하기 위해 비용 행렬을 단위 행렬로 정규화하는 파라미터화를 사용하여 식별 가능성을 확보했습니다.

4. 주요 결과 (Results)

상태 표현 함수의 수렴:
- 초기 $\ell$ 단계: $O(n^{-1/4})$ 수렴 속도 (랭크 결손 및 특이값 자르기 때문).
- 이후 $T-\ell$ 단계: $O(n^{-1/2})$ 수렴 속도 (전체 랭크 보장).
정책 하위 최적성 (Policy Suboptimality):
- 학습된 정책 $\hat{\pi}$ 의 기대 누적 비용과 최적 비용 $J(\pi^*)$ 의 차이는 다음과 같이 bounded 됩니다:
  $J(\hat{\pi}) - J(\pi^*) = O(\ell \cdot n^{-1/4}) + O(n^{-1})$
- 여기서 $\ell$ 은 시스템의 제어 가능성 인덱스 (Controllability Index) 입니다. 초기 단계의 불완전한 식별이 전체 성능에 영향을 미쳐 $\ell$ 에 대한 의존성이 악화됨을 보였습니다.
샘플 복잡도:
- 주어진 오차 범위 내에서 정책을 학습하기 위해 필요한 샘플 수 $n$ 은 시스템 차원 ( $d_x, d_y, d_u$ ), 시간 horizon $T$ , 그리고 $\ell$ 에 대해 다항식 (Polynomial) 으로 증가함을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이론적 토대: 비용 주도 상태 표현 학습이 단순한 실증적 성공을 넘어, 부분 관측 가능 제어 문제에서 이론적으로 보장된 방법론임을 처음 증명했습니다.
실용적 통찰:
- 관측치 재구성이 아닌 비용 예측이 제어 태스크에 더 직접적이고 효율적인 감독 신호임을 입증했습니다.
- 다단계 누적 비용의 중요성을 강조하여, 단일 시간 단계의 정보 부족을 보완하는 메커니즘을 제시했습니다.
한계 및 향후 연구:
- 현재 방법은 히스토리 기반의 상태 표현 함수 (History-based) 를 사용하며, 재귀적인 칼만 필터 (Recursive Kalman Filter) 를 직접 복원하지는 못합니다.
- Part II 에서는 무한 시간 horizon (Infinite-horizon) 및 선형 시불변 (LTI) 설정으로 확장하고, MuZero 에서 영감을 받은 잠재 역학의 암묵적 학습 (Implicit learning) 으로 결과를 확장할 예정입니다.

이 논문은 모델 기반 강화학습 (Model-based RL) 과 제어 이론의 교차점에서, 비용 함수를 활용한 상태 표현 학습의 강력한 이론적 기반을 마련했다는 점에서 중요한 의미를 가집니다.