🔢 mathematics

Square Root Gauss-Newton iLQR

본 논문은 비용 함수의 가중 최소제곱 구조를 활용하여 단일 QR 분해에 기반한 역방향 패스를 가능하게 함으로써, 특히 제약 조건이 있는 궤적 최적화를 위한 증강 라그랑주 프레임워크 내에서 수치적 조건 지수와 안정성을 향상시키는, 수치적으로 견고하고 알고리즘적으로 단순한 제곱근 가우스-뉴턴 iLQR 정식화를 제시한다.

원저자: Maximilian Haas-Heger, Jur van den Berg

게시일 2026-09-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Maximilian Haas-Heger, Jur van den Berg

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇, 자율주행 자동차, 그리고 우주선은 모두 근본적인 과제를 공유합니다. 바로 물리 법칙을 준수하면서 장애물을 피하며 한 장소에서 다른 장소로 이동해야 한다는 것입니다. 이를 위해 이들은 '궤적 최적화(trajectory-optimization)'라고 불리는 수학적 과정에 의존하는데, 이는 마치 초강력 내비게이터와 같은 역할을 합니다. 이 내비게이터는 속도와 방향의 수많은 변형을 테스트하며 에너지나 시간을 최소로 사용하는 경로를 찾기 위해 끊임없이 최적의 경로를 계산합니다. 세상이 단순하고 예측 가능할 때, 표준 수학 도구들은 이 퍼즐을 완벽하게 풀 수 있습니다. 하지만 현실 세계는 무질서합니다. 로봇은 복잡한 관절을 가지고 있고, 자동차는 젖은 도로에서 미끄러지며, 우주선은 파편을 피해야 합니다. 이러한 상황에서 수학은 비선형적이고 어려워지며, 컴퓨터가 일련의 추측을 하고, 이를 개선하고, 작동 가능한 솔루션을 찾을 때까지 반복하는 과정을 필요로 합니다. 이 반복적인 과정은 현대 모션 플래닝의 중추이며, 기계가 부품 조립이나 다른 행성에 착륙하는 것과 같은 섬세한 작업을 수행할 수 있게 해줍니다.

하지만 이러한 기계들이 더 유능해짐에 따라, 더 엄격한 규칙 하에서 작동하도록 요구받고 있습니다. 로봇 팔은 인간의 손에 부딪히는 것을 피해야 할 수도 있고, 드론은 좁은 통로 안에 머물러야 할 수도 있습니다. 이러한 규칙을 강제하기 위해, 컴퓨터는 경로가 제약 조건을 어길 뻔할 때마다 계산에 막대한 페널티를 추가합니다. 이는 로봇이 규칙을 준수하도록 강제하지만, 동시에 숨겨진 위험을 초래합니다. 경로를 찾는 데 사용되는 숫자들이 너무 극단적으로 차이가 나면 기계가 그 둘을 구별하는 능력을 상실할 수 있기 때문입니다. 이는 마치 거대한 산 옆에 서서 머리카락 한 가닥의 너비를 측정하려는 것과 같습니다. 미세한 디테일이 거대한 규모의 소음 속에 사라져 버리는 것입니다. 이런 일이 발생하면 컴퓨터의 계산은 불안정해지며, 로봇은 경로를 아예 찾지 못하거나, 더 나아가 서류상으로는 완벽해 보이지만 물리적으로는 불가능한 경로를 계산할 수도 있습니다.

최근 연구에서, Waabi Innovation Inc.의 연구원인 Maximilian Haas-Heger와 Jur van den Berg는 이러한 수치적 불안정성 문제를 다루었습니다. 그들은 복잡한 경로를 계획하는 데 널리 사용되는 '반복적 이차 선형 조절기(iterative Linear Quadratic Regulator, iLQR)'라고 알려진 특정 알고리즘에 집중했습니다. 연구팀은 알고-리즘이 내부 수학을 처리하는 방식을 변경함으로써, 속도를 늦추지 않으면서도 이를 훨씬 더 견고하게 만들 수 있다는 것을 발견했습니다. 그들의 작업은 '제곱근(square root)' 공식화라고 불리는 기술을 중심으로 합니다. 표준 컴퓨팅에서 알고리즘은 가능한 모든 움직임의 비용을 나타내는 커다란 숫자 표를 유지합니다. 제약이 엄격해지면 이 표를 읽기가 어려워집니다. 연구진은 알고리즘이 전체 표를 추적하는 대신, 마치 전체 식료품 저장고를 다 가지는 대신 요리의 필수 재료만을 보관하는 것처럼, 훨씬 더 단순한 삼각형 형태의 버전을 추적할 수 있다는 점을 깨달았습니다.

그들의 성공의 핵심은 문제를 단순화하는 방식에 있습니다. 그들은 로봇의 목표를 사진가가 특정 설정을 조정하여 사진의 흐림을 최소화하는 데 집중하는 것과 유사하게, 오차의 가중치 합으로 취급했습니다. 복잡한 곡선을 직선으로 근사하는 가우스-뉴턴(Gauss-Newton)법을 사용하여, 문제의 수학적 구조가 안정적으로 유지되도록 했습니다. 이를 통해 무겁고 불안정한 계산을 QR 분해(QR decomposition)라는 더 가볍고 정밀한 연산으로 대체할 수 있었습니다. 이 연산을 데이터 더미를 빈틈이나 겹침 없이 모든 조각이 딱 들어맞는 깔끔하고 질서 정연한 스택으로 정리하는 방법이라고 생각하면 됩니다. 이 새로운 접근 방식은 제약 조건을 어겼을 때의 페널티가 엄청나게 커지더라도 컴퓨터가 정밀도를 유지할 수 있게 해줍니다.

연구진은 두 개의 로봇 팔이 함께 단단한 물체를 운반하는 도전적인 시나리오를 통해 새로운 방법을 테스트했습니다. 두 팔은 고정된 거리를 유지하면서 시작점에서 목표점까지 물체를 이동시켜야 했으며, 이는 컴퓨터가 여러 가지 상충하는 요구 사항을 균형 있게 조절해야 하는 제약을 필요로 했습니다. 그들은 거리 규칙을 위반하는 페널티가 일반적인 컴퓨터가 처리할 수 있는 수준을 훨씬 넘어 극단적으로 높아지는 시뮬레이션을 실행했습니다. 이 테스트에서 전통적인 방식은 실패하기 시작하여 정확도를 잃고, 페널티가 커짐에 따라 결국 터무니없는 결과를 만들어냈습니다. 그러나 새로운 제곱근 방식은 흔들림 없이 버텼습니다. 새로운 방식은 표준 방식이 완전히 무너졌을 정도로 페널티가 커진 상황에서도 정확한 경로를 계속해서 생성해 냈습니다. 실제로 새로운 방식은 표준 컴퓨터 산술에서 기존 방식이 거의 모든 정밀도를 잃었을 때도 6~7자리의 유효 숫자를 유지했습니다.

이러-한 개선은 단순히 이론적인 승리가 아닙니다. 이는 실제 기계의 신뢰성으로 직결됩니다. 연구는 새로운 방법이 최적화 과정을 훨씬 더 밀어붙일 수 있어, 이전에는 불가능했던 수준의 엄격함으로 제약 조건을 충족할 수 있음을 보여주었습니다. 표준 방식이 백만 분의 일의 정밀도를 요구받을 때 포기할 수 있다면, 새로운 방식은 그 정밀도를 백나일리언 분의 일 수준까지 밀어붙일 수 있습니다. 연구진은 이러한 정밀도의 이득이 계산 시간 측면에서 거의 비용이 들지 않으며, 문제 해결에 필요한 총 시간에 3% 미만의 시간만을 추가한다고 언급했습니다. 이는 엔지니어들이 이 새로운 방법을 기존 방식의 '드롭인 교체(drop-in replacement)'로 사용할 수 있음을 의미하며, 즉각적으로 로봇이 어렵고 위험도가 높은 작업을 처리할 수 있도록 능력을 높여준다는 것을 뜻합니다.

이 논문은 왜 이 특정한 개선 사항이 이전에 널리 채택되지 않았는지에 대해서도 다룹니다. 칼만 필터(Kalman filter)와 같은 항법 시스템에서 유사한 '제곱근' 기술이 수십 년 동안 사용되어 왔지만, 궤적 최적화에 적용하기에는 수학이 더 복잡했습니다. iLQR의 제곱근 버전을 만들려는 이전의 시도들은 사용하기에 너무 복잡하거나 수치적으로 열등했습니다. 저자들은 자신들의 접근 방식이 문제의 특정 구조를 활용하여 수학을 단순화하고, 각 단계를 하나의 우아한 연산으로 축소한다는 점에서 다르다고 주장합니다. 그들은 어떤 로봇이 엄격한 제약 조건 하에서 경로를 계획하든, 우주선의 불안정한 항법 시스템을 선택하지 않는 것과 마찬가지로 이 더 안정적인 방법을 사용하지 않을 이유가 없다고 제안합니다.

궁극적으로, 이 연구는 로봇의 움직임의 한계가 물리 법칙이 아니라, 그것을 계산하는 컴퓨터의 능력에 의해 정의된다는 것을 보여줍니다. 계산 수행 방식을 개선함으로써 연구진은 중요한 장벽을 제거했으며, 이를 통해 기계가 더 복합적이고 위험한 환경을 더 큰 확신을 가지고 항해할 수 있게 했습니다. 이 연구는 적절한 수학적 도구가 있다면 우리가 자율 시스템이 달성할 수 있는 경계를 넓힐 수 있으며, stakes(위험/중요도)가 가장 높을 때도 정밀함과 신뢰성을 유지할 수 있음을 확인시켜 줍니다.

기술 요약: Square Root Gauss-Newton iLQR

문제 정식화

본 논문은 이산 시간 동역학 시스템(discrete-time dynamical systems)에 대한 비선형 궤적 최적화 문제를 다룹니다. 목적은 초기 상태에서 최종 상태로 시스템을 유도하는 제어 입력 시퀀스 $u_0, \dots, u_{\ell-1}$ 를 찾는 것이며, 이때 총 비용 함수를 최소화해야 합니다. 저자들은 특히 가중치가 부여된 잔차 제곱합(Gauss-Newton 구조)으로 표현 가능한 비용 함수에 집중합니다:
$c_t(x_t, u_t) = \frac{1}{2} r_t(x_t, u_t)^T W_t r_t(x_t, u_t)$
여기서 $r_t$ 는 잔차 벡터이고 $W_t$ 는 양의 정부호(positive-definite) 가중치 행렬입니다. 이러한 정식화는 로보틱스와 자율 주행 분야에서 흔히 사용되며, 특히 증강 라그랑주(augmented Lagrangian) 프레임워크를 통해 제약 조건을 처리할 때 유용합니다. 이러한 프레임워크에서는 제약 조건을 강제하기 위해 매우 큰 페널티 파라미터 $\mu$ 를 사용하는데, 이는 최적화 문제의 조건수(conditioning)를 크게 악화시켜 표준 솔버의 수치적 불안정성을 초래합니다.

방법론

표준 Gauss-Newton iLQR

Iterative Linear Quadratic Regulator (iLQR)는 동역학을 선형화하고 명목 궤적(nominal trajectory) 주변에서 비용을 이차 근사함으로써 이 문제를 해결합니다. 표준 Gauss-Newton 변형에서는 비용 함수의 완전한 2차 확장을 수행하는 대신, 잔차 벡터 $r_t$ 를 선형화하여 비용을 근사합니다. 이를 통해 증강 헤시안 행렬 $C_t = R_t^T W_t R_t$ 가 생성되며, 이는 구조적으로 양의 준정부호(PSD)입니다. 알고리즘은 역방향 패스(backward pass, 최적 피드백 이득 및 cost-to-go 행렬 계산)와 순방향 패스(forward pass, 새로운 정책으로 시스템 시뮬레이션)를 통해 진행됩니다.

Square Root 정식화

이 논문의 핵심 기여는 Square Root Gauss-Newton iLQR 알고리즘입니다. 전체 cost-to-go 헤시안 행렬 $S_t$ 를 전파하는 대신, 이 알고리즘은 그 상삼각 촐레스키 인자(upper-triangular Cholesky factor)인 $\sqrt{S_t}$ (여기서 $S_t = \sqrt{S_t}^T \sqrt{S_t}$ )를 전파합니다.

도출 과정은 두 가지 핵심 통찰에 기반합니다:

전역 PSD 특성: Gauss-Newton 구조 덕분에, cost-to-go 행렬의 헤시안 블록뿐만 아니라 증강된 cost-to-go 행렬 $Q_t$ 전체가 PSD가 됩니다.
QR 분해의 효율성: 행렬 $Q_t$ 는 가중치의 제곱근, 잔차 자코비안, 그리고 다음 타임 스텝의 cost-to-go 인자의 제곱근으로부터 구성된 $M_t$ 를 사용하여 $M_t^T M_t$ 로 표현될 수 있습니다.

역방향 패스는 행렬 $M_t$ 의 단일 QR 분해로 단순화됩니다:
$M_t = \begin{bmatrix} \sqrt{W_t} R_t \\ \sqrt{S_{t+1}} F_t \end{bmatrix}$
$M_t = QU$ 인 QR 분해를 수행하면, 상삼각 인자 $U$ 를 얻게 되며, 이는 $Q_t$ 의 촐레스키 인자를 직접 인코딩합니다. 피드백 이득 $L_t$ 와 다음 cost-to-go 인자 $\sqrt{S_t}$ 는 $U$ 의 블록들로부터 직접 추출됩니다. 이 접근 방식은 제곱 행렬( $Q_t$ 또는 $S_t$ 와 같은)을 명시적으로 형성하는 것을 피함으로써 반올림 오차(rounding errors)의 증폭을 방지합니다.

증강 라그랑주 방법을 사용하는 제약 조건 문제의 경우, 제약 자코비안과 페널티 항을 $M_t$ 에 추가적인 행 블록으로 단순히 붙이기만 하면 동일한 계산 구조를 유지할 수 있습니다.

주요 기여

수치적 안정성: 전체 행렬 대신 촐레스키 인자를 전파함으로써, 알고리즘은 신뢰할 수 있는 유효 숫자의 수를 효과적으로 두 배로 늘립니다. 촐레스키 인자의 조건수는 $\mu$ 가 아닌 $\sqrt{\mu}$ 에 따라 스케일링되므로, 제약 최적화에서 발생하는 수치적 퇴화를 직접적으로 완화합니다.
알고리즘적 단순성: 여러 번의 분해나 rank-one 업데이트를 요구하거나 알고리즘이 복잡했던 기존의 iLQR 또는 DDP용 square root 정식화와 달리, 이 방법은 각 역방향 패스 단계를 단일 QR 분해로 축소합니다.
계산 효율성: Square root 정식화의 오버헤드는 미미합니다. 계산 복잡도는 잔차 차원에 의존하는 주요 항에 대해 최대 2배(정규 방정식 대비 QR의 고전적인 비용) 증가합니다. 실제 시나리오(예: 양손 조작)에서 총 계산 시간 증가량은 3% 미만입니다.
특이점(Singularity)에 대한 강건성: 이 방법은 구조적으로 수치적 양의 준정부호성을 보장합니다. 반올림 오차로 인해 헤시안이 부정부호(indefinite)가 될 때 표준 솔버가 완전히 실패할 수 있는 반면, square root 변형은 점진적으로 성능이 저하(degrade gracefully)되며, 삼각 인자의 대각 성분을 기반으로 한 헬스 체크를 허용합니다.

실험 결과

저자들은 두 개의 3-링크 로봇 팔이 물체를 협동 운반하는 제약이 있는 궤적 최적화 문제를 통해 이 방법을 검증했습니다.

정밀도 비교: 고정밀 참조값(50자리 소수점)과 비교했을 때, 표준 iLQR(double precision, f64 사용)은 페널티 파라미터 $\mu$ 가 10배 증가할 때마다 약 1개의 유효 숫자를 잃었습니다. $\mu = 10^{16}$ 에서 표준 방식은 완전히 실패했습니다. 반면, square root f64 변형은 $\mu = 10^{20}$ 에서도 6~7개의 유효 숫자를 유지했습니다.
단정밀도 (f32): 단정밀도에서의 이점은 더욱 두드러졌습니다. 표준 f32 솔버는 $\mu = 10^7$ 에서 실패한 반면, square root f32 솔버는 $\mu = 10^{15}$ 까지 작동하여 5~6 데케이드(decade)의 추가적인 안정성을 제공했습니다.
수렴성: 전체 증강 라그랑주 루프 내에서, square root 솔버는 24개의 무작위 초기 궤적으로부터 $10^{-8}$ 의 제약 허용 오차까지 성공적으로 수렴한 반면, 표준 솔버는 $10^{-7}$ 에서 실패했습니다. square root 방식이 더 "좋은" 최적해를 찾아낸 것은 아니지만, 수치적 노이즈로 인해 역방향 패스가 실패하기 전까지 외곽 루프가 제약 조건을 더 타이트하게 몰아붙일 수 있도록 해주었습니다.

의의 및 주장

본 논문은 가중치 제곱합 비용(많은 로보틱스 애플리케ชัน을 포함하는 광범위한 클래스)으로 정식화할 수 있는 궤적 최적화 문제에 대해, Square Root Gauss-Newton iLQR이 표준 iLQR보다 기본 선택(default choice)이 되어야 한다고 주장합니다. 저자들은 추정(estimation) 분야에서 square root 칼만 필터가 널리 채택된 것과 평행선을 그리며, 추정과 제어의 이중적 성격이 유사한 이점을 시사한다고 언급합니다.

이 방법의 의의는 **우아함(elegance)**과 **강건함(robustness)**의 결합에 있습니다. 이 방법은 표준 iLQR에서 양의 정부호성을 유지하기 위해 자주 요구되는 Levenberg-Marquardt 댐핑과 같은 임시방편적인 정규화 기법을 제거합니다. 저자들은 Gauss-Newton 구조가 적용되는 생산 시스템에서 이 정식화를 사용하는 데 있어 "단점이 없다"고 단언하며, 이는 미미한 계산 오버헤드로 탁월한 수치적 컨디셔닝을 제공하기 때문입니다. 결론적으로, 문제 구조가 Gauss-Newton 근사를 허용한다면, 추정 분야의 square root 방법론의 성공이 궤적 최적화 분야로도 확장되어야 한다고 강조합니다.