Generalist AI Control: Towards Multi-purpose Adaptive Algorithms

기술 요약: 범용적 AI 제어: 다목적 적응형 알고리즘을 향하여

문제 정의
전통적인 제어 공학은 제어기가 특정 시스템을 위해 명시적으로 합성되는 모델 기반 설계 패러다임에 의존한다. 이러한 제어기들은 차수(order), 동역학 또는 구조가 다른 시스템 간에는 전이되지 않는 특성이 있다. 모방 학습(imitation learning), 행동 복제(behavioral cloning)와 같은 학습 기반 접근 방식들이 등장했으나, 이들은 일반적으로 각 시스템마다 별도의 정책을 학습하며, 다양한 동적 시스템 전반에 걸친 공유된 구조적 특성을 활용하지 못한다. 로보틱스의 기존 파운데이션 모델들은 종종 인지-행동(perception-action) 수준에서 작동하여 제어 결정과 시각적 특징을 결합시키는데, 이는 센서 양상이 다양하거나 부재할 수 있는 순수 제어 이론 문제에 적용하는 데 한계를 준다. 해결하고자 하는 핵심 과제는 서로 다른 차수, 안정성 및 선형성을 가진 이질적인 동적 시스템 군을 시스템별 튜닝이나 구조적 변경 없이 제어할 수 있는 단일 통합 제어 정책을 개발하는 것이다.

방법론
저자들은 상태 공간(state-space) 도메인에서 직접 제어 정책을 학습하는 학습 기반 프레임워크인 **범용 제어기(Generalist Controller)**를 제안한다. 이 접근 방식은 시각적 특징은 구현체마다 다를 수 있지만, 동적 시스템의 근본적인 수학적 구조(상태 공간 표현)는 불변한다는 통찰에 기초한다.

• 입력 표현: 제어기는 상태 측정 이력, 참조 궤적(reference trajectory), 그리고 이산적인 **시스템 태그($\phi_i$)**를 입력으로 받는다. 시스템 태그는 제어 중인 특정 시스템을 나타내는 라벨링된 식별자이며, 모델은 관측만으로 시스템 정체를 스스로 추론하지 않는다.
• 동적 상태 공간 표현: 다양한 차원의 시스템을 처리하기 위해, 본 아키텍처는 **유효성 마스킹(validity masking)**을 사용하는 동적 상태 공간 표현을 채택한다. 상태 벡터는 최대 차원($n_{max}$)까지 제로 패딩(zero-padding)되며, 이진 마스크가 실제 상태와 패딩된 제로를 구분하여 단일 네트워크가 다양한 크기의 입력을 처리할 수 있도록 한다.
• 아키텍처:
  • 특징 인코딩(Feature Encoding): 병렬 인코더가 마스킹된 상태 이력, 참조 궤적, 시스템 태그를 하나의 통합된 잠재 특징 벡터로 처리한다.
  • 시계열 처리(Temporal Processing): 멀티 스케일 시계열 프로세서는 두 개의 병렬 LSTM(전체 시퀀스를 처리하는 것과 느린 동역학을 포착하기 위해 다운샘플링된 시퀀스를 처리하는 것)과 시계열 의존성을 집계하기 위한 멀티 헤드 어텐션 메커니즘을 활용한다.
  • 전문가 혼합(Mixture of Experts, MoE): 최종 단계에서는 게이팅 네트워크를 사용하여 여러 전문가 네트워크($M=3$이 베이스라인)의 출력을 동적으로 가중치 조절한다. 이를 통해 단일 정책 내에서 다양한 동적 영역(예: 안정 vs 불안정, 진동 vs 비진동)에 특화될 수 있다.
• 학습: 모델은 25개의 다양한 시스템으로부터 생성된 314,630개의 시연 데이터를 통해 지도 학습(행동 복제) 방식으로 학습된다. 학습 데이터에는 선형 및 비선형 시스템, 안정 및 불안정 동역학, 최소/비최소 위상(non-minimum-phase) 거동이 포함된다. 목적 함수는 예측된 제어 동작과 시스템별 선형 이차 적분(LQI) 제어기가 생성한 동작 사이의 평균 제곱 오차(MSE)를 최소화하는 것이다.

주요 기여

1. 통합 제어 정책: 구조적 변경이나 시스템별 재튜닝 없이 다양한 차수(2차에서 4차) 및 동역학을 가진 시스템을 제어할 수 있는 단일 신경망 정책을 도입하였다.
2. 상태 공간 일반화: 제어 지식이 인지 수준의 특징이 아닌 상태 공간 표현 상에서 직접 작동함으로써 이질적인 시스템 간에 전이될 수 있음을 입증하였다.
3. 새로운 아키텍처: 가변 차수 입력을 위한 유효성 마스킹, 멀티 스케일 시계열 처리, 그리고 다양한 동적 영역을 처리하기 위한 전문가 혼합(MoE) 메커니즘을 결합한 특정 아키텍처를 개발하였다.
4. 미학습 조건에 대한 강건성: 학습 시 존재하지 않았던 운용 조건(액추에이터 포화, 입력 속도 제한, 외부 교란, 측정 노이즈 등)에서도 일반화 성능을 검증하였다.

결과

• 시뮬레이션 성능: 25개의 벤치마크 시스템(CSTR 화학 반응기, REMU AUV, 보잉 747 종방향 동역학, 기계적 스프링-질량 시스템 포함) 전반에 걸쳐, 범용 제어기는 시스템별 LQI 제어기와 대등한 성능을 달성하였다. 상승 시간(rise time), 오버슈트(overshoot), 정상 상태 오차 등의 지표에서 범용 제어기는 LQI와 유사한 성능을 보였으며, 일부 사례(예: 유압 액추에이터)에서는 더 개선된 정착 시간(settling time)을 보이기도 했으나, 매우 까다로운 비최소 위상 사례에서는 약간 더 긴 정착 시간을 보였다.
• 하드웨어 검증: 정책은 Crazyflie 2.1+ 나노 쿼드 로터에 성공적으로 배포되었다. 하드웨어 실험을 통해 시뮬레이션-실제 전이(sim-to-real transfer)가 성공적임을 확인하였으며, 미모델링된 공기역학, 센서 노이즈, 액추에이터 지연에도 불구하고 미세 조정 없이 안정적인 추적을 유지하였다.
• 강건성 평가: 섭동 조건(액추에이터 포화, 속도 포화, 노이즈) 하에서도 범용 제어기는 안정적인 추적을 유지하였다. 반면, 베이스라인 LQI 제어기는 동일한 제약 조건 하에서 상당한 진동, 윈드업(windup) 현상 또는 불안정성을 보였다.
• 절제 연구(Ablation Studies):
  • 전문가 혼합(MoE): 모델을 단일 전문가($M=1$)로 줄였을 때 복잡한 시스템(예: 쿼드 로터)에서 MSE가 몇 자릿수 증가하며 성능이 크게 저하되었고, 이는 다양한 동역학을 처리하는 데 있어 MoE의 필요성을 확인시켜 주었다.
  • 은닉 차원(Hidden Dimension): 은닉 차원 $d=32$가 성능과 계산 효율성 사이에서 최적의 절충안을 제공하였다 ($d=16$은 성능 미달, $d=64$는 4배의 파라미터 대비 미미한 이득).

의의 및 주장
본 논문은 이 연구를 정의된 동적 시스템 군 내에서의 범용 제어 정책을 향한 중요한 진전으로 규정한다. 저자들은 제어 지식이 자연어 처리나 컴퓨터 비전의 파운데이션 모델과 유사하게, 작업 불가지론적(task-agnostic) 방식으로 학습될 수 있다고 주장한다.

이 연구의 의의는 특정 플랜트(plant)를 위해 제어기를 설계하는 패러다임에서, 시스템 클래스 전체에 적용 가능한 일반 원칙을 체득하는 제어기를 학습하는 패러다임으로의 전환에 있다. 이는 유연한 자동화와 신속한 재구성이 필요한 산업 분야에 잠재적인 해결책을 제공한다.

한계 및 범위
저자들은 다음과 같은 한계와 범위를 명시적으로 밝히고 있다:

• 시스템 태그 요구 사항: 제어기는 배포 시 알려진 시스템 태그를 필요로 하며, 암묵적인 시스템 식별이나 완전히 새로운 시스템에 대한 제로샷 적응(zero-shot adaptation)을 수행하지 않는다.
• 학습 세트 의존성: 일반화 능력은 학습에 포함된 시스템 분포로 제한된다. 모델은 학습 과정에서 보지 못한 완전히 새로운 시스템 구조로 일반화할 수 없다.
• SISO 제한: 현재 구현은 단일 입력 단일 출력(SISO) 시스템에 국한되어 있다. 다중 입력 다중 출력(MIMO) 구성으로 확장하는 것은 상태-작동 간의 조정 측면에서 추가적인 과제를 제시한다.
• 안정성 보장: 경험적인 강건성은 입증되었으나, 다중 시스템 일반화 프레임워크 내에서 신경망 제어기에 대한 공식적인 안정성 보장은 여전히 해결해야 할 이론적 과제로 남아 있다.