기술 요약: 실시간 순환 강화학습을 통한 자율주행의 적응형 제어

문제 제기

자율주행을 위한 학습 기반 제어 정책은 훈련 데이터와 다른 환경에 배포될 때 종종 실패합니다. 시스템 역학, 센서 특성, 또는 환경 조건의 미묘한 변화로 인한 이러한 "분포 변화"는 치명적인 성능 저하로 이어질 수 있습니다. 정책이 한 번 훈련된 후 적응 없이 배포되는 전통적인 오프라인 학습 패러다임은 이러한 비정상적인 실제 환경에는 부적합합니다. 온라인 적응이 필요하지만, 기존 방법들은 특정 작업 데이터가 필요한 메타학습, 수동으로 설계된 보상에 의존하는 테스트 시간 적응, 또는 전체 에피소드나 미니배치를 기다린 후 업데이트함으로써 지연을 유발하는 기존 온라인 강화학습에 종종 의존합니다. 또한, 순환 네트워크에서의 표준 온라인 학습은 종종 시간 역전 오차 역전파 (BPTT) 를 필요로 하는데, 이는 메모리 집약적이며 생물학적으로 타당하지 않습니다.

방법론

저자들은 오프라인 행동 복제와 온라인 실시간 순환 강화학습 (RTRRL) 을 결합한 하이브리드 학습 파이프라인을 제안합니다. 이 접근법은 처음부터 재훈련하거나 대규모 오프라인 데이터셋에 접근할 필요 없이 매 시간 단계에서 정책이 지속적으로 적응할 수 있게 합니다.

핵심 알고리즘: RTRRL

RTRRL 은 순방향 통과만 사용하여 매 시간 단계에서 정책 파라미터를 업데이트함으로써 BPTT 의 필요성을 제거하는 메모리 효율적이고 생물학적으로 타당한 알고리즘입니다.

• 기울기 계산: BPTT 대신, 이 프레임워크는 실시간 순환 학습 (RTRL) 또는 랜덤 피드백 로컬 온라인 (RFLO) 학습을 활용합니다. 이러한 방법들은 적합도 궤적과 야코비안 근사를 사용하여 온라인으로 기울기를 계산합니다. 특히 RFLO 는 고정된 랜덤 피드백 행렬을 사용하여 국소성과 생물학적 타당성을 보장하며, 복잡도를 $O(n^3)$에서 $O(n^2)$로 줄입니다.
• 학습 목적: 이 알고리즘은 지연된 보상을 처리하기 위해 시간차 (TD) 학습과 적합도 궤적을 결합한 TD($\lambda$) 를 사용합니다. 이는 TD-오류 $\delta_t = r_t + \gamma\hat{v}(h_{t+1}) - \hat{v}(h_t)$에 기반하여 액터 및 크리틱 네트워크를 업데이트합니다.
• 아키텍처: 저자들은 공유 백본 대신 정책 (액터) 과 가치 함수 (크리틱) 를 위해 별도의 순환 신경망 (RNN) 을 사용합니다. 액터는 인코딩된 관측치를 받아 행동 분포를 출력하고, 크리틱은 상태 가치를 추정합니다.

모델 통합: LrcSSM

이 작업의 주요 방법론적 확장은 리퀴드-저항 리퀴드-커패시턴스 상태-공간 모델 (LrcSSM) 을 RTRRL 프레임워크에 통합한 것입니다.

• LrcSSM 특성: 순수 선형 역학을 사용하는 선형 순환 단위 (LRU) 나 고정 시간 상수를 가진 표준 연속 시간 RNN(CT-RNN) 과 달리, LrcSSM 은 입력 및 상태 의존적 비선형 시간 상수를 도입합니다. 이는 뉴런이 시간적 행동을 역동적으로 적응하도록 합니다.
• 대각 구조: LrcSSM 은 대각 구조를 유지하여 근사와 관련된 성능 손실 없이 RTRL 기울기의 정확한 계산을 가능하게 하므로, 온라인 학습에 계산적으로 효율적입니다.

훈련 파이프라인

1. 오프라인 사전 훈련: 정책은 인간 시연 데이터셋을 통해 행동 복제로 먼저 훈련됩니다. 여기에는 이미지 재구성을 위한 컨볼루션 인코더 (오토인코더) 와 순환 정책 네트워크가 포함됩니다.
2. 온라인 미세 조정: 사전 훈련된 정책은 RTRRL 을 사용하여 실시간으로 배포 및 미세 조정됩니다. 단일 환경 미세 조정 중 (유효 배치 크기 1) 과적합을 방지하기 위해 손실 함수에 파라미터 변경 패널티 ($L_\theta = \beta ||\theta_{pre} - \theta_t||^2$) 가 추가됩니다.

실험 설정

이 접근법은 두 가지 다른 환경에서 검증되었습니다:

1. 시뮬레이션 (CarRacing): 에이전트가 트랙 중심선을 따라야 하는 수정된 OpenAI Gym 환경입니다. 이 환경은 바퀴 이탈에 대한 패널티를 포함합니다.
2. 실제 세계 (RoboRacer): 동적 비전 센서 (DVS) (이벤트 카메라) 가 장착된 1:10 스케일 자율주행 차량입니다. 과제는 라인 추종입니다. 이 설정은 표준 비스파이크 하드웨어에서 이벤트 기반 비전 (프레임 대신 강도 변화를 포착) 을 사용한 점이 주목할 만합니다.

주요 결과

시뮬레이션 (CarRacing)

• 성능: 모든 모델 유형 (CT-RNN, LRU, LrcSSM) 은 사전 훈련된 베이스라인에 비해 온라인 미세 조정 후 상당한 개선을 보였습니다.
• LrcSSM 의 우위: LrcSSM 기반 정책은 다양한 랜덤 시드와 트랙에서 가장 빠르고 일관된 개선을 보여주었습니다.
• 적응: 미세 조정된 정책은 시뮬레이션된 조향 각도 오프셋과 같은 분포 변화에 성공적으로 적응하여 초기 보상과 비교 가능한 성능 수준을 회복했습니다.

실제 세계 배포 (LineTracking)

• 이벤트 카메라 성공: 이 작업은 폐쇄 루프 제어 환경에서 표준 하드웨어를 사용하여 이벤트 카메라 관측치로 온라인 RL 미세 조정을 수행한 최초의 시연입니다.
• 모델 실패와 성공:
  • LRU 실패: 사전 훈련된 LRU 모델은 개입 없이 단일 랩을 완료할 수 없을 정도로 효과적인 라인 추종 정책을 학습하지 못했습니다. 저자들은 LRU 의 순수한 선형 순환이 이벤트 프레임 데이터에 내재된 불연속적이고 임계값과 같은 전환 (라인 가시 상태와 비가시 상태 간 전환) 을 포착하기에 불충분하다고 추측합니다.
  • LrcSSM 성공: 반면, LrcSSM 은 과제를 성공적으로 학습했습니다. 저자들은 이는 효율적인 기울기 계산에 필요한 대각 구조를 유지하면서 이벤트 기반 제어의 고유한 특성을 처리하는 데 필수적인 LrcSSM 의 비선형 상태 역학에 기인한다고 설명합니다.
• 강건성: 시스템은 0.1 라디안 조향 각도 변화 및 주변 햇빛으로 인한 시각적 교란과 같은 실제 세계의 분포 변화에 적응했습니다. 보상은 변화 직후 일시적으로 저하되었으나 몇 랩 이내에 변화 전 수준으로 회복되었습니다.

중요성과 주장

이 논문은 자율 제어 분야에서 몇 가지 최초와 중요한 기여를 주장합니다:

1. 온라인 RL 에의 LrcSSM 최초 적용: 이는 LRU 를 대체할 수 있는 우수한 표현력을 가진 LrcSSM 의 타당성을 입증하는 온라인 강화학습 환경 내 LrcSSM 의 최초 적용입니다.
2. 하이브리드 학습 파이프라인: 이 작업은 오프라인 행동 복제와 온라인 실시간 RTRRL 미세 조정을 결합한 최초의 파이프라인을 제안하여 전체 재훈련 없이 비정상 환경에 대한 지속적인 적응을 가능하게 합니다.
3. 임베디드 시스템에서의 실현 가능성: 결과는 생물학적으로 타당한 실시간 온라인 학습 알고리즘이 특수 신경형 칩 없이도 임베디드 로봇 시스템 (RoboRacer) 에서 실현 가능함을 검증합니다.
4. 이벤트 기반 온라인 제어: 이는 폐쇄 루프 제어 환경에서 이벤트 카메라 관측치를 사용한 온라인 미세 조정을 적용한 최초의 고주파수 비스파이크 기계 학습 응용입니다.
5. 생체 영감의 시너지: 이 논문은 생체 영감 센서 (이벤트 카메라), 생체 영감 순환 모델 (LrcSSM), 그리고 생물학적으로 타당한 학습 규칙 (RTRRL/RFLO) 간의 시너지를 보여줍니다.

저자들은 학습 기반 제어가 분포 변화에 취약하지만, 제안된 RTRRL 기반 접근법은 배포된 정책이 실시간으로 지속적으로 적응함으로써 성능을 유지할 수 있으며, 이를 위해 LrcSSM 이 가장 효과적인 아키텍처로 부상한다고 결론지었습니다.