기술 요약: 불확실성 하의 공중 조작을 위한 내부 루프 동역학 추정기를 갖춘 강화 학습

문제 정의

다중 로터 UAV와 로봇 팔을 통합하는 공중 조작기(Aerial Manipulator)는 복잡한 3D 환경에서 물리적 상호작용을 수행하는 데 필수적입니다. 그러나 신뢰할 수 있는 **직접 전신 공중 조작(direct whole-body aerial manipulation)**을 달라는 것은 여전히 큰 과제로 남아 있습니다. 핵심적인 어려움은 언더액추에이티드(underactuated) 상태인 항공 베이스와 매니퓰레이터 암 사이의 강한 결합(coupling)에 있습니다. 빠른 암의 움직임, 페이로드 변화(파지/해제), 그리고 외부 교란은 무게 중심, 관성 및 동역학적 결합의 일시적인 변화를 유발합니다. 이러한 불확실성은 해석적으로 모델링하기 어렵기 때문에, 다양한 운용 조건 하에서 안정적이고 정밀한 제어를 달하는 것은 여전히 미해결 과제입니다. 기존 방법들은 종종 단순화된 선형 모델이나 디커플링된 제어 전략에 의존하며, 이는 공격적인 기동이나 페이로드 변화 시 성능 저하를 초래합니다.

방법론

저자들은 고수준의 협응을 위한 강화 학습(RL)과 저수준의 불확실성 보상을 위한 내부 루프 동역학 추정기를 결합한 계층적 제어 프레임워크를 제안합니다. 이 시스템은 정책 계층에서 완전하게 정확한 결합 동역학 모델을 요구하지 않고 작동합니다.

1. 계층적 구조

• 외부 루프 (RL 정책): 학습된 정책은 원하는 6-DOF 엔드 이펙터 타겟 포즈를 협응된 전신 명령으로 매핑합니다. 관측 공간(33차원)은 작업 공간의 기하학적 오차, 베이스 상태(위치, 속도, 자세), 그리고 조인트 상태를 포함합니다. 액션 공간(10차원)은 원하는 베이스 선가속도, 원하는 요(yaw), 원하는 바디 레이트(body rates), 그리고 원하는 조인트 위치를 출력합니다.
  • 학습: 정책은 도메인 무작위화(페이로드 질량, 링크 길이, 모터 시상수 등 변동)가 적용된 GPU 가속 벡터화 시뮬레이션(Aerial Gym)에서 근사 정책 최적화(PPO)를 사용하여 학습됩니다.
  • 보상 형성(Reward Shaping): 보상 함수는 전역 수렴(목표 도달)과 국부 정밀도(안정성 및 부드러움 유지) 사이의 균형을 맞추기 위해 2단계 지수 형성(two-scale exponential shaping)을 활용합니다. 시간적 진행 보상은 목표를 향한 움직임을 장려하는 동시에, 진동을 방지하기 위해 역방향 움직임에 페널티를 부여합니다.
• 내부 루프 (추정기 기반 컨트롤러): 이 계층은 RL 정책에서 생성된 고수준 명령을 추적합니다. 이는 사전 시스템 지식 없이도 일시적인 관성 변화와 모델링되지 않은 결합을 보상하기 위해 지연 기반 동역학 추정기를 사용합니다.
  • 컨트롤러는 뭉쳐진 미지의 동역학(결합 항, 코리올리 힘, 교란 포함)을 불확실성 함수 $\bar{H}_\eta$로 취급합니다.
  • 대각 성분의 명목 관성 행렬 $\bar{M}_\eta$와 지연 $L$을 사용하여, 컨트롤러는 과거의 상태와 제어 입력을 통해 불확실성 $\hat{\bar{H}}_\eta(t)$를 추정합니다: $\hat{\bar{H}}_\eta(t) = \tau_\eta(t-L) - \bar{M}_\eta \ddot{\eta}(t-L)$.
  • 제어 법칙은 표준 추적 항과 이 추정된 불확실성을 결합하여 쿼드 로터 본체와 매니퓰레이터 조인트를 위한 저수준 토크 명령을 생성합니다.

2. 시스템 구현

본 프레임워크는 Tarot-450 쿼드 로터, 3-DoF Dynamixel 매니퓰레이터, 그리고 고수준 연산을 위한 Jetson Orin Nano Super로 구성된 커스텀 하드웨어 플랫폼에서 검증되었습니다. RL 정책은 100Hz로 실행되며, 내부 루프 컨트롤러는 300Hz로 작동합니다.

주요 기여

1. 계층적 구조: RL 기반의 전신 명령 생성과 추적 및 불확실성 보상을 위한 추정기 기반 내부 루프의 새로운 통합.
2. 모델 프리 실행 계층: 사전 시스템 모델 없이도 파지/해제 이벤트로부터 발생하는 관성 변화 및 급격한 매니퓰레이터 움직임을 포함한 UAV-암 간의 일시적 결합 변화를 처리할 수 있는 동역학 추정 실행 계층.
3. 강건한 평가: 비정상 조건(특히 변화하는 페이로드 조건 및 암 움직임 중의 동역학적 결합) 하에서의 포괄적인 평가.
4. 입증된 개선 사항: 학습된 협응과 추정기 기반 피드백을 결합하는 것이 동역학적 불확실성 하에서 엔드 이펙터 조절 정확도와 부드러움을 유의미하게 향상시킨다는 경험적 증거 제시.

실험 결과

제안된 방법은 다양한 페이로드(200g 및 400g)와 속도(0.5 m/s 및 1.0 m/s)를 가진 평면 8자 궤적에서 테스트되었으며, 비행 중 픽업 및 드롭오프 동작을 포함했습니다. 이는 RL+PID 및 RL+INDI+PID(간접 적응 제어)라는 두 가지 베이스라인과 비교되었습니다.

• 추적 정확도: 제안된 방법은 테스트된 모든 조건에서 가장 낮은 평균 제곱근 오차(RMSE)를 달축했습니다.
  • RL+PID와 비교했을 때, 평균 RMSE를 40.9% 감소시켰습니다.
  • RL+INDI+PID와 비교했을 때, 평균 RMSE를 26.4% 감소시켰습니다.
• 성공률: 제안된 방법은 특히 공격적인 시나리오(예: 1.0 m/s 속도에서 400g 페이로드)에서 베이스라인들이 상당한 성능 저하를 보인 상황에서도 더 높은 작업 성공률을 입증했습니다.
• 재현성: 제안된 방법의 RMSE 표준 편차는 베이스라인(0.038 m 및 0.062 m)에 비해 0.024 m로 가장 낮았으며, 이는 하드웨어 가변성 하에서도 우수한 재현성을 나타냅니다.

의의 및 주장

본 논문은 제안된 접근 방식이 급격한 페이로드 변화 및 동역학적 불확실성 하에서 직접 전신 공중 조작이라는 열린 과제를 효과적으로 해결한다고 주장합니다. 저자들은 학습된 전신 협응이 추정기 기반의 저수준 보상과 결합될 때 가장 효과적이라고 단언합니다. 이러한 결합을 통해 시스템은 다음과 같은 기능을 수행할 수 있습니다:

• 결합된 동역학에 대한 정확한 해석적 모델에 의존하지 않고도 작업 수준의 명령을 생성합니다.
• 실시간으로 일시적인 관성 변화와 모델링되지 않은 교란을 보상합니다.
• 전통적인 모델 기반 또는 단순화된 학습 접근 방식이 어려움을 겪는 고속 및 고중량 영역에서 정밀도, 강건성 및 재현성을 향상시킵니다.

결과는 이러한 계층적 설계의 효용성을 뒷받침하는 강력한 경험적 증거로 제시되지만, 저자들은 본 연구가 특정 8자 궤적 하드웨어 실험에 국한되어 있으며 공식적인 유의성 검정은 포함하지 않았음을 명시하였습니다.