기술 요약: 중요한 것을 학습하기: 로봇 탐색을 위한 적응형 정보 이론적 목적 함수

문제 정의

로봇 탐색을 위한 학습 가능한 정보 이론적 목적 함수를 설계하는 것은 중요한 과제입니다. 베이지안 최적 실험 설계 (BOED) 는 모델 파라미터의 불확실성을 줄이는 데이터로 탐색을 이끄는 원칙적인 프레임워크를 제공하지만, 고차원 로봇 시스템에서의 실제 적용은 두 가지 주요 문제로 인해 방해받고 있습니다:

1. 약한 관측 가능성 및 식별 가능성: 복잡한 시스템에서 많은 파라미터 방향은 관측이 약하거나 식별 불가능합니다. 모든 파라미터를 단순히 최적화하는 것은 가짜 탐색 방향으로 이어질 수 있습니다.
2. 불필요 파라미터의 영향: 중요한 파라미터가 선택되더라도, 명시적으로 타겟팅되지 않은 '불필요 (nuisance)' 파라미터를 생략하면 정보 측정치가 왜곡될 수 있습니다. 이러한 생략된 방향들은 종종 중요한 방향들과 결합되어 남아, 진정한 학습 가능한 동역학을 분리하지 못하는 비최적의 탐색 전략을 초래합니다.

현재 방법들은 종종 전문가가 선정한 저차원 파라미터 세트에 의존하며, 선택되지 않은 파라미터는 영향이 미미하다고 가정합니다. 이 가정은 물리적 파라미터 (예: 마찰, 질량, 모터 동역학) 가 상호 의존적이고 사전에 지정하기 어려운 실제 세계 시나리오에서는 자주 실패합니다.

방법론: 준최적 실험 설계 (QOED)

저자들은 최적 실험 설계 이론에 기반한 적응형 정보 목적 함수인 준최적 실험 설계 (QOED) 를 제안합니다. QOED 는 모델 기반 정책 최적화 (MBPO) 에 통합된 3 단계 과정을 통해 관측 가능성과 불필요 파라미터의 문제를 해결합니다.

1. 중요한 파라미터 식별 (온라인)

사전 지정된 파라미터에 의존하는 대신, QOED 는 식별 가능한 파라미터의 집합을 동적으로 식별합니다:

• 파라미터 추정: 롤아웃을 관측치에 맞추기 위해 도함수 없는 최적화기 (교차 엔트로피 방법) 를 사용하여 관측된 궤적 데이터로부터 현재 파라미터 값 ($\hat{\phi}$) 을 추정합니다.
• 고유공간 분석: 피셔 정보 행렬 (FIM) 의 고유 분해를 수행합니다. 고유값은 파라미터 공간 내 다양한 방향의 정보 내용을 나타냅니다.
• 부분공간 선택: 고유값이 임계값 이하인 방향은 '관측이 약한' 것으로 간주됩니다. 이 방법은 '잘 관측된' 부분공간 내에서 다양성 (부분 행렬의 로그-행렬식 최대화) 이 높고 높은 상관관계가 없도록 (코사인 유사도 제약 부과) 파라미터 좌표의 부분 집합을 선택합니다.

2. 적응형 정보 목적 함수

불필요 파라미터의 영향을 해결하기 위해 QOED 는 중요한 방향을 강조하고 비중요한 방향을 억제하는 목적 함수를 구성합니다.

• 슈어 여행렬 (Schur Complement): 단순히 비중요한 파라미터를 무시하는 것 (이는 '무관심 (Agnostic)' 목적 함수로 이어짐) 대신, QOED 는 FIM 의 슈어 여행렬을 사용합니다.
• 수학적 공식화: $F_{kk}$를 중요한 파라미터에 대한 FIM 블록으로, $F_{\bar{k}\bar{k}}$를 불필요 파라미터에 대한 블록으로 둡니다. QOED 목적 함수는 슈어 여행렬의 트레이스로 정의됩니다:
  $$B_{QOED} = \text{tr}(F_{kk} - F_{k\bar{k}} F_{\bar{k}\bar{k}}^{-1} F_{\bar{k}k})$$
  이 공식은 불필요 파라미터로부터 선형적으로 예측할 수 없는 중요한 파라미터에 대한 정보를 효과적으로 보상함으로써, 표준 정보 획득 측정치를 왜곡하는 '불필요 효과'를 억제합니다.
• 이론적 보장: 저자들은 제한된 불필요 영향과 결합 하에서 QOED 가 모든 파라미터를 탐색하는 이상적인 BOED 목적 함수에 대한 상수 인자 근사를 제공함을 증명합니다.

3. 모델 기반 정책 최적화 (MBPO) 와의 통합

QOED 는 모델 기반 강화 학습 프레임워크에 통합됩니다:

• 학습된 동역학 모델: 실제 세계 데이터로부터 학습된 미분 가능한 순방향 동역학 모델 (Transformer 아키텍처를 사용한 '숏컷 모델'로 구현됨) 입니다. 이 모델은 FIM 과 QOED 목적 함수의 계산을 가능하게 하는 가능성 기반 추론을 지원합니다.
• 정책 최적화: 탐색 목적 함수는 작업 보상에 보너스로 추가됩니다. 정책은 학습된 동역학 모델을 사용하여 상상된 롤아웃을 생성하는 PPO 를 사용하여 최적화됩니다. 이를 통해 로봇은 물리적 환경에 대한 이해를 동시에 정제하면서 효율적으로 탐색할 수 있습니다.

주요 기여

1. 자동화된 중요한 파라미터 식별: 이 논문은 FIM 고유 구조를 분석하여 전문가의 사전 지정 없이 식별 가능한 파라미터 방향의 간결하고 중복되지 않는 집합을 자동으로 선택하는 방법을 소개합니다.
2. 불필요 파라미터 인식 적응형 목적 함수: 제안된 QOED 목적 함수는 슈어 여행렬을 사용하여 불필요 파라미터의 영향을 억제하여, 선택되지 않은 파라미터가 동역학에 영향을 미칠 때도 탐색 정책이 준최적에 가깝게 유지되도록 합니다.
3. 준최적성 보장: 이론적 분석은 QOED 가 전체 BOED 목적 함수에 대한 상수 인자 근사를 달성하여 이상적인 이론적 설계와 실제 고차원 구현 사이의 격차를 해소함을 보여줍니다.
4. 종단 간 MBPO 통합: 이 연구는 학습된 동역학 모델이 정책 최적화와 적응형 정보 이론적 목적 함수 계산 모두를 지원하는 실용적인 파이프라인을 보여줍니다.

실험 결과

저자들은 탐색 및 조작과 관련된 시뮬레이션 및 실제 세계 작업에서 QOED 를 평가했습니다.

시뮬레이션 실험 (MuJoCo)

• 환경: 평탄하고 거친 지형에서 Unitree Go1(4 족 보행 로봇), G1(휴머노이드), Jackal(차량), Inspire Hand 에서 테스트되었습니다.
• 파라미터 추정 및 동역학 예측: QOED 는 표준 BOED 대비 동역학 예측 RMSE 에서 35.23% 개선을, 불필요 파라미터를 무시하는 '무관심' QOED 변형 대비 21.98% 개선을 달성했습니다.
• 정책 성능: 정책 학습 작업에서 학습된 동역학을 사용한 QOED 는 SAC-Adapt, 불일치 (앙상블 불확실성), 도메인 무작위화를 포함한 강력한 베이스라인들을 능가했습니다. 정밀 물리 (QOED-Physics) 를 사용한 QOED 는 모델이 정확할 때 목적 함수의 유효성을 검증하며 일관되게 최고 성능을 달성했습니다.

실제 세계 실험

• 막대 균형 잡기 (Franka Panda): QOED 는 큐브 적재 및 균형 잡기에서 89% 의 성공률을 달성하여 BOED(8%) 와 QOED-무관심 (17%) 을 크게 능가했습니다. 이 방법은 질량/관성 모멘트를 먼저 식별한 후 마찰을 식별하는 방식으로 탐색 전략을 성공적으로 적응시켰습니다.
• 야외 바퀴 달린 탐색 (Clearpath Jackal): 모터 고장 및 적대적 힘이 관련된 시나리오에서 QOED 는 최고 성공률과 누적 정보 획득을 달성했습니다. 베이스라인들은 종종 물리 보정 오류로 인해 추락하는 동안, QOED 는 결합된 불필요 방향을 억제하면서 주요 파라미터 (질량, 마찰) 를 성공적으로 식별했습니다.

중요성 및 주장

이 논문은 QOED 가 고차원 불확실 환경에서 '무엇을 학습해야 하는지'를 정의하는 어려움이라는 로봇 탐색의 중요한 격차를 해소한다고 주장합니다. 정적이며 전문가가 정의한 파라미터 세트에서 벗어나, 식별 가능한 방향에 대한 적응형 데이터 기반 선택으로 이동함으로써 QOED 는 로봇이 다음과 같은 것을 가능하게 합니다:

• 더 적은 상호작용으로 더 많은 정보를 수집하는 데이터.
• 시스템 행동을 실제로 주도하는 파라미터에 초점을 맞춰 더 정확한 동역학 모델을 학습.
• 모델 기반 강화 학습에서 하위 작업 정책 성능 향상.

저자들은 BOED 가 이론적으로 엄격했지만, '차원의 저주'와 완벽한 파라미터 지정 가정으로 인해 적용이 제한되어 왔음을 강조합니다. QOED 는 로봇이 자율적으로 '중요한 것'을 학습할 수 있게 하는 실용적이고 이론적으로 근거 있는 솔루션을 제공하여, 시뮬레이션과 실제 세계 배포 모두에서 견고한 성능을 이끌어냅니다. 이 연구는 향후 방향이 메타 학습으로 이러한 원칙을 확장하고 미분 가능 알고리즘의 하이퍼파라미터를 최적화하는 것을 포함할 수 있음을 시사합니다.