Neural Associative Skill Memories for safer robotics and modelling human sensorimotor repertoires

기술 요약: 더 안전한 로봇을 위한 신경 연합 기술 기억

문제 제기
현대 로봇공학은 생물학적 시스템이 공유하는 과제에 직면해 있습니다: 안전을 유지하면서 다중 센서모터 기술을 학습, 저장 및 적응적으로 발현하는 능력입니다. 기존 접근법인 연합 기술 기억 (ASMs) 은 반응형 제어 및 이상 감지를 가능하게 하기 위해 운동 원시 (예: 동적 운동 원시 또는 DMP) 를 고정된 감각 피드백과 연결합니다. 그러나 기존 ASMs 는 각 기술을 별도의 가중치 집합으로 모델링하는 하드코딩된 사전식 라이브러리에 의존합니다. 이 아키텍처는 명시적인 기술 선택이나 감각 프로파일의 수동 비교를 통해 활성 기술을 식별해야 하므로, 사전 지시 없이 기술 집합 전반에 걸쳐 고장을 감지하는 시스템의 능력을 제한합니다. 또한, 이러한 시스템은 단일의 생물학적으로 타당한 학습 프레임워크 내에서 고장 감지, 반응형 제어, 기술 발현을 통합하는 데 어려움을 겪습니다.

방법론
저자들은 **신경 연합 기술 기억 (Neural ASMs)**을 제안합니다. 이는 하드코딩된 라이브러리를 시간적 예측 부호화 (tPC) 기반의 단일 통합 신경망으로 대체하는 프레임워크입니다. 이 접근법은 시간 역전 오차 전파 (BPTT) 대신 자기지도 학습과 생물학적으로 타당한 국소 학습 규칙 (헤비안 업데이트) 을 활용합니다.

• 아키텍처: 이 모델은 은닉 마르코프 모델 (HMM) 로 구조화된 2 층 tPC 네트워크를 사용합니다. 이는 추론된 맥락과 역동성을 나타내는 은닉 상태 ($z$) 와 관절 각도, 그리퍼 힘, 시각적 단서와 같은 센서모터 데이터를 나타내는 관측 층 ($x$) 으로 구성됩니다.
• 학습 메커니즘: 네트워크는 현재 관측치와 은닉 상태에서 생성된 예측 간의 예측 오차를 나타내는 에너지 함수를 최소화함으로써 학습합니다.
  • 기억: 학습 단계 동안 네트워크는 예측된 센서모터 시퀀스와 실제 시퀀스 간의 제곱 오차 합을 최소화하기 위해 은닉 상태를 추론합니다. 가중치 업데이트 (상태 전이를 위한 $W_H$, 관측 예측을 위한 $W_F$) 는 국소 경사 하강 규칙을 따르며, 기억된 시퀀스에 대한 에너지 풍경의 끌개 상태 (attractor states) 를 생성합니다.
  • 회상 (발현): 시스템은 "단서 추론 (cued inference)"을 통해 부분적 단서로부터 기술을 검색합니다. 은닉 상태는 초기 관측치로부터 반복적으로 추론되어 (운동 준비를 모방) 동적 시스템의 초기 조건을 설정합니다. 그런 다음 네트워크는 미래의 센서모터 관측치를 예측합니다. 본 논문은 초기 단서 후 궤적이 고정되는 오프라인 회상에 초점을 맞추어 탄도 운동을 모델링합니다.
• 제어 통합: 신경 ASMs 는 고수준 동적 정책으로 기능합니다. 특정 저수준 제어기를 지시하지는 않지만, 원하는 상태를 달성하기 위해 고유수용감각 예측 오차를 최소화함으로써 (예: 위치 제어기와 같은) 유연한 제어 시스템을 안내합니다.

주요 기여

1. 통합 아키텍처: 본 논문은 단일 예측 부호화 네트워크가 다중 기술의 집합을 학습하고, 암시적 기술 인식을 수행하며, 명시적 기술 선택 메커니즘 없이 이를 발현할 수 있음을 보여줍니다.
2. 생물학적으로 타당한 학습: BPTT 를 통해 훈련된 기존 ASMs 또는 표준 순환 신경망 (RNN) 과 달리, 신경 ASMs 는 국소 학습 규칙과 자기지도 예측 부호화를 활용하여 센서모터 학습의 더 생물학적으로 현실적인 모델을 제공합니다.
3. 암시적 고장 감지: 이 프레임워크는 네트워크의 에너지 (예측 오차) 를 모니터링함으로써 학습된 모든 행동 전반에 걸쳐 고장 감지를 가능하게 합니다. 비정상 (분포 외 사건) 은 높은 에너지 상태를 초래하여 로봇이 실행 중인 특정 기술을 알지 못해도 고장을 감지할 수 있게 합니다.
4. 맥락 추론 및 운동 준비: 이 모델은 운동 준비의 기계적 설명으로 작용하는 반복적 추론 단계 (전망적 구성) 를 도입합니다. 이 단계는 네트워크가 운동 실행 전에 맥락적 단서 (예: 시각적 목표) 에 기반하여 별개의 기술 기억을 분리하고 발현할 수 있게 합니다.

결과
저자들은 시뮬레이션 실험을 통해 신경 ASMs 를 검증했습니다:

• 고장 감지 및 격리: 두 가지 기술을 포함하는 픽앤플레이스 작업에서, 모델은 비정상 에너지 수준을 식별함으로써 관절 잠금 고장을 성공적으로 감지했습니다. 이는 고장 감지 정확도 (82–83% 대 74–82%) 및 고장 격리 정확도 (79.5% 대 41%) 모두에서 기준선 방법 (Z-점수 정규화 오차 사용) 보다 우수했습니다.
• 반응형 보정: 시스템은 구성 공간에서 고유수용감각 예측 오차를 최소화하여 반응형 고장 보정을 시연했습니다. 이를 통해 저수준 제어기가 실시간으로 교란 (예: 떨어지는 물체와의 충돌) 을 보상할 수 있었습니다.
• 기술 분리 및 맥락 추론: 인간 운동 연구 (Sheahan et al., 2016) 에서 영감을 받아, 모델은 다른 계획 조건 하에서 반시계 방향 대 시계 방향 교란에 대한 기술 기억을 분리하는지 테스트되었습니다. 신경 ASMs 는 계획 단계 (계획만 또는 계획 및 실행 조건) 동안 맥락적 단서가 제공될 때만 올바른 운동 계획을 성공적으로 분리하고 발현하여 인간과 유사한 적응 결과를 재현했습니다.
• 속도 - 정확도 트레이드오프: 이 모델은 기술 발현 중 속도 - 정확도 트레이드오프를 예측했습니다: 추론 반복 횟수가 적을수록 (짧은 운동 준비 시간) 회상 정확도가 낮아지는 반면, 반복 횟수가 증가하면 정확도가 향상되었습니다. 이 현상은 BPTT 로 훈련된 기준선 RNN 들에서는 포착되지 않았습니다.

의의 및 주장
본 논문은 예측 부호화 원칙이 고장 감지, 반응형 제어, 기술 기억화를 단일 에너지 기반 아키텍처로 통합하는 방법을 보여줌으로써 신경로보틱스 분야를 발전시켰다고 주장합니다. 저자들은 신경 ASMs 가 생물학적 센서모터 학습을 연구하기 위한 계산적 렌즈를 제공한다고 봅니다. 구체적으로 다음과 같습니다:

• 말초 노시셉티브 신호에만 의존하지 않고 계층적 예측 오차에 기반한 손상/고장 감지 메커니즘 제공.
• 운동 준비 활동이 동적 시스템의 초기 상태를 설정하여 기술 기억을 분리하는 역할 모델링.
• 인간 실험 데이터와 일관된 습관적 기술 발현에서의 속도 - 정확도 트레이드오프 예측.

저자들은 현재 구현이 오프라인 회상, 제한된 기술 집합, 합성 교란을 사용하는 단순화된 시뮬레이션을 이용한 개념 증명임을 인정하며 겸손한 입장을 유지합니다. 프레임워크가 다중 기술을 지원하지만 학습 속도는 기술 수에 의존할 수 있으며, 현재 모델은 동적 정밀도 적응 없이 사후 불확실성을 추정하거나 복잡한 센서 고장을 처리하지는 않는다고 지적합니다. 향후 연구로는 온라인 회상, 더 에너지 효율적인 제어기 탐구, 최적 피드백 제어 통합 등을 제안합니다.