CERNet: Class-Embedding Predictive-Coding RNN for Unified Robot Motion, Recognition, and Confidence Estimation

이 논문은 인간과 상호작용하는 로봇을 위해 단일 계층적 예측 부호화 순환 신경망 (CERNet) 을 통해 실시간 운동 생성, 관찰 행동의 의도 인식, 그리고 인식 신뢰도 추정을 통합한 모델을 제안하고 인간형 로봇 실험을 통해 그 유효성을 입증합니다.

핵심

이 논문은 로봇이 사람과 함께 일할 때 필요한 세 가지 핵심 능력을 하나의 뇌처럼 작동하는 시스템으로 통합한 새로운 기술을 소개합니다. 이 기술의 이름은 CERNet입니다.

쉽게 말해, CERNet 은 로봇에게 "무엇을 할지 스스로 생각하게(생성), 상대방이 무엇을 하려는지 알아차리게(인식), 그리고 내 생각이 맞는지 확신을 갖게(신뢰도 추정)" 하는 하나의 통합된 두뇌를 만들어준 것입니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

1. CERNet 이란 무엇인가요? (비유: "유능한 마법사 견習생")

기존의 로봇 기술은 보통 '움직임'과 '이해'를 따로따로 배웠습니다. 마치 악기를 연주하는 사람과 악보를 읽는 사람이 따로 있는 것처럼요. 하지만 CERNet 은 한 명의 마법사 견習생처럼 모든 것을 한 번에 배웁니다.

이 마법사 견習생에게는 특별한 **'마법 지팡이 (클래스 임베딩 벡터)'**가 있습니다.

• 생성 모드 (무엇을 할까?): 지팡이를 특정 글자 (예: 'A') 로 설정하면, 로봇은 그 글자를 그리는 동작을 자연스럽게 만들어냅니다.
• 인식 모드 (무엇을 하고 있을까?): 로봇이 글자를 그리는 모습을 보면, 지팡이가 자동으로 그 글자에 해당하는 'A'로 변합니다. 즉, 로봇이 무엇을 그리려는지 실시간으로 알아챕니다.
• 신뢰도 추정 (내가 맞을까?): 만약 로봇이 글자를 잘못 그렸거나, 외부에서 누군가 팔을 밀어냈다면, 마법사 견習생은 "아, 내 예측과 실제가 달라! 내가 지금 확신이 없구나!"라고 스스로 깨닫습니다.

2. 이 기술의 핵심은 무엇인가요? (비유: "예측과 수정의 춤")

CERNet 의 가장 큰 특징은 **'예측 오류 (Prediction Error)'**를 활용한다는 점입니다.

• 상황: 로봇이 'A'를 그리려는데, 갑자기 바람이 불어 팔이 흔들렸습니다.
• 기존 로봇: "어? 내가 잘못 그렸네?" 하고 멈추거나 엉뚱한 선을 그을 수 있습니다.
• CERNet: "아! 내 예측 (A) 과 실제 (흔들린 팔) 가 다르군! 오류가 발생했어!"라고 즉시 감지합니다. 그리고 이 '오류'를 줄이기 위해 내부 상태를 바로 수정합니다. 마치 춤을 추다가 발을 헛디뎠을 때, 균형을 잡기 위해 몸을 자연스럽게 바로잡는 것처럼요.

이 과정이 **예측 (Top-down)**과 **관찰 (Bottom-up)**이 끊임없이 오가는 '예측 코딩 (Predictive Coding)' 방식입니다. 덕분에 로봇은 외부의 방해 (Perturbation) 가 있어도 원래 의도했던 글자로 다시 돌아갈 수 있습니다.

3. 실험 결과: 로봇이 실제로 한 일

연구진은 실제 휴머노이드 로봇 (Reachy) 에 이 기술을 적용해 알파벳 26 자를 그리게 했습니다.

• 정확도: 기존의 단순한 로봇 (단일 층 신경망) 보다 76% 더 정확하게 글자를 그렸습니다. 복잡한 글자 (k, b 등) 를 그릴 때 특히 차이가 컸습니다.
• 방해 극복: 로봇이 글자를 그리는 도중 외부에서 팔을 밀어내도, CERNet 을 가진 로봇은 흔들리지 않고 원래 경로로 돌아와 글자를 완성했습니다.
• 실시간 인식: 로봇이 글자를 그리는 모습을 보면, 글자가 다 그려지기 전에 "아, 이건 'B'구나!"라고 실시간으로 알아맞혔습니다. (정확도 68%~81%)
• 자신감: 로봇은 자신이 틀렸을 때 내부의 '오류 신호'가 커지는 것을 감지합니다. 즉, "내 예측이 빗나갔으니, 이 결과는 믿지 말아야겠다"라고 스스로 판단할 수 있게 된 것입니다.

4. 왜 이 기술이 중요한가요? (비유: "사람과 함께 일하는 파트너")

이 기술은 로봇이 단순히 명령을 따르는 기계가 아니라, 상황을 이해하고 스스로 판단하는 파트너가 될 수 있음을 보여줍니다.

• 안전한 협업: 로봇이 사람의 의도를 실시간으로 파악하고, 자신의 판단에 대한 확신을 가질 수 있으므로, 사람과 함께 일할 때 더 안전하고 자연스럽습니다.
• 유연성: 새로운 환경이나 예기치 않은 방해가 와도, 재학습 없이도 스스로 적응하며 임무를 수행할 수 있습니다.

요약

이 논문은 "예측 오류를 줄이는 과정"을 통해 로봇이 움직임을 만들고, 상황을 이해하고, 자신의 판단을 평가하는 모든 것을 하나의 시스템으로 통합했다는 것을 증명했습니다.

마치 스스로 배우고, 실수를 교정하며, 자신의 능력을 평가할 줄 아는 똑똑한 로봇의 뇌를 만든 셈입니다. 이는 앞으로 사람과 로봇이 함께 일하는 세상 (Human-Robot Collaboration) 을 훨씬 더 자연스럽고 안전하게 만들어 줄 핵심 기술이 될 것입니다.

기술 요약

논문 요약: CERNet (Class-Embedding Predictive-Coding RNN)

1. 문제 정의 (Problem)

로봇이 인간과 상호작용하기 위해서는 다음 세 가지 능력이 통합되어 실시간으로 수행되어야 합니다.

1. 학습된 동작 생성 (Generation): 실시간으로 학습된 움직임을 생성해야 함.
2. 의도 추론 (Recognition): 관찰된 행동을 통해 인간의 의도나 작업 클래스를 인식해야 함.
3. 신뢰도 추정 (Confidence Estimation): 자신의 추론에 대한 불확실성을 스스로 평가해야 함.

기존 연구들은 이 세 가지 기능을 별도의 모듈 (분리된 인식기, 생성기, 불확실성 추정기) 로 구현하거나, 시뮬레이션에만 국한되어 물리적 로봇 플랫폼에서 검증되지 않은 경우가 많았습니다. 또한, 외부 교란 (perturbation) 이 발생했을 때 실시간으로 적응하며 원래 궤적으로 복귀하는 능력과 내재적인 신뢰도 추정을 하나의 단일 모델에서 통합하는 접근법은 부족했습니다.

2. 제안 방법론 (Methodology)

저자들은 **CERNet (Class-Embedding Predictive-Coding RNN)**이라는 단일 계층적 예측 코딩 순환 신경망 (PC-RNN) 을 제안했습니다. 이 모델은 클래스 임베딩 벡터 (Class Embedding Vector) 를 동적으로 업데이트하여 운동 생성과 인식을 통합합니다.

• 핵심 아키텍처:

  • 예측 코딩 (Predictive Coding): 상향식 (Bottom-up) 감각 입력과 하향식 (Top-down) 예측 간의 오차를 최소화하여 내부 상태를 업데이트합니다.
  • 클래스 임베딩 벡터 (Class Embedding Vector, $C$): 사전 정의된 클래스 (예: 알파벳 26 개) 를 나타내는 원-핫 (one-hot) 형태의 벡터입니다. 이 벡터는 학습 중에는 고정되지만, 추론 (Inference) 모드에서는 관찰된 운동에 따라 실시간으로 최적화되어 해당 클래스의 잠재 공간 (latent subspace) 으로 수렴합니다.
  • 계층적 구조 (Hierarchical Structure): 여러 층 (Layer) 으로 구성되어, 상위 층은 추상적인 운동 의도를 장기간 유지하고 하위 층은 구체적인 궤적을 처리합니다. 이는 물리적 하드웨어에서의 안정성과 정확도를 높입니다.

• 동작 모드:

  1. 생성 모드 (Generation): 특정 클래스 벡터가 고정되면, 모델은 해당 클래스에 해당하는 운동을 폐루프 (closed-loop) 로 생성합니다. 외부 교란이 발생하면 예측 오차를 통해 내부 상태를 수정하여 원래 궤적으로 자동 복귀합니다.
  2. 추론 모드 (Inference): 로봇의 움직임을 관찰하며 클래스 벡터 $C$를 실시간으로 업데이트합니다. 과거의 재구성 오차 (Past Reconstruction Error) 를 최소화하는 방향으로 $C$를 조정하여 어떤 클래스인지 추론합니다.
  3. 신뢰도 추정: 내부 예측 오차 (Prediction Error) 의 크기가 인식의 신뢰도를 나타냅니다. 오차가 작을수록 모델은 자신이 추론한 클래스에 대해 높은 확신을 가집니다.

3. 주요 기여 (Key Contributions)

1. 통합 아키텍처: 생성, 인식, 신뢰도 추정을 별도의 모듈 없이 단일 PC-RNN 모델 내에서 통합했습니다.
2. 물리적 로봇 검증: 인간형 로봇 'Reachy'를 사용하여 실제 하드웨어에서 26 개의 알파벳 궤적을 학습, 생성, 인식하는 실험을 성공적으로 수행했습니다.
3. 계층적 구조의 효과: 단일 층 네트워크 대비 계층적 구조가 궤적 재현 오차를 획기적으로 줄이고, 물리적 교란에 대한 강인성 (Robustness) 을 입증했습니다.
4. 내재적 신뢰도: 별도의 분류기나 출력 모듈 없이, 네트워크 내부의 예측 오차 신호를 통해 추론의 신뢰도를 자연스럽게 추정할 수 있음을 보였습니다.

4. 실험 결과 (Results)

실험은 인간형 로봇 Reachy 의 왼쪽 팔 (7 DoF) 을 사용하여 26 개의 알파벳 궤적 데이터를 기반으로 수행되었습니다.

• 운동 생성 및 재현 (Motion Generation):
  • 계층적 모델 (Multi-layer) 은 파라미터 수가 유사한 단일 층 모델 (Single-layer) 대비 궤적 재현 오차 (DTW Score) 를 76% 감소시켰습니다.
  • 물리적 환경에서도 계층적 모델은 가독성 있는 알파벳을 그렸으나, 단일 층 모델은 왜곡되거나 인식 불가능한 형태를 보였습니다.
• 교란 저항성 (Perturbation Resistance):
  • 로봇이 알파벳을 그리는 도중 외부 힘으로 궤적이 교란되었을 때, CERNet 은 내부 상태 업데이트를 통해 자발적으로 원래 궤적으로 복귀하는 능력을 보여주었습니다.
• 실시간 인식 (Real-time Recognition):
  • 로봇의 움직임을 관찰하며 클래스를 추론하는 실험에서 **Top-1 정확도 68%, Top-2 정확도 81%**를 달성했습니다.
• 신뢰도 추정 (Confidence Estimation):
  • 정답을 맞춘 경우 (Top-1) 의 재구성 오차 (MSE) 는 오답 (Incorrect) 에 비해 통계적으로 유의미하게 낮았습니다. 이는 낮은 예측 오차가 높은 신뢰도를 의미함을 시사합니다.

5. 의의 및 결론 (Significance)

이 연구는 CERNet 을 통해 강인한 운동 생성, 실시간 의도 인식, 그리고 내재적 불확실성 추정을 하나의 컴팩트한 프레임워크로 통합하는 새로운 패러다임을 제시했습니다.

• 실용성: 외부 센서 (카메라 등) 없이 관절 각도와 엔드 이펙터 위치만으로 작동하며, 물리적 교란에 강인하여 실제 인간 - 로봇 협업 (HRI) 환경에 적용 가능성이 높습니다.
• 확장성: 이 아키텍처는 향후 온라인 학습 및 시각 등 다중 감각 입력과 결합하여 더 복잡하고 맥락 인식형 상호작용을 가능하게 할 수 있는 기반을 마련했습니다.

결론적으로, CERNet 은 로봇이 불확실한 환경에서 스스로 의도를 이해하고, 행동을 생성하며, 자신의 판단을 평가할 수 있는 **자율적이고 적응적인 신체 지능 (Embodied Intelligence)**의 핵심 기술로 평가됩니다.