기술 요약: FILIC – 임피던스 토크 제어를 이용한 이중 루프 힘 유도 모방 학습

문제 정의

삽입, 조립, 인핸드 매니퓰레이션(in-hand manipulation)과 같은 접촉이 빈번한 조작 작업은 물리적 환경과 안전하고 효과적으로 상호작용하기 위해 정밀한 힘 조절을 필요로 한다. 모방 학습(Imitation Learning, IL)이 이러한 기술을 습득하는 데 있어 지배적인 패러다임이 되었지만, 기존의 접근 방식은 여전히 **위치 중심적(position-centric)**이다. 이러한 방법들은 일반적으로 관절 위치나 6-DOF 포즈를 출력하며, 이는 접촉 시 과도한 내부 힘을 유발하여 로봇과 환경에 손상을 입힐 위험이 있다.

말단 장치(end-effector)의 힘 피드백은 순응형 동작(compliant behavior)에 필수적이지만, 손목 장착형 힘/토크(F/T) 센서에 의존하는 것은 높은 비용과 하드웨어 복잡성으로 인해 확장성을 제한한다. 또한, 힘을 IL에 통합하려는 기존의 시도들은 힘을 순응형 실행을 위한 도구로 활용하기보다는 단순히 위치 제어를 위한 보조 신호로 취급하는 경우가 많다. 저비용의 센서리스(sensorless) 환경에서 안정적이고 순응적인 토크 수준 제어 시스템을 배포하는 데에는 여전히 큰 격차가 존재한다.

방법론: FILIC 프레임워크

이러한 과제를 해결하기 위해 저자들은 고수준의 Transformer 기반 IL 정책과 저수준의 임피던스 제어기를 통합하는 이중 루프 아키텍처인 FILIC(Force-guided Imitation Learning with Impedance torque Control)을 제안한다.

1. 이중 루프 제어 아키텍처

시스템은 인지, 계획 및 실행의 균형을 맞추기 위해 두 가지 서로 다른 시간 척도에서 작동한다.

• 외부 루프 (25 Hz): Transformer 기반 IL 정책은 시각 이미지(ResNet을 통해 인코딩됨), 말단 장치 포즈, 그리고 추정된 외력을 포함한 다중 모달 감각 입력을 처리한다. 정책은 목표 6-DOF 말단 장치 포즈의 시퀀스를 예측한다. 이 루프는 시간적 일관성과 강건성을 높이기 위해 ACT(Action Chunking with Transformers) 방식을 사용한다.
• 내부 루프 (2 kHz): 예측된 목표 포즈는 역기구학(IK)을 통해 관절 각도로 변환된다. 그 후 관절 공간 임피던스 제어기가 고주파수로 토크 명령을 실행한다. 이 루프는 가속도 노이즈를 피하기 위해 단순화된 스프링-댐퍼 모델(관성 항 제외)을 채택하여 안정적이고 순응적인 토크 수준 실행을 보장한다. 중력 보상 모듈은 동역학 추정을 지원하기 위해 250 Hz로 실행된다.

2. 센서리스 말단 장치 힘 추정

FILIC의 핵심 혁신은 전용 F/T 센서 없이도 말단 장치의 힘(wrench)을 추정할 수 있는 능력이다.

• Jacobian 기반 역산: 시스템은 관절 토크와 말단 장치 힘 사이의 해석적 관계인 $\tau_{ext} = J(q)^T F_{ext}$를 활용한다. Jacobian 전치 행렬을 역산함으로써, 시스템은 관절 토크 측정값으로부터 외력을 추정한다.
• 동기화된 디지털 트윈: 센서 노이즈, 마찰, 기계적 순응성과 같은 실제 세계의 요인을 처리하기 위해, 저자들은 고충실도 디지털 트윈(MuJoCo에서 시뮬레이션됨)을 사용한다. 이 트윈은 물리적 로봇의 관절 위치 및 속도와 동기화되어 예상되는 관절 토크($\tau_{inv}$)를 계산한다. 외력은 관찰된 토크($\tau_{obs}$)와 모델 예측 토크($\tau_{inv}$)를 비교하여 다음과 같이 추정된다:
  $$F_{ext} = J(q)^T + (\tau_{obs} - \tau_{inv})$$
  이 접근 방식은 값비싼 하드웨어의 필요성을 제거하면서도 IL 정책에 직관적인 힘 표현을 제공한다.

3. 햅틱 피드백 데이터 수집

의미 있는 힘 변화를 포착하는 고품질의 시연 데이터를 확보하기 위해, 저자들은 진동 촉각 햅틱 피드백이 장착된 저가형 핸드헬드 텔레오퍼레이션 인터페이스를 활용한다. 추정된 말단 장치의 힘은 진동 주파수로 매핑되어, 인간 운영자가 접촉 강도를 직관적으로 인지하고 그에 따라 행동을 조정할 수 있게 한다.

주요 기여

본 논문은 세 가지 주요 기여를 설명한다:

1. 센서리스 힘 추정: 동기화된 디지털 트윈과 Jacobian 기반 역산을 사용하여 말단 장치의 힘을 추정하는 저비용 방법 및 오픈 소스 구현.
2. 이중 루프 프레임워크: 시각 및 힘 입력을 융합하는 고수준 Transformer 기반 모방 정책과 저수준 임피던스 토크 제어기를 결격한 새로운 아키텍처를 통해, 손목 F/T 센서 없이도 순응형 조작을 가능하게 함.
3. 성능 검증: 추정된 말단 장치 힘을 사용하는 것이 원시 관절 토크를 사용하는 것보다 정책 성능을 유의미하게 향상시킨다는 경험적 증거 제시.

실험 결과

저자들은 플러그 어댑터 삽입, 비상 정지 버튼 조작, C-클램프 고정, 병 뚜껑 조이기 등 네 가지 접촉 빈번 작업에 대해 시뮬레이션 및 실제 환경에서 FILIC를 평가하였다.

• 힘 추정 정확도: 6-DOF 매니퓰레이터에 대한 정적 하중 테스트를 통해 추정기가 낮은 평균 오차와 표준 편차로 중력 하중을 추적할 수 있음을 확인했다.
• 정책 성능 (시뮬레이션):
  • 위치 전용 베이스라인: 성공률 68.0%
  • 위치 + 관절 토크: 성공률 80.0%
  • 위치 + 추정된 EE 힘 (FILIC): 성공률 90.0%
• 정책 성능 (실제 환경):
  • FILIC는 네 가지 작업 모두에서 위치 전용 및 위치+관절 토크 베이스라인보다 일관되게 우수한 성능을 보였다.
  • 위치 전용 대비 개선 폭은 +33.3 pp(플러그)에서 +53.4 pp(캡)까지 나타났다.
  • 결정적으로, 추정된 EE 힘은 원시 관절 토크 입력보다 일관되게 우수한 성능을 보였으며(예: 플러그 작업에서 +16.7 pp 개선), 이는 추정된 힘이 더 작업 정렬된 접촉 신호를 제공함을 나타낸다.

의의 및 주장

본 논문은 FILIC가 값비싼 하드웨어에 의존하지 않고도 현대적인 모방 학습과 순응적인 물리적 상호작용 사이의 간극을 성공적으로 메운다고 주장한다. 고수준의 의미론적 정책과 저수준의 토크 제어기, 그리고 센서리스 힘 추정기를 결합함으로써, 이 프레임워크는 더 안전하고, 순응적이며, 적응 가능한 접촉 빈번 조작을 달성한다.

저자들은 이 접근 방식이 로봇이 자원이 제한된 환경에서도 풍부한 물리적 상호작용 역학을 활용할 수 있게 한다고 강조한다. 결과에 따르면, 디지털 트윈 기반 추정을 통해 도출된 명시적인 힘 표현이 접촉 시나리오에서 IL 정책을 가이드하는 데 있어 원시 관절 토크보다 우수하다. 이 연구는 이러한 프레임워크가 확장성과 접근성을 유지하면서 비정형 환경에서 인간과 같은 정교한 움직임을 가능하게 한다는 결론을 내린다.