기술 요약: 무료로 임피던스 학습하기: 양방향 텔레오퍼레이션을 통한 식별 가능한 임피던스 학습

1. 문제 정의

시각-언어-행동(VLA) 모델은 로봇 조작 분야에 혁신을 가져왔으나, 접촉이 빈번한 작업(예: 닦기, 삽입)에서는 일관되게 실패하고 있습니다. 이는 모델이 포즈 목표값(pose targets)만을 출력할 뿐, 상호작용 힘을 조절하는 데 필요한 필수적인 컴플라이언스(강성, stiffness)를 출력하지 못하기 때문입니다. 최근 일부 연구들이 힘이나 컴플라이언스를 출력하려는 시도를 하고 있으나, 이들은 수동으로 지정된 상호작용 프레임, 특권적 시뮬레이션 데이터, 또는 훈련 및 추론 과정에서의 전용 힘/토크(F/T) 센서나 촉각 센서에 의존합니다.

핵심 장애물은 표준 데몬스트레이션 인터페이스(예: VR 컨트롤러, SpaceMouse, 단방향 바이매뉴얼 리그)에 존재하는 근본적인 **식별 가능성 문제(identifiability problem)**입니다. 이러한 인터페이스는 로봇이 실제로 구현한 포즈($x_f$)와 그 결과로 발생하는 접촉력($f$)만을 기록합니다. 그러나 수학적으로 접촉력은 작업자의 의도된 평형 포즈($x_{eq}$)와 그들의 강성($K$)의 곱입니다. 즉, 부드러운 스프링을 멀리 당기는 것과 딱딱한 스프링을 약간 당기는 것이 동일한 힘을 발휘할 수 있습니다. $x_{eq}$에 대한 독립적인 측정이 없다면, 작업자의 의도된 평형 상태와 그들의 강성은 서로 뒤섞여 구분이 불가능합니다. 따라서 포즈 데이터만으로는 이들을 분리해낼 수 없습니다. 결과적으로 기존의 인터페이스는 원칙적으로 컴플라이언스 감독(compliance supervision)을 제공할 수 없습니다.

2. 방법론

A. 양방향 텔레오퍼레이션을 통한 식별성 해결

저자들은 이 식별 모호성을 해결하기 위해 **4채널 양방향 텔레오퍼레이션(four-channel bilateral teleoperation)**을 사용할 것을 제안합니다. 이 설정에서는 리더 암(사람이 제어)과 팔로워 암(로봇)이 능동적으로 결합됩니다.

• 핵심 통찰: 리더 암의 궤적($x_l$)은 작업자의 의도된 평형($x_{eq}$)에 대한 독립적이고 물리적인 측정치 역할을 합니다.
• 메커니즘: 임피던스 법칙 $f(t) = K(t)(x_{eq}(t) - x_f(t)) + D(t)\dot{e}(t)$에 $x_{eq} = x_l$을 대입함으로써, 변위 오차 $e(t)$를 직접 관측할 수 있게 됩니다. 이를 통해 외부 F/T 센서 없이도 매니퓰레이터에 이미 탑재된 조인트 토크 센싱만을 사용하여 $K(t)$와 $D(t)$를 회귀 분석으로 식별할 수 있습니다.

B. 센서리스 렌치 추정(Sensorless Wrench Estimation)

이 방법은 손목 F/T 센서가 아닌 조인트 토크 센서에 의존하므로, 저자들은 센서리스 렌치 추정 절차를 구현합니다.

1. 중력 보상: 정적 포즈를 사용하여 도구의 질량과 무게 중심을 식별하고, 측정된 조인트 토크에서 중력 성분을 제거합니다.
2. 바이어스 교정: 자유 공간 스윕(free-space sweeps)을 통해 피팅된 Random Fourier Features 뱅크를 사용하여 잔류 오차(구성 및 속도에 의존함)를 모델링합니다.
3. 노이즈 플로어: 힘 추정치가 센서 노이즈보다 높은지 확인하기 위해, 제외된 자유 공간 데이터로부터 축별 노이즈 플로어($\sigma_{f,i}$)를 측정합니다.

C. 컴플라이언스 라벨 추출

저자들은 마스크 회귀(masked regression) 과정을 통해 타임스텝당 이방성(anisotropic) 컴플라이언스 라벨을 추출합니다.

• 접촉 프레임: SVD(특이값 분해)를 사용하여 닦기 궤적에 접촉 프레임을 피팅함으로써 표면 법선(surface normal)을 정의합니다.
• 윈도우 기반 회귀: 슬라이딩 300ms 윈도우를 사용하여 축당 강성($k$)과 댐핑($d$)을 구하기 위해 정규화된 비선형 최소제곱 문제를 해결합니다.
• 식별성 마스크: 다음 조건에서만 라벨을 유지하도록 이진 마스크를 적용합니다:
  1. 회귀 행렬이 양호한 조건(well-conditioned)일 때.
  2. 변위가 유의미할 때.
  3. 힘이 노이즈 플로어를 초과할 때.
  4. 시스템이 접촉 상태일 때.
     이를 통해 어노테이션 비용 없이 $(x_{eq}, \log K)$ 쌍과 유효성 마스크를 가진 데이터셋을 얻습니다.

D. 컴플라이언스 출력 VLA 정책

추출된 라벨은 사전 훈련된 VLA(SmolVLA 백본)를 미세 조정하는 데 사용됩니다.

• 아키텍처: 정책은 시각 정보(장면 + 손목 카메라), 언어 지시문(예: "왼쪽 자국을 강하게 닦으세요"), 그리고 힘 이력 토큰을 입력으로 받습니다.
• 출력: 절대적 목표 포즈($x_{eq}$)와 강성 목표($\log K$)를 포함하는 미래 행동의 청크(chunk)를 예측합니다.
• 훈련: 포즈를 위한 flow-matching과 강성을 위한 Huber loss를 사용하며, 마스킹된(식별 가능한) 타임스텝에만 적용됩니다.
• 제어: 저수준 데카르트 임피던스 컨트롤러가 정책의 청크형 출력을 추적합니다. 시스템은 안정성과 패시비티(passivity)를 보장하기 위해 시간적 앙상블(temporal ensembling)과 에너지 탱크 게이팅(energy-tank gating)을 채택합니다.

3. 주요 기여

1. 센서리스 추출 절차: 양방향 텔레오퍼레이션을 사용하여 포즈 전용 식별 모호성을 해결하고, 오직 네이티브 조인트 토크 센서만을 사용하여 타임스텝당 컴플라이언스 라벨을 얻는 방법을 제시했습니다.
2. 오프라인 벤치마크: 추출된 라벨이 학습 가능한 신호를 가지고 있음을 입증했습니다. 학습된 예측기는 축별 상수 예측기보다 번역 축의 총 RMSE에서 $1.25\times$ 더 우수한 성능을 보였습니다.
3. 지시어 조건부 컴플라이언스 정책: 추출된 라벨을 사용하여 청크된 임피던스 목표를 성공적으로 추적하는 VLA 정책을 개발했습니다. 이는 다섯 가지 베이스라인 중 언어 지시(예: "강하게" vs "보통으로")에 따라 실제 접촉력이 변화하는 것을 보여준 유일한 정책입니다.

4. 실험 결과

방법론은 "보통으로" 또는 "강하게" 닦으라는 지시를 수행하는 Franka Research 3 로봇을 이용한 화이트보드 닦기 작업에서 평가되었습니다.

• 지시어 조건화: 정책은 지시문에 따라 출력 강성을 성공적으로 조절했습니다.
  • 입증된 강성: "강한(Firm)" 데몬스트레이션은 "보통(Normal)"($127.2$N/m)보다 높은 강성($146.2$ N/m)을 보였습니다.
  • 정책 출력: 정책은 이 격차를 재현했습니다($141.2$ vs $116.4$ N/m).
  • 실제 구현된 힘: 결정적으로, 실제 접촉력은 지시에 반응했습니다. "강하게"는 $9.12$N RMS의 힘을 나타냈고, "보통으로"는$6.40$N RMS를 나타냈습니다 ($p=0.023$, Cohen's $d=0.89$).
• 베이스라인 비교:
  • Fixed-K: 상수 강성을 사용하며, 지시에 따라 힘을 조절하는 데 실패했습니다.
  • Force-In: 힘을 입력으로 받지만 포즈만을 출력하며, 힘 조절에 실패했습니다.
  • Hybrid: 강성을 예측하지만 별도의 회귀 헤드를 사용하며, 명령된 강성이 실제 힘의 변화로 이어지지 않았습니다.
  • 제안 방법: 실제 접촉력이 언어 지시에 통계적으로 반응한 유일한 정책입니다.
• 작업 성능: 제안된 정책은 가장 높은 성공률(50.0%)과 잉크 제거율(40.8%)을 달 기록했으며, Fixed-K 베이스라인에 비해 낮은 피크 및 RMS 접촉력을 유지하여 보호 정지(protective stops) 횟수를 줄였습니다(1회 vs 6회).

5. 의의 및 주장

본 논문은 컴플라이언트 조작 학습의 주요 장벽이 모델 아키텍처가 아니라 데몬스트레이션 인터페이스라고 주장합니다. 표준 인터페이스는 평형 상태와 강성을 혼동하여, 외부 하드웨어나 시뮬레이션 없이는 컴플라이언스 감독을 불가능하게 만듭니다.

양방향 텔레오퍼레이션을 활용함으로써 저자들은 다음을 입증했습니다:

1. 무료로 추출 가능한 컴플라이언스: 훈련이나 추론 시 추가적인 F/T 또는 촉각 센서가 필요하지 않습니다. 리더 암이 필요한 평형 신호를 제공합니다.
2. 학습 가능한 행동으로서의 컴플라이언스: VLA는 물리적으로 구현되는 강성 목표를 출력하도록 훈련될 수 있습니다.
3. 지시어 조건부 힘 제어 가능: 시스템은 경직된 제약이나 특권 정보에 의존하지 않고도 자연어("강하게" vs "보통으로")에 따라 접촉력을 조절할 수 있습니다.

저자들은 컴플라이언스를 예측하는 것만으로는 부족하며, 정책이 이를 추적해야 한다고 강조합니다. 그들의 접근 방식은 포즈와 강성을 공유된 목표를 통해 디코딩함으로써, 단순히 보드에 더 세게 누르는 것이 아니라 "강하게" 닦으라는 지시를 받았을 때 스트로크 경로에서 벗어나는 변위에 저항하는 진정한 이방성 동작을 달성합니다.

6. 한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 구성 의존성: 센서리스 렌치 추정은 고정된 널스페이스(nullspace) 자세와 제한된 작업 공간을 필요로 합니다.
• 회전 임피던스: 본 특정 작업(닦기)에서는 회전 채널이 약하게 식별되었습니다(닦기 동작은 방향성을 거의 자극하지 않음). 추출된 회전 강성은 종종 컨트롤러의 하한값에서 포화됩니다.
• 범위: 증거는 단일 작업(닦기)과 플랫폼(Franca Research 3)에 국한되어 있습니다.
• 절제 연구(Ablation)의 힘: 힘 채널 절제 연구는 적은 롤아웃 예산으로 인해 통계적 검정력이 부족했으며, 이로 인해 힘 입력 토큰의 인과적 역할에 대한 추가 조사가 필요합니다.