기술 요약: PaCo-VLA

문제 정의

접촉이 빈번한 로봇 조작(Contact-rich robot manipulation)에는 언어 및 시각적 문맥을 해석하는 고수준의 시맨틱 추론 능력과, 접촉 역학을 안전하고 고주파수로 제어하는 능력이 동시에 필요합니다. 시각-언어-행동(VLA) 모델은 시맨틱 작업에서 상당한 일반화 성능을 달방 성취했지만, 이들의 낮은 빈도의 출력(액션 토큰 또는 청크)은 힘에 민감한 시나리오에서 직접적인 플랜트 권한(plant authority)을 갖기에는 신뢰도가 낮습니다. VLA와 로봇의 접촉 제어기 사이의 직접적인 인터페이스는 "시맨틱-투-컨택트(semantics-to-contact)" 간극을 생성합니다. 즉, 시맨틱 추론은 느린 시간 척도에서 작동하는 반면, 접촉 역학(와렌치 측정, 액추에이터 한계, 불안정한 접촉 등)은 빠른 반응을 요구합니다. VLA 예측을 직접 실행하면 지연으로 인한 컴플라이언스 오류, 힘 스파이크, 또는 물리적 안전 제약을 위반하는 오래된 예측의 실행이 발생할 수 있습니다. 또한, 이러한 시스템을 평가하는 것은 어렵습니다. 왜냐하면 작업 성공 여부가 모델의 시맨틱 가치보다는 저수준 제어기의 회복 능력이나 기하학적 지름길(geometric shortcuts)에 의한 결과와 혼동될 수 있기 때문입니다.

방법론: PaCo-VLA

저자들은 시맨틱 제안 생성과 저수준 컴플라이언스 실행을 분리하는 프레임워크인 PaCo-VLA(Passivity-Shielded Compliance Prior)를 제안합니다. VLA 출력을 직접적인 모터 명령으로 취급하는 대신, 이 시스템은 VLA 출력을 **태스크 수준의 컴플라이언스 제안(task-level compliance proposals)**으로 취급합니다.

1. 컴플라이언스 프라이어 인터페이스 (The Compliance Prior Interface)

VLA 모델은 다음을 포함하는 저빈도 제안 벡터 $\hat{u}_k$를 출력합니다:

• 시맨틱 바인딩 ($\hat{b}_k$): 대상 물체 식별.
• 태스크 단계 ($\hat{s}_k$): 작업의 현재 단계.
• 회복 큐 ($\hat{r}_k$): 실패 또는 회복 필요성에 대한 표시.
• 어드미턴스 스케줄 ($\hat{\theta}_k$): 가상 질량, 댐핑, 강성을 정의하는 대각 어드미턴스 스케줄 $(\hat{M}_k, \hat{D}_k, \hat{K}_k)$ 제안.
• 유효성 지표 ($\hat{q}_k$): 신선도(freshness) 및 문맥 일관성.

2. 제안 독립형 실드 (Proposal-Independent Shield)

고주파수의 제안 독립형 실드가 이러한 제안의 실행을 관장합니다. 이 실드는 어떠한 입력(학습된 것, 무작위적인 것, 지연된 것, 또는 고전적인 것)이라도 플랜트에 도달하기 전에 안전한 명령으로 변환되도록 보장합니다. 실드는 세 가지 주요 단계를 통해 작동합니다:

• 시맨틱 게이팅 (알고리즘 1): 시스템은 제안의 유한성, 신선도 및 문맥 일관성을 확인합니다. 만약 제안이 유효하지 않거나 시맨틱 문맥이 일치하지 않으면, 시스템은 가공되지 않은 VLA 출력을 실행하는 대신 보수적인 회복 후보(recovery candidate)로 기본 설정됩니다.
• 컴플라이언스 투영 (알고리즘 2): 제안된 스케줄은 허용 가능한 집합 $\Theta_{box}$로 투영됩니다(질량, 댐핑, 강성 클리핑). 결정적으로, 이는 **샘플링된 대각 어드미턴스 패시비티 마진(sampled diagonal-admittance passivity margin)**을 강제합니다:
  $$\rho_{k,i} = 2D_i - \frac{M_i - M_{k-1,i}}{\Delta t_k} \geq 2d_{margin}$$
  이는 관성(질량)의 급격한 증가가 접촉 루프에 에너지를 주입하는 것을 방지하기 위해 충분한 댐핑에 의해 뒷받받되도록 보장합니다.
• 에너지 탱크 가드 실행 (알고리즘 3): 에너지 탱크는 파라미터 변화에 필요한 활성 에너지를 계산합니다.
  • 충전(Charging): 이전 단계에서의 보수적인 댐핑 소산(dissipation)이 탱크에 크레딧을 부여합니다.
  • 방전(Discharging): 질량이나 강성의 활성 증가는 탱크를 충전합니다.
  • 스케일링(Scaling): 제안된 스케줄에 스케일링 인자 $\beta_k \in [0, 1]$가 적용됩니다. 에너지 탱크가 고갈되면 $\beta_k < 1$이 되어, 탱크 상태가 최소 임계값($E_{min}$) 위에 유지되도록 활성 파라미터 변화를 축소합니다. 이는 시스템이 소산을 통해 "저장"한 에너지보다 더 많은 에너지를 주입하는 것을 방지합니다.

3. 가드 실행 (Guarded Execution)

와렌치 거버너(wrench governor)가 안전하지 않은 힘을 감지하거나 시맨틱 게이트가 실패하면, 시스템은 "가드(guarded)" 상태로 진입합니다. 시스템은 태스크 단계 전환을 일시 중지하고, 활성 관성을 줄이며, 댐핑을 높이고, 강성을 안전한 홀드 값(safe-hold value)을 향해 낮춥니다. 이를 통해 지연되거나 안전하지 않은 시맨틱 출력이 플랜트에 직접 명령을 내리는 것을 방지합니다.

주요 기여

1. VLA-to-Compliance 인터페이스: 학습된 모델이 시맨틱 바인딩과 컴플라이언스 스케줄을 제안하고, 로봇은 오직 실드된 플랜트 명령만을 실행하는 새로운 아키텍처입니다. 이는 시맨틱 권한과 접촉 권한을 분리합니다.
2. 제안 독립형 런타임 계약: 박스 투영, 패시비티 마진 강제, 에너지 탱크 계정, 힘 모니터링 및 가드 회복을 결합한 샘플드-어드미턴스 런타임 계약입니다. 이 계약은 제안의 출처와 독립적이므로 서로 다른 정책 유형 간의 공정한 비교를 가능하게 합니다.
3. 인과적 평가 프로토콜: 기하학적 지름길이나 저수준 회복 동작으로부터 시맨틱 정보의 인과적 기여를 격리하기 위해 쌍을 이룬 시뮬레이션 카운터팩추얼(counterfactual) 실험을 사용하는 방법론입니다. 여기에는 셔플된 언어, 마스킹된 이미지, 잘못된 물체 지침, 지연된 문맥 등의 조건을 테스트하는 과정이 포함됩니다.

실험 결과

저자들은 시뮬레이션과 실제 환경의 AUBO-i5 로봇(6축 힘/토크 센서 장착)에서 커넥터 삽입과 같은 접촉이 빈번한 작업을 대상으로 PaCo-VLA를 평가했습니다.

• 런타임 안전성: 1,000회의 적대적 컴플라이언스 제안 실험에서, 전체 PaCo-VLA 투영은 0건의 패시비티 위반을 달성한 반면, 투영을 제거했을 때는 50.5%의 위반율을 보였습니다.
• 태스크 성공률 vs 베이스라인:
  • 시뮬레이션에서 PaCo-VLA는 0.318의 태스크 성공률과 100%의 안전성을 달성하였으며, 이는 고정/적응형 어드미턴스 제어기 및 직접 학습된 액션 정책(OpenVLA, Diffusion Policy, ACT, Octo)을 능가했습니다. 후자들은 플랜트에 직접 작용할 때 종종 0%의 태스크 성공률을 기록했습니다.
  • 실제 환경의 커넥터 삽입(30회 실험)에서 PaCo-VLA는 10/10의 접촉 성공 및 9/10의 삽입 성공을 달성하여, 비시맨틱 실드 제어기 및 에너지 탱크 베이스라인을 크게 앞질렀습니다.
  • PaCo-VLA는 최종 횡방향 오차를 베이스라인의 ~0.62 mm에 비해 0.181 mm로 줄였습니다.
• 시맨틱 속성(Semantic Attribution): 카운터팩추얼 실험을 통해 높은 태스크 성공률이 라이브 시맨틱 입력에 인과적으로 의존함을 입증했습니다. 언어가 셔플되거나 이미지가 마스킹되거나 문맥이 지연되었을 때 태스크 성공률은 0%로 떨어졌으며, 이는 실드 자체나 기하학적 지름길이 성공의 원인이 아님을 확인시켜 줍니다.
• 전이(Transfer): 프레임워크는 더 복잡한 EV 충전 건 플러깅 작업으로 성공적으로 전이되어 8/15의 성공을 거두었습니다.

의의 및 주장

본 논문은 PaCo-VLA가 어드미턴스 포트에서 **증명 가능한 샘플드-패시브 런타임 계약(provably sampled-passive runtime contract)**을 구축한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 간극 해소: VLA 모델을 직접적인 제어기가 아닌 제안 소스로 취扱함으로써, 접촉이 빈번한 영역에 파운데이션 모델을 배포할 수 있게 하며, 이를 통해 지연 및 검증되지 않은 예측의 위험을 완화합니다.
2. 분리된 평가: 제안 독립형 실드를 적용함으로써, 연구자들이 VLA 모델의 시맨틱 기여도를 제어기의 안전 메커니즘으로부터 엄격하게 분리하여 평가할 수 있도록 합니다.
3. 희생 없는 안전성: 적대적인 컴플라이언스 변화 및 시맨틱 변화 하에서도 제로 패시비티 위반을 유지하며, 직접적인 VLA 제어가 실패하는 힘에 민감한 작업에서 안전한 실행을 가능하게 합니다.

저자들은 자신들의 보장이 대각 샘플드-어드미턴스 업데이트에 특화되어 있으며, 피크 포스(peak forces), 결합 접촉(coupled contacts), 또는 액추에이터 포화(actuator saturation)를 제한하지 않는다는 점을 인정하며 한계점을 명시했습니다. 또한, 변형 가능한 물체 및 더 풍부한 물리적 양상(modalities)으로 이 방법을 확장하는 것이 향후 과제라고 밝혔습니다.