💻 computer science

FAWAM: Force-Aware World Action Models for Closed-Loop Contact-Rich Manipulation

FAWAM은 인지, 예측 및 폐루프 실행 전반에 걸쳐 6축 힘/토크 신호를 통합하여 접촉 진화를 명시적으로 모델링하고 온라인으로 동작을 정교화함으로써, 비전 전용 방식 및 기존의 힘 인지 베이스라인 모델들과 비교하여 접촉이 빈번한 로봇 조작 작업에서 현저히 높은 성공률을 달성하는 힘 인지 세계 동작 모델이다.

원저자: Haotian He, Zeyu Yan, Qipeng Liu, Ning Guo, Wenzhao Lian

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haotian He, Zeyu Yan, Qipeng Liu, Ning Guo, Wenzhao Lian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 화이트보드를 닦거나, 오이를 껍질을 벗기거나, 상자를 미는 상황을 상상해 보십시오. 인간에게 이러한 작업은 촉각이라는 '육감' 덕분에 매우 자연스럽게 느껴집니다. 우리는 너무 세게 누르고 있는지, 무언가 미끄러지고 있는지, 혹은 무언가에 부딪혔는지를 즉각적으로 알 수 있습니다. 우리는 단순히 물체를 보는 것이 아니라, 상호작용을 '느끼며' 실시간으로 움켜쥐는 힘이나 압력을 조절합니다.

하지만 현재의 로봇들은 두꺼운 무감각한 장갑을 끼고 눈가리개를 한 채 과제를 수행하는 사람과 같습니다. 그들은 주로 카메라(시각)에 의존합니다. 카메라가 화이트보드를 포착하면 로봇은 그것을 닦으려고 시도합니다. 하지만 로봇이 너무 세게 눌러서 마커가 번지거나, 너무 살살 눌러서 아무 일도 일어나지 않을 때, 로봇은 너무 늦기 전까지는 왜 실패했는지 알지 못하는 경우가 많습니다. 이는 마치 자동차를 운전할 때 핸들의 느낌이나 엔진 소리는 무시한 채 오직 지도만 보고 운전하는 것과 같습니다.

FAWAM은 로봇에게 촉각을 되찾아주는 새로운 '두뇌'이며, 여기에 하나의 초능력을 더했습니다. 바로 미래를 예측하는 능력입니다.

FAWAM이 어떻게 작동하는지 요리 비유를 통해 세 단계로 나누어 설명하겠습니다.

1. "셰프의 직관" (인지)

대부분의 로봇은 재료를 보기만 합니다(시각). FAWAM은 냄비를 보는 것뿐만 아니라 열기가 올라오는 것을 느끼고 김이 모락모락 나는 것을 냄새로 맡는 셰프와 같습니다.

작동 방식: 이 모델은 힘의 이력(지난 몇 초 동안 로봇이 얼마나 세게 밀거나 당겼는지)을 가져와 이를 통해 현재 상황을 이해합니다.
비유: 단순히 끓는 냄비를 보는 대신, 로봇은 진동과 열기를 '느껴서' 국물이 숟가락에 어떻게 반응하고 있는지 정확히 파악합니다. 이를 통해 '접촉 상태'—물체가 미끄러지고 있는지, 아니면 걸려 있는지—를 이해하게 됩니다.

2. "수정구슬" (예측)

이것이 이 논문의 가장 큰 혁신입니다. 대부분의 로봇은 '지금' 일어나고 있는 일에 반응합니다. 반면 FAWAM은 "내가 이 동작을 하면, 다음 1초 동안 힘이 어떻게 변할까?"라고 묻습니다.

작동 방식: 단순히 로봇의 손이 어디로 갈지를 예측하는 것이 아니라, 손이 느낄 힘을 예측합니다. 즉, 미래의 상호작용을 시뮬레이션합니다.
비유: 셰프가 국 한 숟가락을 맛보고 즉시 "소금을 더 넣으면 10초 뒤에는 너무 짤 것이다"라고 예측하는 것과 같습니다. FAWAM은 물리 법칙을 통해 이 작업을 수행합니다. "이 상자를 앞으로 밀면, 0.5초 후에 갑작스러운 저항을 느낄 것이다"라고 말하는 식입니다。 이처럼 미래의 '아픔'이나 '미끄러짐'을 예측함으로써 로봇은 더 나은 계획을 세울 수 있습니다.

3. "즉각적인 반사 신경" (교정)

수정구슬이 있더라도 상황은 잘못될 수 있습니다. 테이블이 약간 불균형하거나, 물체가 예상보다 무거울 수도 있습니다.

작동 방식: 로봇이 움직이는 동안, 자신의 예측(일어날 것이라고 생각했던 일)과 현실(센서가 실제로 느끼는 것)을 끊임없이 비교합니다. 만약 차이가 발생하면, 문제를 해결하기 위해 즉시 움직임을 미세하게 조정합니다.
비유: 이것은 줄타기 곡예사와 같습니다. 그들은 건너가겠다는 계획이 있지만, 갑작스러운 돌풍(예측에서의 이탈)을 느끼면 균형을 잡기 위해 즉시 무게 중심을 옮깁니다. FAWAM은 초당 10번씩 이 작업을 수행합니다. 만약 로봇이 매끄러운 미끄러짐을 예측했는데 갑작스러운 덜컥거림을 느낀다면, 충돌을 방지하기 위해 즉시 움켜쥐는 힘을 조절합니다.

결과: 왜 중요한가

연구진은 이 기술을 오이 껍질 벗기기나 꽃병 닦기처럼 촉각이 많이 필요한 실제 로봇 작업에 테스트했습니다.

시각 전용 로봇("눈가리개를 한" 로봇들)은 절반도 안 되는 성공률을 보였습니다.
단순히 힘만 느낀 로봇(예측과 교정 없이)은 더 나은 성과를 냈지만 여전히 어려움을 겪었습니다.
FAWAM은 **85%**의 성공률을 기록했습니다.

이 논문은 과거를 느끼고, 미래의 힘을 예측하며, 그 순간에 교정하는 것을 결합함으로써 로봇이 훨씬 더 견고해진다고 주장합니다. 로봇은 단순히 문제에 반응하는 것이 아니라, 문제를 예견하고 작업이 실패하기 전에 해결합니다.

요약하자면: FAWAM은 로봇을 서투른 시각 전용 기계에서, 복잡한 과업을 수행할 때 '느낌'을 통해 길을 찾아내고, 덜컥거림이 발생하기 전에 미리 예측하며, 작업을 완수하기 위해 즉각적으로 움켜쥐는 힘을 조절하는 숙련된 장인으로 변화시킵니다.

기술 요약: FAWAM – 폐쇄 루프 접촉 풍부 조작을 위한 힘 인지 세계 행동 모델 (Force-Aware World Action Models for Closed-Loop Contact-Rich Manipulation)

1. 문제 정의

접촉 풍부 로봇 조작 작업(예: 닦기, 껍질 벗기기, 밀기)은 환경과의 상호작용을 지속적으로 조절하는 것을 필요로 한다. 시각적 관찰이 표준적으로 사용되지만, 약한 접촉, 과도한 압력 또는 끼임과 같은 중요한 상호작용 상태를 추론하기에는 불충분한 경우가 많다. 힘 센싱을 통합하는 기존 방식들은 일반적으로 이를 정책 학습을 위한 추가적인 관찰 모달리티로 취급하거나 저수준의 반응형 제어에 사용한다. 그러나 이러한 접근 방식은 미래의 접촉 상태(예: 미래의 힘/토크(wrench))의 진화를 명시적으로 모델링하지 못하며, 실행 시점의 수정을 가이드할 예측 참조(predictive references)가 부족하다. 결과적으로 로봇은 접촉 결과를 예측하고, 감지된 피드백이 기대치에서 벗어날 때 선제적으로 조정하는 데 어려움을 겪는다.

2. 방법론

저자들은 FAWAM(Force-Aware World Model, 힘 인지 세계 행동 모델)을 제안한다. 이는 힘 신호를 인지, 예측, 실행의 세 단계에 걸쳐 통합하는 폐쇄 루프 프레임워크이다. 이 시스템은 고수준 계획을 위한 Force-Envisioned Action Model(1 Hz)과 온라인 조정을 위한 Force-Guided Residual Corrector(10 Hz)라는 두 가지 서로 다른 주파수에서 작동한다.

A. Force-Envisioned Action Model (힘 인지 행동 모델)
이 구성 요소는 힘 인지 능력을 통합하기 위해 GE-Act 기반의 세계 행동 모델을 확장한 것이다:

Force Conditioning (힘 조건화): 최근의 6축 힘/토크 이력( $w_{t-H_f+1:t}$ )을 경량 MLP를 통해 압축된 접촉 특징( $c_t$ )으로 인코딩한다. 이 특징은 **AdaLN-Zero 스타일의 변조(modulation)**를 사용하여 행동 생성 경로를 조절하며, 여기서 힘으로 조건화된 오프셋이 DiT 블록 내의 표준 AdaLN-Zero 파라미터(shift, scale, gate)에 더해진다.
Joint Prediction (결합 예측): 독립적인 힘 예측 헤드를 사용하는 대신, 원래의 행동 투영(action projection)을 **결합 선형 투영(joint linear projection)**으로 대체한다. 이는 미래의 행동 궤적( $A_t$ )과 미래의 힘/토크(wrench) 궤적( $W_t$ )을 결합하여 출력한다. 이 설계는 디코더가 로봇의 움직임과 그에 따른 물리적 접촉 결과 사이의 결합 관계를 포착하는 공유 표현을 학습하도록 강제한다.
Training (학습): 모델은 2단계 학습 전략을 채택한다. 첫째, 비디오 생성 모델을 잠재 공간 흐름 매칭(latent-space flow matching)을 사용하여 미세 조정한다. 둘째, 힘 인지 행동 디코더를 결합 손실 함수( $L_{stage2} = L_{action} + \lambda_F L_{force}$ )와 함께 동일한 흐름 매칭 프레임워크 하에서 훈련시켜, 미래의 움직임과 접촉력을 동시에 예측한다.

B. Force-Guided Residual Correction (힘 가이드 잔차 수정)
행동 청크(action chunk)를 실행하는 동안 발생하는 예기치 않은 접촉 변화(예: 갑작스러운 저항)를 해결하기 위해 잔차 수정기가 도입된다:

Inputs (입력): 수정기는 기본 행동 청크, 예측된 wrench 참조값, 실시간 wrench 피드백, 그리고 현재의 고유 수용 감각(proprioceptive) 상태를 입력으로 받는다.
Error Computation (오차 계산): 측정된 힘 피드백( $w^{meas}$ )과 예측된 wrench 궤적( $w^{pred}$ )을 비교하여 wrench 추적 오차( $e^w_t$ )를 명시적으로 계산한다.
Gating Mechanism (게이팅 메커니즘): 게이팅 헤드는 스칼라 게이트( $g^{res}_t$ )를 예측하여 수정이 필요한지를 결정한다. 잔차 모델이 명목상의 실행을 방해하는 것을 방지하기 위해 임계값에 기반한 이진 마스크( $\kappa_t$ )가 적용된다.
Output (출력): 시스템은 잔차 행동( $\Delta a^{res}$ )을 출력하며, 게이트가 활성화된 경우에만 기본 행동에 이를 더하여 온라인에서 실행을 정교화한다.
Data Collection (데이터 수집): 수정 데이터는 힘 피드백 리더-팔로워 텔레오퍼레이션 시스템(FACTR)을 사용하여 수집된다. 인간 운영자가 비정상적인 접촉이 발생할 때 개입하며, 수정된 명령과 기본 정책 명령 사이의 차이가 잔차 목표(residual target)가 된다.

3. 주요 기여

FAWAM 프레임워크: 견고한 접촉 풍부 조작을 가능하게 하기 위해 인지, 예측, 실행 단계 전반에서 힘 신호를 활용하는 힘 인지 세계 행동 모델을 제시한다.
Force-Guided Residual Correction (힘 가이드 잔차 수정): 단순한 반응형 제어를 넘어, 예측된 힘과 감지된 피드백 사이의 불일치를 활용하여 실행 중 행동을 수정하는 새로운 메커니즘을 제공한다.
Empirical Validation (실증적 검증): 다양한 상태 최신 기법(SOTA) 베이스라인들에 비해 유의미한 성능 향상을 입증하는 광범위한 실제 환경 실험을 수행하였다.

4. 실험 결과

Franka Research 3 (FR3) 로봇 팔을 사용하여 네 가지 작업(화이트보드 지우기, 오이 껍질 벗기기, 박스 기울이기, 꽃병 닦기)에 대해 실험을 진행하였다. 각 작업은 다양한 표면 경사, 테이블 높이, 물체 위치에 의해 유도되는 다양한 접촉 조건을 포함한다.

성능: FAWAM은 평균 성공률(SR) **85.00%**를 달acia했다.
- 이는 시각 전용 베이스라인(예: $\pi0.5$ 47.50%, GE-Act 48.75%) 대비 36.25% 향상된 수치이다.
- 기존의 힘 인지 베이스라인(ForceVLA 및 TA-VLA, 모두 63.75%) 대비 21.25% 향상된 수치이다.
Ablation Analysis (절제 연구 분석):
- 잔차 수정이 없는 기본 정책(FAWAM w/o Res)은 73.75%의 성공률을 기록하였으며, 이는 힘 인지 행동 모델 단독으로도 강력한 기초를 제공함을 나타낸다.
- 잔차 수정기를 추가함으로써 최종적으로 85.00%까지 성능이 상승하였으며, 이는 온라인 수정의 효과를 입증한다.
- 절제 연구를 통해 힘 조건화 관측(Force-conditioned Observation), 결합 예측(Joint Prediction), 잔차 수정(Residual Correction)의 세 가지 구성 요소가 모두 성능에 긍정적으로 기여함을 확인하였다.

5. 의의 및 주장

본 논문은 접촉 풍부 조작이 단순히 반응적인 관찰-행동 매핑이 아니라 선제적 예측 패러다임이라고 주장한다. 미래의 접촉 상태 진화를 명시적으로 모델링하고 이러한 예측을 온라인 참조로 사용함으로써, FAWAM은 로봇이 접촉 결과를 예측하고 실패가 발생하기 전에 편차를 수정할 수 있게 한다. 저자들은 단순한 관찰 융합을 넘어 예측 모델링과 잔차 수정으로 나아가는 체계적인 힘 신호 통합이 동적인 환경 변화와 외부 방해에도 적응 가능한 견고한 동작을 생성한다고 주장한다. 결과는 미래의 접촉 예측이 지속적인 물리적 상호작용을 요구하는 작업에서 현재의 시각-운동 정책(visuomotor policies)에 결여된 핵심 요소임을 시사한다.