💻 computer science

UniReflex: Plug-and-Play Force Control for Pretrained Generative Policies via Fast-Slow Reflex

UniReflex는 사전 훈련된 생성 정책에 빠름-느림 반사 메커니즘을 통한 폐루프 가변 임피던스 제어를 결합하여, 네트워크 재학습 없이도 견고한 접촉 조절과 위치 및 힘 실행 간의 매끄러운 전환을 가능하게 하는 범용적이고 플러그 앤 플레이 방식의 프레임워크입니다.

원저자: Yan Huang, Shoujie Li, Ziwu Song, Wenbo Ding

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yan Huang, Shoujie Li, Ziwu Song, Wenbo Ding

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇은 인간의 움직임을 관찰하고 모방하는 데 매우 능숙해졌습니다. 수천 개의 비디오 시연을 학습함으로써, 현대의 인공지능 시스템은 물체를 집어 올리거나, 블록을 쌓거나, 테이블 위에서 도구를 옮기는 작업을 놀라운 정밀도로 수행하는 법을 배울 수 있습니다. 흔히 생성 정책(generative policies)이라 불리는 이 시스템들은 로봇의 손이 다음에 어디로 가야 할지를 결정하는 느리고 사려 깊은 계획가처럼 작동합니다. 그러나 빈 공중을 움직이는 것과 물리적 세계와 상호작용하는 것 사이에는 상당한 격차가 존재합니다. 로봇이 표면을 닦거나, 버튼을 누르거나, 무언가를 나사처럼 돌려 끼워야 할 때, 로봇은 자신이 가하는 힘을 관리해야 합니다. 만약 로봇이 너무 세게 밀면 물체를 부수거나 미끄러질 수 있고, 너무 약하게 밀면 작업을 완료하지 못할 수도 있습니다. 현재의 로봇들은 종종 여기서 어려움을 겪는데, 이는 그들이 세상을 마치 휘거나 저항하지 않는 유리로 만들어진 것처럼 취급하며 시각적인 경로를 완벽하게 따르도록 설계되었기 때문입니다. 그들은 저항을 느끼고 실시간으로 움켜쥐는 힘이나 압력을 조調整하는 능력이 부족하며, 이는 인간에게는 자연스럽지만 오직 보는 것에만 의존하는 기계에게는 가르치기 어려운 기술입니다.

칭화 대학교와 난양 공과대학교의 연구진은 로봇의 전체 두뇌를 재구축하지 않고도 이 격차를 메울 수 있는 '유니리플렉스(UniReflex)'라는 새로운 접근 방식을 개발했습니다. 기존의 거대하고 복잡한 AI 모델을 다시 학습시키려고 노력하는 대신, 그 위에 가볍고 빠르게 반응하는 층을 추가한 것입니다. 메인 AI를 경로와 목적지를 알고 있는 운전자라고 한다면, 이 새로운 추가 요소는 자동차가 요철을 지날 때 즉각적으로 스티어링 휠을 조절하는 반사 신경과 같은 역할을 한다고 생각하면 됩니다. 이 시스템은 로봇이 가고자 하는 곳에 대한 내부적인 생각(의도)을 경청하는 동시에, 로봇의 손목에 가해지는 힘을 동시에 관상합니다. 만약 로봇이 예상치 못한 저항에 부딪히면, 이 빠른 층이 아주 짧은 순간 동안 제어권을 가져와 접촉을 부드럽게 하거나 각도를 변경하여 접촉 상태가 안정적으로 유지되도록 합니다. 결정적으로, 이 새로운 층은 기존의 AI를 재학습하거나 수정할 필요가 없으므로, 기존의 다양한 로봇 두뇌에 즉시 연결하여 사용할 수 있습니다.

연구팀은 곡면을 닦거나, 메모지에서 스티커를 떼어내거나, 충전기를 포트에 삽착하는 것과 같이 지속적인 물리적 접촉이 필요한 다양한 어려운 작업들을 대상으로 이 방법을 테스트했습니다. 실험 과정에서 그들은 작은 모델부터 수십억 개의 매개변수를 가진 거대한 모델에 이르기까지 세 가지 유형의 사전 학습된 로봇 두뇌를 사용했습니다. 로봇이 원래의 계획 능력만 가지고 작동하도록 내버려 두었을 때, 로봇은 물체에 닿는 순간 미끄러지거나 너무 많은 압력을 가하며 자주 실패했습니다. 그러나 유니리플렉스 층이 활성화되었을 때, 이러한 접촉 중심의 작업에 대한 성공률은 극적으로 높아졌습니다. 예를 들어, 스티커를 떼어내는 작업에서 성공률은 낮은 기준치에서 거의 90%까지 향상되었습니다. 이 시스템은 특히 적절한 압력을 유지하는 데 효과적이었으며, 물체가 움직이거나 표면이 고르지 않은 상황에서도 로봇의 손을 안정적으로 유지했습니다.

이 연구의 핵심적인 발견은 이러한 개선이 로봇의 원래 목표 지점 이동 정확도를 희생하지 않으면서 이루어진다는 점입니다. 이 새로운 층은 메인 플래너(planner)가 작업을 수행하게 할 때와 미세한 조정을 위해 제어권을 가져올 때를 아는 스위치 역할을 합니다. 로봇이 무언가에 닿기 전에는 원래의 AI가 의도한 대로 정확하게 움직여 높은 수준의 계획 기술을 보존합니다. 접촉이 감지되는 순간, 빠른 반사 층이 개입하여 힘을 관리함으로써 로봇이 물체에 충돌하거나 움켜쥔 힘을 놓치지 않도록 합니다. 이러한 역할의 분리는 로봇이 움직임에서는 정밀하면서도 상호작용에서는 부드러울 수 있게 합니다. 연구진은 또한 이 방식이 매우 효율적이라는 것을 발견했습니다. 거대한 메인 AI는 그대로 둔 채 작은 빠른 반사 층만을 학습시켰기 때문에, 전체 로봇 두뇌를 처음부터 다시 학습시키려는 방식에 비해 학습 시간이 25배에서 66배까지 단축되었습니다.

또한 연구는 로봇이 표면을 닦는 동안 표면이 이동하거나 부품이 약간 어긋나 있는 것과 같은 예상치 못한 방해 요소들을 이 시스템이 얼마나 잘 처리하는지 탐구했습니다. 이러한 시나리오에서 표준 로봇 모델들은 접촉을 잃고 작업을 완전히 실패하곤 했습니다. 그러나 유니리플렉스로 강화된 로봇들은 빠르게 회복하여 1초 이내에 올바른 접촉력을 다시 확립할 수 있었습니다. 이러한 회복 탄력성은 이 시스템이 이전 방식들보다 현실 세계의 예측 불가능성에 더 잘 적응할 수 있음을 시사합니다. 연구진은 이 방법이 닦기나 누르기와 같은 지속적인 작업에는 매우 효과적이지만, 좁은 소켓에 플러그를 끼우는 것처럼 조정할 수 있는 시간적 여유가 극도로 짧은 매우 빠르고 짧은 동작에는 더 많은 도전 과제에 직면한다는 점을 언급했습니다. 그럼에도 불구하고, 이 결과는 로봇에게 부족했던 촉각을 부여하여, 로봇이 완전히 재설계될 필요 없이 물리적 세계와 더 안전하고 효과적으로 상호작용할 수 있게 하는 강력한 새로운 방법을 보여줍니다.

기술 요약: UniReflex

문제 정의

Diffusion Policy (DP), Vision-Language-Action (VLA) 모델, World Action Model (WAM)과 같은 생성적 모방 학습 정책은 시각-운동 궤적 계획(visuomotor trajectory planning)에서 최첨단 성능을 달{\text{성}}해 왔다. 그러나 이러한 모델들은 일반적으로 폐루프 힘 조절(closed-loop force regulation) 능력이 부족하다. 이들은 운동학적 동작 목표를 예측하고 고정된 저수준 게인(low-level gains)으로 이를 추적하는데, 이는 기하학적 변동이나 외란이 접촉을 불안정하게 만들 수 있는 접촉 집약적 시나리오(예: 닦기, 삽입, 벗기기)에서 신뢰성을 떨어뜨린다.

힘 제어를 통합하기 위한 기존 솔루션은 일반적으로 세 가지 범주로 나뉜다: 힘을 추가적인 관측값으로 취급하거나, 정책을 하이브리드 힘-위치 제어와 결합하거나, 빠름-느림(fast-slow) 계층 구조를 채택하는 것이다. 이러한 접근 방식의 결정적인 한계는 일반적으로 엔드 투 엔드(end-to-end) 학습, 아키텍처 재설계 또는 공동 최적화를 요구한다는 점이다. 거대 규모의 비전 전용 데이터셋에서 사전 학습된 강력한 파운데이션 모델의 시대에, 이러한 가중치를 버리거나 힘 모달리티를 수용하기 위해 과도한 미세 조정(fine-tuning)을 가하는 것은 계산 효율성이 떨어지며 잘 일반화된 분포를 파괴할 위험이 있다. 즉, 파운데이션 모델의 원래 사전 학습된 분포를 보존하면서 시스템에 독립적으로 견고한 물리적 반사 신경(reflex)을 부여할 수 있는 원칙적인 솔루션이 부족한 실정이다.

방법론: UniReflex

UniReflex는 느린 백본(slow backbone)의 추가적인 미세 조정 없이, 얼어붙은(frozen) 생성 정책에 가변 임피던스 제어(variable impedance control, VIC)를 탑재하도록 설계된 범용적이고 플러그 앤 플레이(plug-and-play)가 가능한 프레임워크이다. 이 시스템은 "Fast-Slow" 반사 구조(reflex architecture)를 기반으로 작동한다.

1. 비침습적 표현 인터셉트 (Non-Invasive Representation Interception)

UniReflex는 네트워크 아키텍처나 가중치를 수정하지 않고, 얼어붙은 생성 정책( $\pi_{gen}$ )의 액션 헤드로부터 심층 잠재 표현(deep latent representations)을 가로챈다.

메커니즘: 정책이 디퓨전(노이즈 예측)을 사용하든 플로우 매칭(속도 예측)을 사용하든 관계없이, 네트워크는 최종 액션 투영(action projection) 이전에 시간적으로 구조화된 은닉 표현( $z$ )을 형성한다. UniReflex는 이 프리-프로젝션(pre-projection) 상태에 훅(hook)을 건다.
인터페이스: 이는 정책의 고수준 궤적 의도를 캡슐화하는 백엔드 불가지론적(backend-agnostic) "느린 의도(slow intent)" 인터페이스( $z \in \mathbb{R}^{B \times T_{slow} \times H}$ )를 제공하며, 작업의 의미론(semantics)을 보존한다.

2. 능동적 노력 회복 및 힘-강성 디커플링 (Active Effort Recovery and Force-Stiffness Decoupling)

이 프레임워크는 정규화된 이방성 강성 방향(normalized anisotropic stiffness directions)과 참조 힘을 예측하도록 학습되어, 능동적인 힘 행사와 외부 상호작용 반응을 분리한다.

감독 (Supervision): 텔레오퍼레이션 로그를 사용하여 시스템은 상호작용 힘 의도의 대리물( $F_{intent} \approx K_{virtual} \Delta x$ )을 도출한다.
레이블링 (Labeling): 텔레오퍼레이션 미스매치 방향을 기반으로 정규화된 이방성 강성 방향( $K_{label}$ )에 대한 감독 신호를 생성한다. 이를 통해 시스템은 더 높은 명령된 노력(effort)이 발생하는 축을 따라 강성을 높여 접촉 안정성을 향상시킨다.
디커플링 (Decoupling): 반사 네트워크는 세 가지 결합된 출력을 예측한다:
1. $x_{reflex}$ : 기하학적 드리프트를 제한하기 위한 단일 단계 포즈 교정.
2. $F_{ref}$ : 지속적인 법선 압력 추적을 위한 원하는 접촉 렌치(wrench).
3. $\Phi_K$ : 노력의 방향과 크기를 분리하는 것을 지원하기 위한 말단 효과기(end-effector) 강성 파라미터.

3. 하이브리드 제어를 위한 적응형 게이팅 (Adaptive Gating for Hybrid Control)

UniReflex는 실행 단계 간의 전환을 관리하기 위해 경량화된 게이팅 메커니즘을 통합한다:

단계 I (접촉 전): 컨트롤러는 얼어붙은 생성 정책의 포즈 타겟을 추적하는 것을 우선시하여, 원래 플래너의 정렬 품질을 보존한다.
단계 II (접촉 시): 고유 수용 감각(proprioceptive sensing)을 통해 접촉이 감지되면, 시스템은 힘 중심의 체제로 전환한다. 시스템은 VIC 인터페이스를 통해 $F_{ref}$ 와 임피던스 파라미터를 조절하는 동시에 단일 단계 $x_{reflex}$ 교정을 스트리밍한다.
아키텍처: 빠른 반사 네트워크( $\phi_{reflex}$ )는 실시간 피드백( $e_t$ )과 정렬된 느린 의도( $z'_t$ )를 입력으로 받아 고주파 업데이트를 생성하는 인과적 시간 모델(GRU로 구현됨)이다.

주요 기여

범용 플러그 앤 플레이 프레임워크: UniReflex는 심층 액션 헤드 잠재 표현을 비침습적으로 가로챔으로써, 지도 미세 조정된 생성 정책에 폐루프 힘 제어를 부여한다. 이는 느린 백본의 추가적인 학습이나 미세 조정을 필요로 하지 않는다.
힘-강성 디커플링: 이 방법은 정규화된 이방성 강성 방향과 참조 힘을 공동으로 감독한다. 이를 통해 수동적이거나 고정된 강성 방식보다 더 물리적으로 일관된 렌치 동작을 생성하는 VIC 기반의 폐루프 조절을 가능하게 한다.
적응형 게이팅: 경량 게이팅 메커니즘은 위치 중심의 계획과 힘 중심의 실행 사이의 원활한 전환을 가능하게 하여, 로봇이 접촉 중에도 견고한 조절 능력을 얻으면서 동시에 얼어붙은 플래너의 정렬 품질을 유지하도록 보장한다.

실험 결과

저자들은 DP, $\pi_0$ , DreamZero라는 세 가지 얼어붙은 백본을 사용하여 다섯 가지 접촉 집약적 벤치마크(Wipe, Plug Charger, Peel Note, Flip Chip Box, Box Lift)에서 UniReflex를 평가하였다.

성능 향상: UniReflex는 바닐라 정책과 비교했을 때 모든 백본에서 접촉 단계(Phase II)의 성공률을 20~60 퍼센트 포인트 유의미하게 향상시켰다. 예를 들어, "Peel Note" 작업에서 UniReflex + $\pi_0$ 는 바닐라 $\pi_0$ 의 30%와 비교하여 단계 II에서 90%의 성공률을 달성했다.
비접촉 기술 보존: UniReflex의 추가는 단계 I(비접촉) 성공률을 10 퍼센트 포인트 이내로 변화시켜, 원래의 시각-운동 동작이 크게 보존되었음을 입증했다.
베이스라인과의 비교: UniReflex가 증강된 정책은 단계 I과 단계 II 모두에서 단일 구조의 힘 인식 베이스라인(RDP, ForceVLA, TA-VLA)보다 우수한 성능을 보였다. 특히, 엔드 투 엔드 힘 인식 모델들은 종종 단계 I의 위치 제어 품질을 저하시켰으나, UniRef//Rex는 이를 유지하거나 오히려 개선했다.
어블레이션 연구 (Ablation Studies):
- 학습된 강성 변조를 제거하거나 고정된 등방성 강성을 사용하면 단계 II 성공률이 70~~90%에서 20~~50%로 급락했다.
- 적응형 게이팅 메커니즘을 제거하면 단계 I/II 성공률이 0~30%로 떨어졌으며, 이는 접촉 전의 얼어붙은 플래너를 보호하는 것의 필요성을 강조한다.
외란 회복 (Disturbance Recovery): 동적 외란(예: 표면 경사도 변화) 하에서 UniReflex는 80~100%의 회복률을 달성한 반면, 얼어붙은 DP는 대부분의 시행에서 접촉 유지를 실패했다.
효율성: UniReflex는 공동 학습 전략에 비해 단계당 역방향 지연 시간(backward latency)을 25~66배 낮게 달성했다. 이는 백본 대비 단 0.188~0.375%의 파라미터만을 학습하여 메모리와 계산 오버헤드를 크게 줄였다.

의의 및 주장

본 논문은 UniReflex가 단일 구조의 엔드 투 엔드 학습 파이프라인에 대한 확장 가능한 대안을 제공한다고 주장한다. 힘 피드백을 독립적인 모듈로 취급함으로써, 힘 데이터를 결여한 강력한 사전 학습 생성 정책을 재학습의 비효율성이나 파괴적 망각(catastrophic forgetting)의 위험 없이 활용할 수 있게 한다.

저자들은 UniReflex를 전문화되고 희소한 힘 관측값을 파운데이션 모델에 통합하는 "딜레마"에 대한 해결책으로 제시한다. 이들은 고수준의 의도를 가진 얼어붙은 정책으로부터 혜택을 받는 동시에, 독립적으로 견고한 물리적 반사 신경을 제공하는 경량 모듈로서 폐루프 접촉 조절을 추가하는 것이 가능하다는 것을 보여준다. 이 연구는 접촉 집약적 조작을 위해, 대규모 모델을 위한 인지 및 행동의 공동 학습보다 느린 시각적 추론과 빠른 속도의 접촉 피드백을 플러그 앤 플레이 방식의 반사 신경으로 분리하는 것이 더 효율적이고 효과적인 전략임을 시사한다.

저자들이 언급한 한계점:

롱 호라이즌(long-horizon) 월드-액션 백본(DreamZero와 같은)의 경우, 액션 청크(action chunks)의 지연 시간으로 인해 이득이 작아진다.
본 시스템은 짧고 충격이 큰 강체 삽입(예: Plug Charger)보다는 지속적인 접촉에 더 적합하다.
응답성은 힘 센싱, 저수준 제어 및 하드웨어 대역폭의 품질에 의해 제한된다.