🤖 machine learning

CoWAM: Coordination Contracts for Selective Policy Intervention with WAMs

CoWAM은 특정 동기화, 역할 및 충돌 기준이 충족될 때만 월드 액션 모델(WAM) 정책을 안전하게 수정하기 위해 협업 계약을 사용하는 양손 로봇용 선택적 개입 계층을 도입하며, 이는 유해한 개입의 위험을 무시할 수 있는 수준으로 유지하면서도 협업 성공률을 크게 향상시킨다.

원저자: Shuaijun Liu, Qifu Wen, Shuyang Hao, Qi Luo, Chenglong Zhang, Feiyang You, Chengyu Wu, Ningxin Su

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shuaijun Liu, Qifu Wen, Shuyang Hao, Qi Luo, Chenglong Zhang, Feiyang You, Chengyu Wu, Ningxin Su

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 대의 로봇 팔에게 복잡한 탱고를 가르친다고 상상해 보세요. 단순히 움직이는 것을 넘어, 두 팔이 반드시 '함께' 움직여야 합니다. 한 팔이 컵을 향해 손을 뻗는 동안 다른 팔이 실수로 컵을 쓰러뜨리거나, 두 팔이 동시에 같은 손잡이를 잡으려고 한다면 그 춤은 실패한 것입니다. 이것이 바로 두 팔이 물체를 조화롭게 다루어야 하는 **양손 로봇 공학(bimanual robotics)**의 세계입니다. 로봇이 앞날을 계획하는 데 도움을 주기 위해, 과학자들은 **세계 행동 모델(World Action Models, WAMs)**이라는 것을 사용합니다. WAM을 로봇을 위한 "수정구슬"이라고 생각해보세요. 이 모델은 제안된 움직임을 받아들여, 만약 그 움직임이 실제로 일어난다면 미래가 어떻게 보일지를 시뮬레이션합니다. 이는 마치 비디오 게임의 미리보기와 같아서, 로봇에게 "만약 네가 저기로 손을 뻗으면, 저 물건을 쓰러뜨리게 될 거야"라고 보여주는 것과 같습니다. 하지만 여기서 까다로운 문제가 발생합니다. 로봇이 상황이 잘못될 미래를 볼 수 있다고 해서, 곧바로 자신의 생각을 바꿔야 하는 것은 아니라는 점입니다. 때로는 로봇의 원래 계획이 실제로 괜찮을 수도 있으며, 무서운 시뮬레이션 결과에 겁을 먹고 당황하는 것이 오히려 더 많은 실수를 유발할 수도 있습니다. 핵심적인 질문은 이것입니다. 로봇에게 언제 자신의 직관을 믿고, 언제 수정구슬의 말에 귀를 기울여야 하는지 어떻게 알려줄 것인가?

이 논문은 CoWAM(Coordination Contracts with World Action Models)이라는 영리한 해결책을 소개합니다. CoWAM은 로봇의 "수정구슬"이 무작위로 계획을 뒤엎도록 내버려 두는 대신, 특정 규칙이 깨졌을 때만 개입하는 엄격하고 공정한 심판 역할을 합니다. 연구진은 로봇의 원래 계획( "명목상 행동")이 특정 테스트를 통과하는 더 나은 대안이 나타나지 않는 한 계속 주도권을 갖도록 시스템을 설정했습니다. 이 테스트들은 **조정 계약(coordination contracts)**이라 불리는 체크리스트입니다. 이 계약들을 다음과 같은 약속의 목록이라고 상상해 보세요. "다른 팔과 충돌하지 않겠다고 약속할 것", "적절한 시간에 물체를 잡겠다고 약속할 것", 그리고 "컵을 떨어뜨리지 않겠다고 약속할 것"입니다.

시스템은 다음과 같이 작동합니다. 로봇은 최선의 선택지와 몇 가지 대안을 포함하여 가능한 움직임의 목록을 생성합니다. CoWAM은 이 모든 움직임에 대한 "수정구슬" 예측을 살펴봅니다. CoWAM은 새로운 움직임이 모든 활성화된 계약(충돌 방지, 완벽한 타이밍 등)을 충족하고 명확하고 위험도가 낮은 개선을 제공할 때만 로봇이 새로운 움직임으로 전환하는 것을 허용합니다. 만약 새로운 움직임이 위험하거나 원래 계획보다 확실히 낫다는 점을 입증하지 못한다면, CoWAM은 "원래 계획을 고수하라"고 말합니다. 만약 원래 계획조차 좋지 않아 보인다면, 로봇은 멈추고 도움을 요청할 수 있는 안전망을 갖게 됩니다.

저자들은 그릇 쌓기, 냄비 들기, 먼지통에 병 넣기 등 8가지 서로 다른 양손 작업이 포함된 시뮬레이션 환경에서 이를 테스트했습니다. 그 결과, CoWAM은 다른 방법들보다 적절한 움직임을 선택하는 데 훨씬 뛰어난 성능을 보였습니다. 구체적으로, 기회가 생겼을 때 CoWAM은 전체 "계약" 시스템이 없는 버전(성공률 76.7%)에 비해 훨씬 높은 **93.3%**의 확률로 유효하고 조화로운 대안을 식별하고 선택해 냈습니다. 더 중요한 점은 매우 신중했다는 것입니다. CoWAM은 해로운 실수(예: 충돌 발생)를 1% 미만으로 줄였습니다. 실제 환경 시뮬레이션에서 이는 기존의 가장 우수한 방법들과 비교했을 때 작업 성공률을 9.6 퍼센트 포인트 높였습니다. 이 논문은 엄격한 "계약"을 통해 예측을 필터링함으로써, 로봇이 새로운 시도를 할 만큼 용감하면서도 재앙을 피할 만큼 똑똑해질 수 있다는 것을 보여주며, 혼란스러운 춤을 매끄러운 공연으로 탈바꿈시킵니다.

기술 요약: CoWAM – WAM을 활용한 선택적 정책 개입을 위한 조정 계약(Coordination Contracts)

문제 정의

World Action Models (WAMs)는 제안된 행동을 예측된 미래 결과와 결합함으로써 로봇 정책을 강화합니다. 그러나 양팔 조작(bimanual manipulation)에서, 예측된 미래의 시각적 그럴듯함(visual plausibility)만으로는 명목상 정책 행동(최상위 후보인 $i=0$ )을 무효화하는 것을 정당화할 수 없습니다. 일관된 롤아웃(rollout)이라 할지라도 지연된 파지(grasp), 호환되지 않는 팔의 역할, 또는 수렴하는 충돌과 같은 미묘한 조정 문제로 인해 실패할 수 있습니다. 반대로, 충분한 근거 없이 명목상 행동을 무별(override)하는 것은 불확실성을 실패로 바꿀 수 있습니다.

현재의 접근 방식들은 특정 조정 위반을 숨기고 있는 "생산적으로 보이는" 후보와 진정으로 우수한 대안을 구분하는 데 어려움을 겪는 경우가 많습니다. 과제는 밑단의 액션 생성기를 재학습시키거나 후보 풀(candidate pool)을 변경하지 않고도, 대안 후보가 명목상 행동을 대체하기 전에 특정 조정 의무(동기화, 역할 호환성, 충돌 수렴)를 충족하는지 엄격하게 평가할 수 있는 선택적 개입 계층을 개발하는 것입니다.

방법론: CoWAM

CoWAM은 조정 요구사항을 **조정 계약(coordination contracts)**으로 취급하는 선택적 개입 계층을 도입합니다. 이는 WAM 제안자가 제공하는 고정된 후보 풀 위에서 작동하며, 결합된 조건 세트에 따라 유지(Preserve) (명목상 행동 실행), 교체(Override) (검증된 대안 실행), 또는 중단(Abstain) (폴백 호출) 결정을 내립니다.

1. 조정 계약 (Coordination Contracts)

핵심 메커니즘은 조정 요구사항을 단일한 타당성 점수가 아닌 유형화된 계약으로 정의합니다. 세 가지 계약 군이 식별됩니다:

동기화(Synchronization): 접촉 및 해제의 시간적 호환성을 보장합니다.
역할 호환성(Role Compatibility): 양팔이 작업에 일관된 객체 및 지지 역할을 유지하도록 합니다.
충돌 수렴(Collision Convergence): 팔 사이의 움직임이 안전한 접촉을 피하도록 보장합니다.

후보 $i$ 는 현재 이벤트 $e$ 에 대한 모든 활성 술어 $c_{i,e}$ 를 만족할 때만 허용 가능합니다. 계약 적합성 지표 $g_i$ 는 이러한 술어들의 곱입니다. 이 구조는 특정 후보가 높은 효용 점수로 특정 조정 실패를 상쇄할 수 없도록 보장합니다.

2. 이벤트 조건부 검증 (Event-Conditioned Verification)

결정론적 술어가 포착할 수 없는 미래 의존적 실패를 해결하기 위해, CoWAM은 이벤트 조건부 검증기 $f_\theta$ 를 사용합니다. 관측값, 후보 행동, 예측된 미래, 그리고 활성 이벤트를 입력받아 검증기는 다음을 출력합니다:

$\hat{p}_{i,e}$ : 추정된 이벤트 만족도.
$\hat{r}_{i,e}$ : 추정된 조정 리스크.
$\hat{u}_i$ : 작업 효용(Task utility).
$\hat{o}_i$ : 기회 가치(Opportunity value).
$\hat{q}_i$ : 신뢰도(Confidence).

이 출력값들은 앙상블을 사용하여 리스크( $R^+_i$ )와 효용( $U^-_i$ )에 대한 보수적인 경계값을 구축하는 데 집계됩니다. 최종 점수 $S_i$ 는 효용, 기회, 리스크를 결합하여 계산됩니다.

3. 보정된 개입 게이트 (Calibrated Intervention Gates)

대안 후보 $i > 0$ 는 다음의 결합된 게이트( $G_i = 1$ )를 통과할 때만 선택됩니다:

계약 유효성: $g_i = 1$ (모든 활성 의무를 만족함).
제한된 리스크: $R^+_i \leq \tau_r$ .
효용 유지: $U^-_i \geq U^-_0 - \epsilon_u$ (로컬 안전을 위해 작업 진행을 버리는 것을 방지).
활성 기회: $\hat{o}_i \geq \tau_o$ .
신뢰도: $\hat{q}_i \geq \tau_q$ .
선택적 마진: $S_i - S_0 \geq \tau_m$ (명목상 행동보다 결정적으로 더 나아야 함).

만약 어떤 대안도 통과하지 못하면, 시스템은 명목상 행동을 유지(허용 가능한 경우)하거나 중단(abstain)합니다.

4. 결과 불가지론적 동일 풀 평가 (Outcome-Blind Same-Pool Evaluation)

본 연구의 중요한 방법론적 기여는 평가 프로토콜입니다. 모든 셀렉터는 동일한 순서로 정렬된 후보 풀에서 작동하며, 시뮬레이터의 결과가 나오기 전에 결정을 내립니다. 이후 공유된 오라클(oracle)이 결과를 라벨링합니다. 이는 셀렉터의 품질(올바른 후보를 선택하는 능력)을 제안의 품질(후보 풀의 품질)로부터 분리하여, 성능 평가 시 혼란스러운 요인을 방지합니다.

주요 기여

조정 계약 (Coordination Contracts): WAM 기반 개입에 필요한 유형화된 의무와 증거를 명시하는 형식화된 체계로, 특정 조정 위반이 높은 효용 점수에 의해 가려지지 않도록 보장합니다.
계약 조건부 선택적 컨트롤러 (Contract-Conditioned Selective Controller): 유형화된 체크, 이벤트별 검증, 보정된 경계값 및 결정 로직을 사용하는 컨트롤러로, 유지, 교체 또는 중단 여부를 결정합니다.
결과 불가지론적 동일 풀 평가 (Outcome-Blind Same-Pool Evaluation): 셀렉터의 성능를 제안 생성으로부터 격리하여, 개입 전략 간의 엄격한 비교를 가능하게 하는 프로토콜입니다.
강건성 증거 (Robustness Evidence): 구성 요소 제거, 후보 풀 크기, 이벤트 군, 순차적 호라이즌(sequential horizons) 및 다양한 WAM 제안 소스에 대한 포괄적인 분석을 제공합니다.

실험 결과

본 방법론은 RoboTwin 2.0 시뮬레이터에서 양팔 전이(cross-arm transfer), 병렬 배치(parallel placement), 다단계 삽입(multi-stage insertion)을 포함하는 8가지 양팔 작업에 대해 평가되었습니다.

유효한 선택 (Valid Selection): CoWAM은 **93.3%**의 유효한 선택(140/150 기회)을 달성하였으며, 이는 계약 전용 변형(76.7%) 대비 16.7 퍼센트 포인트 향상된 수치이며, Future-Consensus(67.3%) 및 RGB-D 셀렉터(84.0%)와 같은 베이스라인을 유의미하게 상회했습니다.
개입 안전성 (Intervention Safety): CoWAM은 매칭된 부정 사례(matched negatives)에 대해 매우 낮은 에러율을 유지했습니다: 2.8%의 허위 개입(false interventions) 및 0.6%의 유해한 개입(harmful interventions). 반면, Future-Consensus는 62.2%의 허위 개입과 8.9%의 유해한 개입을 기록했습니다.
폐쇄 루프 성공률 (Closed-Loop Success): 자연스러운 폐쇄 루프 에피소드에서 CoWAM은 **62.9%**의 성공률(151/240)을 달축했으며, 이는 가장 강력한 선택적 베이스라인인 Selective Control(53.3%)보다 9.6 퍼센트 포인트 높습니다.
실패 감소 (Failure Reduction): CoWAM은 명목상 Policy Top-1과 비교하여 팔 사이의 충돌은 66.7%, 역할 갈등은 75%, 비동기적 해제(asynchronous releases)는 71.4% 감소시켰습니다.
강건성 (Robustness): 성능 향상은 다양한 후보 풀 크기( $K=4$ 에서 $32$)와 서로 다른 WAM 소스(X-WAM, LeWorldModel) 전반에 걸쳐 지속되었으며, 이는 셀렉터가 에러율을 높이지 않고도 다양한 제안을 효과적으로 활용함을 입증합니다.

의의 및 주장

본 논문은 CoWAM이 조정 계약을 보수적인 정책 개입을 위한 효과적인 인터페이스로 확립한다고 주장합니다. 본 연구의 의의는 다음과 같습니다:

관심사의 분리 (Separation of Concerns): 제안 생성과 개입을 분리함으로써, 기존 WAM을 재학습 없이도 안전하게 사용할 수 있도록 합니다.
보수적 신뢰성 (Conservative Reliability): 결합된 게이팅 메커즘은 후보가 모든 조정 의무를 충족하고 명확하고 저위험인 개선책을 제공할 때만 개입이 발생하도록 하여, "근거 없는 무효화(unsupported overrides)"를 방지합니다.
일반화 가능성 (Generalizability): 본 프레임워크는 다양한 작업 구조와 WAM 후보 분포에 대해 재사용 가능하다는 것이 입증되었으며, 이는 조정 계약이 협업 양팔 제어를 위한 세계-행동 증거(world-action evidence)의 표준 인터페이스 역할을 할 수 있음을 시사합니다.

저자들은 예측 품질과 개입 결정이 서로 보완적인 관계이지만, CoWAM이 무조건적인 재순위화(reranking)에서 발생하는 에러 증가 없이 풍부한 후보 풀을 유효한 개입으로 성공적으로 전환한다고 결론짓습니다. 이를 통해 예측된 세계-행동 증거와 신뢰할 수 있는 협업 제어 사이의 간극을 메웁니다.