🤖 machine learning

Posterior-driven Heuristic Support Adaptation in a Probabilistic Treatment of Real2Sim2Real for Vision-Driven Deformable Linear Object Manipulation

이 논문은 likelihood-free 추론에서 고정된 샘플링 서포트의 한계를 극려하기 위해 사후 분포 주도형 휴리스틱 서포트 적응 방법(EDGE, MODE 및 CENTRE 전략 사용)을 제안하며, 이를 통해 Real2Sim2Real 시나리오에서의 변형 가능한 선형 객체 조작을 위한 파라미터 식별 및 강건한 정책 학습을 개선한다.

원저자: Georgios Kamaras, Craig Innes, Subramanian Ramamoorthy

게시일 2026-09-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Georgios Kamaras, Craig Innes, Subramanian Ramamoorthy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇은 세상을 움직이는 데 있어 놀라울 정도로 능숙해지고 있지만, 우리 일상의 많은 부분을 차지하는 부드럽고 말랑말랑한 것들을 다루는 데에는 여전히 어려움을 겪고 있습니다. 딱딱한 금속 팔은 커피 머그잔을 쉽게 집어 올릴 수 있지만, 젖은 국수 가닥, 천 조각, 또는 고무 호스를 다루라는 요청을 받으면 종종 실패하곤 합니다. 과학계에서 '변형 가능한 선형 객체(deformable linear objects)'라고 불리는 이 물체들은 움직임에 따라 형태가 끊임없이 변합니다. 로봇에게 이러한 물체를 조작하는 법을 가르치기 위해, 엔지니어들은 대개 컴퓨터 내부에 해당 물체의 '디지털 트윈'을 구축합니다. 그들은 가상 세계에서 로봇이 적절한 동작을 배울 때까지 수천 번의 시뮬레이션을 실행하며 연습하게 합니다. 문제는 가상 세계와 현실 사이의 간극에 있습니다. 만약 컴퓨터 모델이 고무 호스를 실제보다 더 단단하거나 길다고 가정한다면, 로봇은 시뮬레이션에서는 완벽하게 작동하지만 실제 물체를 사용할 때는 완전히 실패하는 기술을 배우게 될 것입니다.

이 간극을 메우기 위해 연구자들은 '가능도 없는 추론(likelihood-free inference)'이라는 방법을 사용합니다. 이것을 '교육된 추측'의 과정이라고 생각하면 쉽습니다. 로봇이 실제 물체를 관찰하면, 컴퓨터는 디지털 버전이 실제 물체와 똑같이 행동하게 만들 수 있는 숨겨진 물리적 특성(길이와 강성 등)을 찾아내려고 노력합니다. 컴퓨터는 '사후 분포(posterior)'를 생성하는데, 이는 해당 속성들에 대한 가장 가능성 높은 값들의 지도와 같습니다. 그러나 이 과정에는 숨겨진 함정이 있습니다. 컴퓨터가 추측을 시작하기 전에, 연구자는 답이 존재해야 하는 범위인 '경계'를 정의해야 합니다. 만약 이 초기 경계가 잘못 설정되면, 컴퓨터의 최선의 추측은 그 상자의 가장자리로 몰리게 되어, 확신에 차 있지만 틀린 결론을 내리게 됩니다. 연구자들인 게오르기오스 카마라스스(Georgios Kamaras), 크레이그 인스(Craig Innes), 그리고 수브라마니안 라모모르티(Subramanian Ramamoorthy)는 컴퓨터가 자신의 초기 경계가 잘못되었다는 것을 어떻게 깨닫고 실시간으로 이를 조정할 수 있을지에 대한 질문을 던지며 이 특정 문제를 해결하고자 했습니다.

연구팀은 부드러운 물체를 다루는 어려움을 잘 보여주는 과업, 즉 로봇 팔이 유연한 호스를 휘둘러 쌓여 있는 큐브의 윗부분을 쳐서 떨어뜨리는 작업에 집중했습니다. 목표는 단순하지만 물리학은 복잡합니다. 호스는 큐브를 타격할 만큼 충분히 길고 단단해야 하지만, 너무 단단해서 쌓인 것을 무너뜨리거나 너무 길어서 엉키게 해서도 안 됩니다. 연구진은 먼저 이 아이디어를 포식자와 피식자의 개체수 모델이라는 더 단순하고 추상적인 수학적 모델에서 테스트했습니다. 이 시스템은 혼돈스럽고 진동하는 거동으로 잘 알려져 있습니다. 이 테스트에서 그들은 컴퓨터가 정답을 포함하지 않는 범위의 값을 부여받았을 때, 컴퓨터가 그 범위의 가장자리로 모든 확신을 쏟아부어 잘못된 확실성을 만들어낸다는 것을 보여주었습니다. 그런 다음 그들은 컴퓨터가 이러한 실수를 인지하도록 돕는 세 가지 다른 전략을 개발했습니다. 그들이 'EDGE'라고 명명한 첫 번째 전략은 컴퓨터의 확신이 어디에 쌓이고 있는지를 살핍니다. 만약 컴퓨터가 허용된 범위의 맨 끝에 답이 있다고 확신한다면, EDGE 전략은 컴퓨터에게 그 방향으로 범위를 확장하라고 지시합니다. 'MODE'와 'CENTRE'라는 나머지 두 전략은 컴퓨터의 최선의 추측이 시간이 지남에 따라 어떻게 변하는지 또는 확신의 중심이 어디에 있는지를 살펴보지만, EDGE 방식이 가장 신뢰할 수 있는 것으로 증명되었습니다.

이 새로운 방법을 손에 넣은 연구팀은 로봇과 고무 호스를 이용한 실제 실험으로 넘어갔습니다. 그들은 길이와 부드러움이 각기 다른 네 가지 종류의 호스를 제작하고, 카메라를 설치하여 로봇이 큐브를 쳐서 떨어뜨리는 과정을 관찰했습니다. 그들은 각 호스의 특성을 학습시키기 위해 추론 과정을 실행했습니다. 고정된 경계를 사용하는 표준 방식을 사용했을 때, 컴퓨터는 약간씩 다른 호스들을 구별하지 못하고 막히는 경우가 많았습니다. 하지만 컴퓨터가 탐색 범위를 확장하는 EDGE 전략을 사용하게 하자 결과가 달라졌습니다. 컴퓨터는 이제 200mm 길이의 호스와 290mm 길이의 호스를 구분할 수 있게 되었고, 강성 또한 정확하게 측정할 수 있었습니다. 이러한 미세한 이해 덕분에 그들은 각 특정 호스에 맞는 새로운 로봇 정책을 훈련할 수 있었습니다. 로봇에게 모든 호스를 다루는 하나의 일반적인 방식을 가르치는 대신, 각 호스에 특화된 기술을 가르친 것입니다.

이 전문화된 훈련의 결과는 놀라웠습니다. 연구진이 실제 환경에서 로봇을 테스트했을 때, 적응형의 넓은 경계로 훈련된 에이전트들이 훨씬 더 우수한 성능을 보였습니다. 그들은 더 안정적이었고, 더 목적의식을 가지고 움직였으며, 큐브를 떨어뜨리는 데 훨씬 더 성공적이었습니다. 초기 경계가 너무 좁았던 호스들의 경우 개선 효과는 극적 이었습니다. 로봇은 호스를 딱 적절한 높이로 들어 올려 적절한 힘으로 휘두르는 법을 배웠는데, 이는 컴퓨터가 마침내 물체의 실제 물리적 한계를 이해했기에 자연스럽게 나타난 행동이었습니다. 반면, 기존의 고정된 경계로 훈련된 로봇들은 호스를 테이블 위로 끌거나 너무 약하게 휘둘러서 목표물을 제거하는 데 실패했습니다.

이 연구는 로봇의 학습을 위한 탐색 공간을 정의하는 방식이 학습 알고리즘 자체만큼이나 중요하다는 것을 보여줍니다. 컴퓨터가 스스로 생각할 공간이 부족하다는 것을 인식하고 그에 따라 경계를 확장할 수 있도록 함으로써, 연구진은 더 정직하게 자신이 아는 바를 인지하고 필요한 것을 배울 수 있는 시스템을 만들었습니다. EDGE 휴리스틱은 단순하지만 강력한 가이드 역할을 하여, 로봇의 디지털 훈련이 물리적 세계의 실제 복잡성을 반영하도록 보장합니다. 이 접근 방식은 단순히 로봇을 특정 작업에 더 능숙하게 만드는 것에 그치지 않고, 기계가 우리 주변의 부드럽고 예측 불가능하며 끊임없이 변화하는 재료들과 상호작용할 수 있도록 하는 일반적인 경로를 제시합니다. 이 발견은 미래의 로봇이 무엇을 기대할지 정확히 지시받을 필요 없이, 대신 자신의 이해의 한계를 파악하고 학습하면서 그 한계를 확장할 수 있는 도구를 갖게 될 것임을 시사합니다.

기술 요약: DLO 조작을 위한 Real2Sim2Real에서의 사후 확률 기반 휴리스틱 지원 범위 적응 (Posterior-driven Heuristic Support Adaptation)

1. 문제 정의

본 논문은 DLO(Deformable Linear Object, 변형 가능한 선형 객체)의 로봇 조작을 위한 Real2Sim2Real 파이프라인에 적용되는 **가능도 없는 추론(Likelihood-free Inference, LFI)**의 결정적인 한계를 다룹니 다.

핵심 문제: BayesSim과 같은 LFI 방법들은 일반적으로 파라미터(예: DLO의 길이 및 강성)를 샘플링하기 위해 임의로 고정된 도메인 지원 범위(domain support) ( $\Theta = [\theta_{min}, \theta_{max}]$ )를 가정합니다. 이 지원 범위는 흔히 "최선의 추측"에 기반하여 사전에 정의됩니다.
오설정(Misspecification)의 결과: 만약 실제 물리적 파라미터가 이 고정된 지원 범위 밖에 존재한다면, 추론 과정에서 사후 확률 질량(posterior probability mass)이 도메인의 경계(boundary)로 집중됩니다. 이는 실제 파라미터보다는 가장 가까운 가용 영역에 편향된, 최적은 아니지만 과도하게 확신하는(suboptimal yet overconfident) 사후 확률을 생성합니다.
Sim2Real에 미치는 영향: 이러한 편향된 사후 확률은 이후 강화 학습(RL)을 위한 **도메인 무작위화(Domain Randomization, DR)**의 도메인 분포로 사용됩니다. 결과적으로 학습된 정책은 잘못된 파라미터 분포를 바탕으로 훈련되어, 실제 환경에 배포되었을 때 낮은 강건성과 성능 저하를 초래합니다.
트레이드오프(Trade-off): 오설정을 피하기 위해 단순히 지원 범위를 넓히는 것은 실행 가능한 해결책이 아닙니다. 지나치게 넓은 지원 범위는 불가능한 파라미터 영역(예: 물리 솔버의 불안정성 또는 메쉬 붕괴 유발)을 포함하게 되어, 데이터 효율성과 시뮬레이션 성공률을 떨어뜨립니다.

2. 방법론

저자들은 추론 단계에서 얻은 **사후 분포(posterior distribution)**를 사용하여 지원 범위(support) 자체를 반복적으로 가이드하는 프레임워크를 제안합니다. 이는 표준적인 반복적 LFI 루프(Algorithm 1)에 통합됩니다.

A. 휴리스틱 (Heuristics)

본 논문은 추론된 사후 확률(혼합 가우시안(Mixture of Gaussians, MoG)으로 모델링됨)의 형태와 위치에 따라 지원 범위 $\Theta$ 를 적응시키기 위한 세 가지 BayesSim 휴리스틱 변형을 도입합니다.

EDGE (Edge-Driven Gaussian Expansion, 에지 기반 가우시안 확장):
- 메커니즘: 현재 도메인 경계(에지) 근처에 축적되는 사후 확률 질량을 모니터링합니다.
- 논리: 정의된 에지 존( $\Delta$ ) 내의 질량이 임계값( $\tau$ )을 초과하면, 해당 방향으로 지원 범위를 인자( $\eta$ )만큼 확장합니다.
- 근거: 에지에 높은 질량이 집중되어 있다는 것은 실제 파라미터가 현재 경계 바로 너머에 있을 가능성이 높음을 시사합니다.
MODE (Mode-Oriented Domain Expansion, 모드 지향 도메인 확장):
- 메커니즘: 연속된 추론 반복 사이에서 MoG 모드(mode)의 **시간적 이동(temporal shift)**을 추적합니다.
- 논리: 고중량 모드가 경계 쪽으로 크게 이동하고(이동 임계값 $\nu_{TH}$ 초과), 경계에 근접해 있는 경우(근접 임계값 $\rho$ ) 지원 범위를 확장합니다.
- 근거: 고신뢰 가설들이 경계 쪽으로 일관되게 표류하는 현상은 탐색 공간을 확장해야 함을 나타냅니다.
CENTRE (Centring-based Adaptive Bounds, 중심 기반 적응형 경계):
- 메커니즘: 사후 확률 모드의 **가중 평균(weighted mean)**이 새로운 지원 창(window) 내에 중앙에 위치하도록 지원 경계를 이동시킵니다.
- 논리: 이는 범위를 늘리는 것이 아니라 "윈도우 슬라이딩" 방식이며, 실제 파라미터가 추론된 피크(peak)의 기하학적 중심 근처에 있다는 가정을 전제로 합니다.
- 근거: 이 방식은 작업별 하이퍼파라미터가 적게 필요하지만, 사후 평균이 실제 파라미터 범위를 나타내는 신뢰할 수 있는 추정치라는 가정에 의존합니다.

B. Real2Sim2Real 프레임워크

이 방법론은 시각-운동 DLO 휘핑(whipping) 작업에 적용됩니다.

Real2Sim (추론): 로봇이 DLO를 사용하여 쌓여 있는 탑 상단의 큐브를 쳐서 떨어뜨리려고 시도합니다. 세그멘테이션과 트랜스포터(transporter) 모델을 통해 시각적 키포인트(DLO 및 큐브)를 추출합니다. LFI는 시뮬레이션 궤적을 실제 관측값과 매칭함으로써 DLO의 길이와 영률(Young's modulus, 강성)을 추론합니다.
지원 범위 적응: 반복적인 LFI 과정 동안, 세 가지 휴리스틱(EDGE, MODE, CENTRE) 중 하나가 진화하는 사후 확률에 따라 샘플링 경계를 동적으로 조정합니다.
Sim2Real (정책 학습): 최종적으로 적응된 사후 확률(MoG)은 도메인 무작위화를 통한 PPO 에이전트 훈련을 위한 도메인 분포로 사용됩니다.
배포: 훈련된 정책은 다양한 물리적 특성을 가진 실제 DLO에 대해 평가됩니다.

3. 주요 기여

지원 범위 오설정 식별: 저자들은 LFI에서 고정된 오설정 지원 범위가 높은 확신도를 보일 때조차 편향된 파라미터 추론과 저하된 정책 성능을 초래한다는 점을 입증했습니다.
사후 확률 기반 휴리스틱: 사후 특징(질량 축적, 모드 이동, 가중 평균)을 사용하여 파라미터 공간의 지원 범위를 반복적으로 적응시키는 세 가지 결정론적 휴리스틱(EDGE, MODE, CENTRE)을 제안하고 평가했습니다.
확률적 시스템에 대한 경험적 검증: Lotka-Volterra 확률 역학 벤치마크를 사용하여, EDGE가 고정된 지원 범위나 다른 휴리스틱에 비해 가장 견고한 추론 정확도와 데이터 효율성을 제공함을 보여주었습니다.
실제 응용: BayesSim-EDGE 변형을 복잡한 고차원 DLO 휘핑 작업에 성공적으로 적용했습니다. 이 접근 방식은 다음을 달성했습니다:
- DLO의 물리적 특성(길이 및 강성)에 대한 더 정밀한 분류.
- 더 견고하고 객체 중심적인 에이전트 전문화.
- 4개의 테스트된 실제 DLO 중 3개에 대해 개선된 Sim2Real 성능.

4. 결과

Lotka-Volterra 벤치마크:
- EDGE는 추론된 파라미터와 실제 값 사이의 불일치를 최소화하는 데 있어 표준 BayesSim 및 기타 휴리스틱보다 우수한 성능을 보였습니다.
- MODE는 확률적 환경에서 이동 임계값을 튜닝하는 데 어려움이 있어 고전했습니다.
- CENTRE는 가능성을 보여주었으나, 파라미터 예측 측면에서 EDGE보다 견고하지 못했습니다.
- 본 연구는 더 넓은 지원 범위가 반드시 더 나은 추론을 보장하지 않으며, 오히려 시뮬레이션 실패율을 높여 데이터 효율성을 떨어뜨린다는 점을 확인했습니다.
DLO 휘핑 작업:
- 추론: EDGE는 초기 지원 범위가 오설정된 DLO(예: DLO-0 및 DLO-3)에 대해 지원 범위를 성공적으로 적응시켜, 경계 축적을 방지하고 더 정확한 MoG 사후 확률을 산출했습니다.
- 정책 성능: 적응된 지원 분포로 훈련된 에이전트(PPO-0', PPO-2', PPO-3')는 다음과 같은 성과를 보였습니다:
  - 고정된 지원 범위로 훈련된 에이전트에 비해 실제 DLO에서 더 높은 누적 보상을 기록했습니다.
  - 더 안정적인 말단 장치(EEF) 궤적(더 짧은 soft-DTW 거리)을 보였습니다.
  - 특정 객체 특성(예: 길이)에 대한 더 나은 적응력을 보였습니다.
- 미세한 차이: 초기 지원 범위가 충분했던 DLO-1의 경우, 적응된 지원 범위가 큰 이득을 주지 못했으며, 때로는 표준 지원 범위가 더 나은 도메인 커버리지를 제공하여 더 견고한 정책을 생성하기도 했습니다. 이는 적응이 초기 지원 범위가 진정으로 오설정되었을 때 가장 유익하다는 점을 강조합니다.

5. 의의 및 주장

본 논문은 사후 확률 기반 지원 범위 적응이 로보틱스의 확률적 추론에서 "현실 간극(reality gap)"을 메우기 위한 실용적이고 효과적인 방법이라고 주장합니다.

간극 해소: 추론 피드백을 통해 도메인 지원 범위를 반복적으로 정교화함으로써, 에이전트는 시스템의 물리적 한계에 대한 내재적 지식 없이도 특정 실제 환경에 특화될 수 있습니다.
효율성: 이는 지나치게 넓은 지원 범위의 비효율성과 지나치게 좁고 고정된 지원 범위의 편향성 사이에서 절충안을 제시합니다.
제한적 범위: 저자들은 자신들의 휴리스틱이 결정론적 규칙이며, LFI가 자연스럽게 질량을 집중시키는 일부 설정에서는 중복될 수 있음을 인정합니다. 그들은 향ari 미래 연구가 수동적인 휴리스틱 튜닝보다는 자동화된 규칙 추출로 나아가야 한다고 제안합니다.
영향력: 이 방법론은 시스템 역학을 정확히 모델링하기 어렵거나 알기 어려운 복잡하고 확률적인, 그리고 변형 가능한 객체 조작 작업에서 파라미터 추론 및 정책 학습의 신뢰성을 향상시키기 위한 기초를 제공합니다.