💻 computer science

Normalizing Flows are Capable Models for Bi-manual Visuomotor Policy

이 논문은 추론 비용이 낮고 불확실성을 정량화할 수 있는 '정규화 흐름 정책 (NF-P)'을 제안하여, 양손 시각-운동 제어에서 기존 확산 기반 모델보다 뛰어난 성능과 실시간 효율성을 입증했습니다.

원저자: Jialong Li, Simon Kristoffersson Lind, Wenrui Xie, Maj Stenmark, Volker Krüger

게시일 2026-02-26

📖 3 분 읽기☕ 가벼운 읽기

원저자: Jialong Li, Simon Kristoffersson Lind, Wenrui Xie, Maj Stenmark, Volker Krüger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제점: 왜 기존 로봇은 헷갈릴까?

지금까지 로봇이 인간의 행동을 배우는 데 가장 인기 있던 방법은 **'확산 모델 (Diffusion Model)'**이라는 것이었습니다.

비유: 이 방법은 마치 흐릿한 안개 속에서 그림을 그려나가는 것과 같습니다. 처음엔 안개만 보다가, 조금씩 안개를 걷어내며 (반복적인 과정) 최종적인 그림 (행동) 을 완성합니다.
단점:
1. 시간이 많이 걸림: 안개를 한 번에 걷어낼 수 없어서 여러 번 반복해야 하므로 로봇이 움직이는 속도가 느립니다.
2. 자신감 부족: "이 그림이 정말 맞는 걸까?"라고 확신할 수 있는 수단이 없습니다. 로봇이 "아마도 이렇게 해야겠지?"라고 추측만 할 뿐, 확실한 확률을 계산하지 못합니다.

2. 해결책: NF-P (정규화 흐름 정책)

이 논문은 **'정규화 흐름 (Normalizing Flows)'**이라는 새로운 기술을 제안합니다.

비유: 이 방법은 완벽한 지도와 나침반을 가진 것과 같습니다.
- 복잡한 로봇의 행동 (예: 두 손으로 냄비를 들고 뚜껑을 여는 일) 을 **단순한 구름 (가우시안 분포)**으로 변환하는 매직 거울을 학습합니다.
- 반대로, 단순한 구름을 보고 복잡한 행동으로 되돌리는 역매직도 알고 있습니다.
- 핵심: 이 매직 거울은 한 번에 (Single-pass) 바로 답을 내놓을 수 있고, "이 행동이 얼마나 자연스러운가?"를 **정확한 점수 (확률)**로 매길 수 있습니다.

3. 이 기술의 두 가지 강력한 무기

이 기술의 가장 큰 장점은 **정확한 점수 (Likelihood)**를 매길 수 있다는 점입니다. 이를 이용해 두 가지 전략을 사용합니다.

무작위 대량 선택 (Stochastic Batch Selection):
- 비유: 요리사가 요리를 할 때, 128 가지의 다른 레시피를 한 번에 만들어보고 그중에서 "가장 맛있어 보이는 (확률이 가장 높은) 요리 하나"를 골라 실행하는 것입니다.
- 효과: 실수할 확률이 낮은 최고의 행동을 선택합니다.
기울기 정제 (Gradient Refinement):
- 비유: 처음 만든 요리가 "꽤 맛있는데, 조금 더 간을 맞추면 완벽하겠다"라고 생각할 때, 맛을 조금씩 더듬어 (기울기를 따라) 최적의 맛으로 다듬는 과정입니다.
- 효과: 로봇이 처음에 생각한 행동을 조금씩 수정해서 더 정확한 동작을 만들어냅니다.

4. 실험 결과: 로봇이 얼마나 잘했나?

연구진은 시뮬레이션과 실제 로봇 (쿠카 로봇 두 대) 을 이용해 실험했습니다.

성공률: 기존 확산 모델 (Diffusion Policy) 보다 성공률이 훨씬 높았습니다. 특히 "마이크로파 열기", "수건 접기"처럼 정교한 두 손 협력이 필요한 작업에서 압도적인 차이를 보였습니다.
속도: 안개를 걷어내는 방식 (확산 모델) 이 아니라, 지도를 보고 바로 가는 방식이라 속도가 매우 빨랐습니다. (20ms 미만). 이는 로봇이 실시간으로 반응할 수 있게 해줍니다.
데이터 효율: 적은 양의 데이터로도 빠르게 배우고, 데이터가 많아지면 성능도 함께 좋아지는 '확장성'이 뛰어났습니다.

5. 특별한 기술: '스트라이드 (Stride)' 샘플링

실제 인간의 행동에는 미세한 떨림 (떨리는 손) 이 많습니다. 로봇이 이 떨림까지 다 따라 하면 오히려 헷갈립니다.

비유: 영화의 모든 프레임을 다 보는 게 아니라, 중요한 장면 (키 프레임) 만 골라서 스토리를 이해하는 것과 같습니다.
효과: 불필요한 떨림을 무시하고, 로봇이 의미 있는 큰 동작에만 집중하게 하여 학습 효율을 높였습니다.

6. 결론: 왜 이 연구가 중요한가?

이 연구는 로봇이 더 빠르고, 더 똑똑하며, 더 자신 있게 행동할 수 있는 길을 열었습니다.

기존: "안개 속에서 천천히, 하지만 확신 없이 움직인다."
이 연구 (NF-P): "명확한 지도를 보고, 한 번에, 그리고 "이게 가장 안전한 길이야!"라고 확신하며 움직인다."

결론적으로, 이 기술은 실시간으로 반응해야 하는 복잡한 두 손 로봇 작업을 위해, 기존 방식보다 훨씬 효율적이고 안전한 새로운 표준이 될 수 있음을 증명했습니다.

1. 연구 배경 및 문제 정의 (Problem)

현황: 최근 로봇 공학 분야에서 시각 - 운동 정책 (Visuomotor Policy) 학습을 위해 확산 모델 (Diffusion Models) 기반의 생성 모델이 널리 사용되고 있습니다. 특히 양손 (Bi-manual) 조작과 같은 복잡한 작업에서 다중 모드 (Multi-modal) 분포를 표현하는 데 강점을 보입니다.
한계점:
1. 높은 추론 비용: 확산 모델은 추론 시 다단계의 반복적인 디노이징 (Denoising) 과정을 거치므로 계산 비용이 크고 실시간 적용에 제약이 있습니다.
2. 불확실성 정량화 불가: 확산 모델은 출력의 확률 밀도 (Likelihood) 를 직접 계산할 수 없어, 생성된 행동의 신뢰도나 불확실성을 정량적으로 평가하는 것이 불가능합니다. 이는 자원 제약이 있는 하드웨어 배포와 안전성 확보를 어렵게 만듭니다.
목표: 이러한 한계를 극복하고, 정확한 확률 밀도 계산이 가능하며 단일 패스 (Single-pass) 추론이 가능한 효율적인 양손 조작 정책을 개발하는 것입니다.

2. 제안 방법론: NF-P (Methodology)

저자들은 조건부 정규화 흐름 (Conditional Normalizing Flows) 기반의 정책인 **NF-P (Normalizing Flow Policy)**를 제안합니다.

핵심 원리:
- NF-P 는 복잡한 로봇 행동 분포를 단순한 가우시안 사전 분포 (Prior) 로 매핑하는 가역적 (Bijective) 변환 함수를 학습합니다.
- 이를 통해 행동 시퀀스의 **정확한 가능도 (Exact Likelihood)**를 계산할 수 있으며, 단일 순전파 (Forward pass) 로 행동을 샘플링할 수 있습니다.
주요 구성 요소 및 기술적 기여:
1. 스트라이드 샘플링 (Strided Sampling):
  - 인간 데모 데이터에 포함된 고주파 노이즈 (떨림, 일시 정지 등) 를 필터링하기 위해 도입되었습니다.
  - 학습 시 입력 (관측) 과 출력 (행동) 시퀀스에 시간 간격 (Stride, $s$ ) 을 적용하여 모델이 의미 있는 상태 전이에 집중하도록 유도합니다. 추론 시에는 적용하지 않습니다.
2. 가능도 기반 출력 최적화 (Likelihood-based Output Optimization):
  - NF 의 고유한 특성인 정확한 가능도 계산을 활용하여 추론 시 두 가지 전략을 제안합니다.
  - Stochastic Batch Selection (SBS): $N$ 개의 후보 행동 시퀀스를 생성한 후, 로그 가능도 (Log-likelihood) 가 가장 높은 시퀀스를 선택합니다.
  - Gradient Refinement (GR): 초기 샘플에서 시작하여 로그 가능도 ( $\nabla_x \log p(x|o)$ ) 를 따라 경사 상승 (Gradient Ascent) 을 수행하여 행동을 정제합니다. 이는 확산 모델의 디노이징 단계 없이 행동을 개선하는 방식입니다.
3. 관측 인코딩: ResNet18 을 사용하여 이미지 임베딩을 추출하고, 이를 조건부 벡터로 사용하여 행동 분포를 모델링합니다.

3. 주요 기여 (Key Contributions)

NF-P 아키텍처 제안: RGB 기반 시각 - 운동 정책 학습을 위한 조건부 정규화 흐름 아키텍처를 설계하고, 스트라이드 샘플링 및 가능도 최적화라는 두 가지 혁신적인 설계 요소를 도입했습니다.
광범위한 평가: RoboTwin 2.0 시뮬레이션 프레임워크의 50 가지 양손 작업 및 실제 Kuka 로봇 (이중 팔) 실험을 통해 NF-P 를 평가했습니다.
성능 및 효율성 입증: 확산 정책 (Diffusion Policy, DP) 대비 더 높은 성공률과 데이터 효율성을 보이며, 훈련 및 추론 속도가 훨씬 빠르고 불확실성 정량화가 가능함을 입증했습니다.
데이터 스케일링 및 애블레이션 연구: 데이터 양 증가에 따른 성능 확장성을 확인하고, 스트라이드, 샘플링 분산, 최적화 전략 등 성능에 영향을 미치는 요인에 대한 체계적인 분석을 수행했습니다.

4. 실험 결과 (Results)

시뮬레이션 (RoboTwin 2.0):
- NF-P(그라디언트 정제 적용 시, NF-PGR) 는 확산 정책 (DP) 대비 평균 성공률이 **38.06% (DP 는 28.04%)**로 약 10%p 향상되었습니다.
- 특히 정밀한 접촉이 필요한 작업 (마이크로웨이브 열기, 손목 전달 등) 에서 DP 대비 압도적인 성능 차이를 보였습니다.
실제 로봇 실험 (Kuka iiwa 7):
- Stack Block Two (블록 쌓기): DP 는 초기 실패율이 높고 하위 목표 간 전환 시 멈추는 현상이 빈번했으나, NF-P 는 초기 실패가 거의 없었으며 전체 성공률이 **60% (DP 는 15%)**로 크게 향상되었습니다.
- Towel Folding (수건 접기): 변형 가능한 물체 조작에서도 NF-P 는 **75% (DP 는 55%)**의 성공률을 기록하며, 초기 시작 및 전환 단계에서의 안정성을 입증했습니다.
- 효율성: NF-P 는 단일 패스 추론으로 20ms 미만의 추론 지연 시간을 달성했으며, 그라디언트 정제를 사용하더라도 455ms 내로 유지되어 실시간 제어에 적합함을 보였습니다. (DP 는 일반적으로 더 느림)
데이터 스케일링: 10 개에서 500 개까지의 훈련 에피소드 양을 변화시킨 실험에서 NF-P 는 DP 와 유사한 확장성 (Scaling properties) 을 보였습니다.

5. 의의 및 결론 (Significance)

계산 효율성과 정확성의 균형: NF-P 는 확산 모델이 가진 표현력 (Expressiveness) 을 유지하면서도, 단일 패스 추론과 정확한 불확실성 정량화라는 두 가지 결정적인 장점을 제공합니다.
실시간 로봇 제어의 새로운 패러다임: 높은 계산 비용 없이 실시간으로 반응할 수 있으며, 생성된 행동의 신뢰도를 수학적으로 증명할 수 있어 안전하고 신뢰할 수 있는 로봇 제어 (Uncertainty-aware control) 에 필수적인 요소입니다.
양손 조작의 안정성: 실제 하드웨어에서 발생하는 노이즈와 복잡한 상태 전환 (State transition) 에서 NF-P 가 더 안정적인 밀도 매니폴드를 제공하여, 기존 모델들이 겪던 초기 실패 및 진행 중단 (Stalling) 문제를 효과적으로 해결했습니다.

결론적으로, 이 논문은 정규화 흐름 (Normalizing Flows) 이 복잡한 양손 로봇 조작을 위한 시각 - 운동 정책 학습에 있어 확산 모델을 능가하거나 견줄 수 있는 강력한 대안임을 입증했습니다.