💻 computer science

Information Filtering via Variational Regularization for Robot Manipulation

본 논문은 확산 기반 시지능 제어 정책의 노이즈가 포함된 중간 특징에 컨텍스트 조건부 가우시안 병목 구조를 부과하여 작업과 무관한 정보를 필터링하는 플러그 앤 플레이 모듈인 변분 정규화를 제안함으로써, 시뮬레이션 및 실제 로봇 조작 작업에서 최첨단 성능을 달성한다.

원저자: Jinhao Zhang, Wenlong Xia, Yaojia Wang, Zhexuan Zhou, Huizhe Li, Yichen Lai, Haoming Song, Youmin Gong, Jie Mei

게시일 2026-05-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jinhao Zhang, Wenlong Xia, Yaojia Wang, Zhexuan Zhou, Huizhe Li, Yichen Lai, Haoming Song, Youmin Gong, Jie Mei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 컵을 쌓거나 문을 여는 것과 같은 섬세한 작업을 가르친다고 상상해 보세요. 인간이 그 일을 수행하는 동영상을 보여주고, 로봇은 그것을 지켜보며 학습하려고 시도합니다. 이를 '모방 학습 (imitation learning)'이라고 합니다.

최근 과학자들은 로봇이 이러한 기술을 습득하도록 돕기 위해 **확산 모델 (Diffusion Model)**이라는 교묘한 유형의 인공지능을 사용했습니다. 확산 모델을 생각할 때, 소음과 혼란스러운 점토 덩어리로 시작해 완벽한 조각상 (로봇의 행동) 이 나타나도록 서서히 소음을 깎아내는 조각가를 연상해 보세요.

그러나 이 논문의 저자들은 이러한 '조각가'들이 어떻게 구축되었는지에 대해 한 가지 문제를 발견했습니다.

문제: '과도하게 설계된' 조각가

로봇의 뇌에는 두 가지 주요 부분이 있습니다:

눈 (인코더): 이 부분은 세계 (3D 포인트 클라우드 사용) 를 바라보고 장면의 짧고 명확한 요약을 제공합니다. 마치 "테이블 위에 컵이 있다"는 간결한 메모와 같습니다.
손 (디코더): 실제로 로봇의 팔을 어떻게 움직일지 계산하는 거대한 부분입니다. 약 2 억 5 천만 개의 매개변수를 가진 이 부분은 그 짧은 메모를 받아 복잡한 움직임으로 변환해야 합니다.

저자들은 '눈'이 매우 효율적이었지만, '손'은 너무 크고 소음이 너무 많았다는 사실을 깨달았습니다.

'손' 부분을 거대한 공장 조립 라인이라고 상상해 보세요. 저자들은 이 라인을 따라 지시가 내려갈수록 작업자들이 자신들의 무작위 잡담, 소문, 그리고 관련 없는 세부 사항들을 추가하기 시작한다는 것을 발견했습니다. 지시가 끝까지 도달할 때쯤이면, 로봇의 움직임에 실제로 도움이 되지 않는 '소음'으로 가득 차게 됩니다.

'아하!' 순간:
이를 증명하기 위해 연구원들은 실험 도중 로봇의 뇌 일부 부분을 문자 그대로 끄는 기이한 실험을 수행했습니다.

그들은 '공장 라인' (중간 특징) 의 덩어리들을 무작위로 차단했습니다.
놀랍게도, 로봇의 뇌 일부가 꺼졌을 때 로봇은 그 일을 더 잘 수행하게 되었습니다!

이는 뇌의 추가 부분들이 도움이 되는 정보가 아니라 혼란만 더하고 있다는 것을 증명했습니다. 로봇은 너무 많은 정적 (잡음) 을 듣으려 하고 있었던 것입니다.

해결책: '스마트 필터' (변분 정규화)

이를 해결하기 위해 저자들은 **변분 정규화 (Variational Regularization, VR)**라는 새로운 모듈을 고안했습니다.

VR 을 공장 라인 한가운데에 놓인 스마트 문지기나 소음 제거 헤드폰으로 생각하세요.

작동 방식: 지시가 다음 단계로 이동하기 전에 이 문지기가 이를 점검합니다. "이 정보가 지금 이 작업에 실제로 유용한가?"라고 묻는 것입니다.
맥락: 문지기는 단순히 추측하지 않습니다. 로봇이 무엇을 해야 하는지 알기 위해 '눈' (장면 맥락) 을 살펴봅니다. 로봇이 문을 열려고 한다면, 문지기는 '문'에 대한 지시는 유지하고 '컵'에 대한 지시는 버려야 한다는 것을 압니다.
결과: 무작위 잡담을 필터링하고 명확하고 중요한 신호만 통과시킵니다.

시도했을 때 어떤 일이 일어났나요?

연구원들은 이 새로운 '문지기'를 세 가지 다른 로봇 훈련장 (시뮬레이션) 과 심지어 실제 세계에서도 테스트했습니다.

시뮬레이션 결과: 블록 쌓기, 도구 사용, 물체 이동과 같은 복잡한 작업에서 '문지기 (VR)'가 있는 로봇은 없는 로봇보다 훨씬 더 자주 성공했습니다. 성공률을 크게 향상시켜 새로운 기록을 세웠습니다.
실제 세계 테스트: 그들은 실제 로봇이 컵을 쌓는 실험을 시도했습니다. 필터가 있는 로봇은 **86.7%**의 성공률을 보인 반면, 필터가 없는 로봇은 **73.3%**의 성공률을 보였습니다.

결론

이 논문은 때로 인공지능에서 크기가 더 좋은 것은 아니다는 것을 보여줍니다. 이러한 로봇 뇌의 거대한 '디코더' 부분들은 내부 소음에 의해 혼란을 겪고 있었습니다. 로봇이 행동하기 전에 정보를 정제하는 간단하고 스마트한 필터를 추가함으로써 로봇은 더 정밀해지고, 신뢰할 수 있으며, 새로운 기술을 습득하는 데 성공적이게 되었습니다.

이는 노래를 명확하게 듣기 위해 더 큰 스피커가 필요한 것이 아니라, 라디오의 정적 (잡음) 을 줄이면 된다는 것을 깨닫는 것과 같습니다.

기술 요약: 로봇 조작을 위한 변분 정규화를 통한 정보 필터링

문제 제기
3D 시각 표현 (예: 포인트 클라우드) 을 활용하는 확산 기반 비주얼 - 모터 정책은 로봇 조작 분야에서 최첨단 성능을 달성했습니다. 그러나 이러한 시스템은 일반적으로 상당한 구조적 비대칭성을 사용합니다: 컴팩트하고 정보가 풍부한 장면 인코더와 과대 설계된 탈노이즈 디코더 (예: ~250M 파라미터를 가진 U-Net 또는 DiT) 의 조합입니다. 대형 디코더는 모델 용량을 증가시키지만, 경험적 증거는 이들이 중간 특징 블록에 중복성과 작업과 무관한 노이즈를 도입함을 시사합니다. 저자들은 이러한 "노이즈가 있는" 정보가 의사결정을 저하시킨다고 가정하지만, 이러한 디코더의 내부 표현은 성능 제한의 원인으로 충분히 연구되지 않았습니다.

방법론
본 논문은 중간 디코더 특징에서 노이즈를 적응적으로 필터링하도록 설계된 플러그 - 앤 - 플레이 모듈인 **변분 정규화 (Variational Regularization, VR)**를 제안합니다. 방법론은 세 단계로 진행됩니다:

노이즈 식별: 저자들은 추론 시간에서의 제거 (ablation) 연구를 통해 노이즈의 존재를 먼저 검증합니다.
- U-Net 아키텍처의 경우, 추론 시 백본 특징을 무작위로 마스킹하는 것이 종종 성공률을 향상시키는데, 이는 이러한 특징이 특정 작업에 대해 신호보다 더 많은 노이즈를 포함하고 있음을 나타냅니다.
- DiT 아키텍처의 경우, 중간 레이어 (12 레이어 모델의 경우 특히 4~8 레이어) 를 축소하거나 건너뛰는 것도 마찬가지로 성능을 향상시켜, 이러한 레이어가 노이즈가 있는 특징 업데이트를 도입함을 시사합니다.
변분 정규화 모듈: 이를 해결하기 위해 VR 은 노이즈가 있는 중간 레이어 직후 (U-Net 의 경우 최종 다운샘플링 단계 후, DiT 의 경우 중간 레이어 후) 에 삽입됩니다.
- 이 모듈은 노이즈가 있는 특징 $Z$ 를 잠재 변수로 취급하고, 컴팩트한 장면 컨텍스트 $C$ 를 조건으로 하는 가우시안 분포 $p_\theta(\hat{Z}|Z, C)$ 를 부과합니다.
- MLP 를 사용하여 컨텍스트를 FiLM 레이어를 통해 조절하며 평균 $\mu_\theta(Z, C)$ 와 표준편차 $\sigma_\theta(Z, C)$ 를 예측합니다.
- 필터링된 표현 $\hat{Z}$ 는 재매개변수화 트릭을 통해 얻어집니다: $\hat{Z} = \mu_\theta + \sigma_\theta \odot \epsilon$ .
- $\hat{Z}$ 의 분포가 표준 정규 사전 분포와 일치하도록 장려하기 위해 KL-발산 정규화자가 손실 함수에 추가되며, 이는 적응형 정보 병목으로 작용합니다.
이론적 정당화: 저자들은 변분 정보 병목 (VIB) 프레임워크를 사용하여 이론적 근거를 제공합니다. 제안된 손실 함수 (탈노이즈 손실 + KL 정규화자) 를 최소화하는 것이 정보 병목 목표의 증거 하한 (ELBO) 을 최대화하는 것과 동등함을 보여줍니다. 이는 이론적으로 모듈이 작업과 무관한 정보를 필터링하고 예측에 중요한 신호는 보존함을 보장합니다.

주요 기여

경험적 발견: 본 논문은 추론 시 이러한 특징을 마스킹하거나 건너뛸 때 성능 향상이 입증됨에 따라, 대형 확산 디코더 (U-Net 및 DiT) 의 중간 특징이 종종 작업과 무관한 노이즈를 포함하고 있음을 식별하고 정량화했습니다.
새로운 모듈: 백본의 아키텍처 변경 없이 중간 특징을 적응적으로 필터링하는 컨텍스트 조건부 변분 병목인 변분 정규화 (VR) 의 도입.
이론적 연결: VR 목표를 변분 정보 병목과 연결하는 원칙 있는 유도로, 정보 필터링에 대한 이론적 보장을 제공합니다.
최첨단 성능: 이 방법은 여러 벤치마크에서 새로운 최첨단 결과를 달성하여 기준 DP3 정책보다 성능을 개선했습니다.

실험 결과
저자들은 세 가지 시뮬레이션 벤치마크 (RoboTwin2.0, Adroit, MetaWorld) 와 실제 세계 배포에서 VR 을 평가했습니다:

RoboTwin2.0: VR 은 DP3-UNet 의 평균 성공률을 56.6% 에서 63.8% 로 (+7.2), DP3-DiT 를 62.7% 에서 67.0% 로 (+4.3) 향상시켰습니다.
Adroit: 전문가 시연 10 개만 사용하여 VR 은 DP3-UNet 의 평균 SR5 를 68.6% 에서 73.7% 로, DP3-DiT 를 70.4% 에서 73.8% 로 향상시켰습니다.
MetaWorld: VR 은 두 백본 모두에서 평균 SR5 를 일관되게 향상시켰습니다 (예: DP3-UNet 의 경우 63.1% 에서 68.1% 로).
실제 세계: 컵 쌓기 작업에서 VR 은 성공률을 73.3% 에서 86.7% 로 (+13.4) 증가시켰습니다.
제거 실험: 실험은 컨텍스트 주입이 VR 의 성능에 중요하며, VR 이 드롭아웃, 폭 축소, 그리고 일반 정보 병목과 같은 다른 정규화 기술보다 우수함을 확인했습니다.

의의
본 논문은 과대 설계된 디코더를 블랙박스가 아닌 잠재적 노이즈의 원천으로 간주함으로써 적응형 필터링을 통해 성능을 크게 향상시킬 수 있다고 주장합니다. 그 의의는 확산 기반 조작에서 "더 큰 것이 항상 더 좋은 것은 아니다"는 것을 입증하는 데 있으며, 대신 변분 병목을 통해 중간 표현을 명시적으로 모델링하고 필터링하는 것이 더 견고하고 효과적인 정책을 이끈다는 점입니다. 이 방법은 다양한 조작 작업과 디코더 아키텍처 전반에 걸쳐 일반화와 성공률을 향상시키는 간단하고 플러그 - 앤 - 플레이 솔루션으로 제시됩니다.

문제: '과도하게 설계된' 조각가

해결책: '스마트 필터' (변분 정규화)

시도했을 때 어떤 일이 일어났나요?

결론

유사한 논문