🤖 machine learning

ObstaDiff: Generalizable Diffusion Policy Learning via Obstacle-aware Representations

ObstaDiff는 장애물 인지 시각 표현을 활용하여 복잡하고 구조화되지 않은 환경에서 견고한 로봇 조작을 가능하게 함으로써, 기존 베이스라인 모델들과 비교하여 실제 농업 시험에서 더 우수한 작업 성공률과 감소된 충돌률을 달성하는 일반화 가능한 확산 정책 프레임워크이다.

원저자: Jiawen Wang, Kevin Yao, Khalid Jawed

게시일 2026-09-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiawen Wang, Kevin Yao, Khalid Jawed

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇은 정해진 부품과 예측 가능한 경로 사이를 정밀하게 움직이는 공장 바닥의 숙련가로 오랫동안 군림해 왔습니다. 하지만 통제된 세상을 벗어나 실제 정원, 어지러운 작업실, 또는 분주한 가정과 같은 환경으로 나가면 그 과업은 훨씬 더 어려워집니다. 이러한 비정형 환경에서 로봇 팔은 경로를 가로막는 잎사귀, 줄기, 도구들의 미로를 헤치며 익은 과일과 같은 특정 물체를 향해 손을 뻗어야 합니다. 문제는 단순히 물체를 보는 것뿐만 아니라, 충돌 없이 움직일 수 있도록 주변 공간을 충분히 이해하는 것입니다. 수년 동안 연구자들은 인간의 시연으로부터 로봇이 학습하도록 하는 방법인 모방 학습(imitation learning)을 가르치려 노력해 왔습니다. 그러나 이러한 시스템 대부분은 깨끗하고 비어 있는 환경에서 훈련되었기에, 현실 세계의 시각적 혼란에 직면하면 어려움을 겪습니다. 이들은 종가 무엇을 만져야 하고 무엇을 피해야 하는지를 구분하지 못해 서툰 움직임이나 충돌을 일으키곤 합니다.

캘리포니아 대학교 로스앤젤레스(UCLA)의 연구팀은 로봇이 이러한 붐비는 공간을 항해하는 데 도움을 줄 수 있는 새로운 접근 방식인 '옵스타디프(ObstaDiff)'를 개발했습니다. 로봇에게 대상 물체, 장애물, 배경이 하나의 혼란스러운 이미지로 섞인 표준 비디오 피드를 제공하는 대신, 이 시스템은 장면을 대상, 장애물, 배경이라는 세 가지 뚜렷한 층으로 분해합니다. 이러한 분리는 로봇이 장면의 어느 부분이 도달해야 할 부분이고 어느 부분이 피해야 할 부분인지를 명확하게 식별할 수 있게 해줍니다. 이 구조화된 뷰를 바탕으로 학습 모델을 훈련함으로써, 로봇은 잎사귀를 향해 곧장 돌진하는 대신 초목 사이의 좁은 틈을 헤치고 나가는 매끄럽고 안전한 경로를 생성하는 법을 배웁니다.

연구진은 밀집된 식물 성장과 변화하는 빛으로 인해 특히 까다로운 환경인 실제 온실 환경에서 이 시스템을 테스트했습니다. 그들은 로봇 팔이 다른 식물들 사이에 숨겨진 특정 고추 식물에 도달해야 하는 과업을 설정했습니다. 시스템이 진정으로 일반화될 수 있는지 확인하기 위해, 연구진은 단순히 동일한 움직임을 반복하지 않았습니다. 대신, 대상 고추의 위치를 바꾸고, 주변의 장애물 식물들을 재배치하며, 심지어 훈련에 사용했던 고추와 다른 종류의 초록색 고추로 교체하는 등 수백 번의 실험을 수행했습니다. 366회의 실제 실행 결과, 이 새로운 시스템은 75.41%의 확률로 과업을 완수했습니다. 이에 비해, 이러한 특수한 시각 방식을 사용하지 않은 기존의 선도적인 방법들은 절반도 안 되는 성공률을 보였습니다. 아마도 더 중요한 점은, 새 시스템이 장애물에 충돌한 횟수가 8.20%에 불과했다는 것이며, 이는 기존 방식들의 훨씬 높은 충돌률에 비해 유의미한 개선입니다.

이러한 성공의 핵심은 로봇이 보는 것을 처리하는 방식에 있습니다. 전통적인 시스템은 카메라 이미지를 하나의 평면적인 사진으로 취급하여, 로봇이 스스로 잎사귀와 고추의 차이를 파악하도록 강요합니다. 그러나 새로운 시스템은 로봇이 움직임을 계획하기도 전에 경량 인코더를 사용하여 이미지 채널을 대상, 장애물, 배경으로 명시적으로 라벨링합니다. 이는 로봇에게 '여기는 목표이고, 여기는 벽이며, 여기는 빈 공간이다'라는 명확한 상황 지도를 제공합니다. 그런 다음 로봇은 대상 바로 앞의 안전한 '병목(bottleneck)' 위치까지 팔을 안내하기 위해 일련의 움직임을 생성하는 학습 과정을 거칩니다. 일단 이 안전 구역에 도달하면, 로봇은 고추를 부드럽게 만지는 것과 같이 미리 기록된 동작으로 전환하여 작업을 마무리합니다. 이 2단계 전략을 통해 로봇은 여정 중 가장 어려운 부분인 '혼란을 뚫고 지나가는 것'에 학습을 집중할 수 있으며, 최종 접촉 시에는 단순하고 검증된 동작에 의존할 수 있습니다.

또한 이번 연구는 단순히 더 많은 데이터나 깊이 정보를 표준 시스템에 추가하는 것만으로는 문제를 해결할 수 없다는 점을 밝혀냈습니다. 연구진이 동일한 구조화된 이미지 데이터를 기존의 표준 학습 모델에 입력했을 때, 성능이 향상되지 않았으며 어떤 경우에는 오히려 악화되기도 했습니다. 이는 로봇이 시각 정보를 어떻게 해석하느냐가 정보 그 자체만큼 중요하다는 것을 시사합니다. 새 시스템이 효과적인 이유는 시각 인코더와 학습 모델이 서로 협력하도록 설계되어, 대상과 장애물 사이의 공간적 관계를 이해하도록 특별히 조정되었기 때문입니다. 이러한 맞춤형 설계 없이는 로봇이 충돌을 피하기 위해 구조화된 뷰를 효과적으로 사용할 수 없습니다.

이러한 발견은 복잡한 자연 환경에서 작동해야 하는 로봇들에게 유망한 길을 제시합니다. 로봇에게 단순히 픽셀의 덩어리가 아니라, 무엇을 향해 가야 하고 무엇을 피해야 하는지의 관점에서 세상을 보는 법을 가르침으로써, 연구진은 더 견고하고 신뢰할 수 있는 시스템을 만들어냈습니다. 실험 결과, 로봇은 식물의 배치 변화를 처리할 수 있었고, 재학습 없이도 새로운 종류의 고추에 적응할 수 있었습니다. 비록 이 시스템은 여전히 인간이 목표를 지정해 주어야 하며 아직 스스로 복잡한 과업을 계획할 수는 없지만, 무질서하고 예측 불가능한 실제 세상에서 로봇 조작을 실용적으로 만드는 데 있어 중요한 진전을 보여주었습니다. 이 결과는 적절한 시각 방식을 갖춘다면 로봇도 인간처럼 조심스럽게 붐비는 정원을 헤쳐 나갈 수 있음을 시사합니다.

기술 요약: ObstaDiff

문제 정의

온실과 같은 농업 환경처럼 복잡한 실제 환경에서의 로봇 조작은 두 가지 상호 연결된 과제에 직면해 있습니다. 하나는 타겟 주변의 좁고 불규칙한 통로를 형성하는 비정형 장애물(예: 잎, 줄기, 도구)을 탐색하는 것이며, 다른 하나는 시점, 조명, 타겟의 외관 변화로 인한 상당한 시각적 가변성을 처리하는 것입니다.

Diffusion 기반 정책을 포함한 기존의 모방 학습(IL) 방식은 대개 깨끗한 배경을 가정하거나 일반적인 비전 인코더에 의 Rely합니다. 이러한 방식은 타겟, 장애물, 배경의 단서를 하나의 잠재 특징(latent feature)으로 엉키게 만드는 경향이 있습니다. 결과적으로 하위 정책은 어떤 장면 요소에 도달해야 하고 어떤 것을 피해야 하는지에 대한 명시적인 신호를 결여하게 되며, 이는 특히 분포 변화(예: 새로운 장애물 배치나 타겟 외관) 상황에서 주변 장애물을 무시하는 궤적을 초래합니다. 전통적인 파이프라인 기반 방식은 광범위한 수동 캘리브레이션을 요구하며, 이와 같이 역동적이고 복잡한 장면에서의 적응성에 어려움을 겪습니다.

방법론

ObstaDiff는 복잡하고 비정형적인 장면에서의 모방 학습을 위해 설계된 분해된 디퓨전 정책(decomposed diffusion-policy) 프레임워크입니다. 이 모델은 구조화된 비전 인코더와 모듈형 실행 체계를 통해 일반적인 인코더의 한계를 해결합니다.

1. 구조화된 타겟-장애물-배경(TOB) 표현

ObstaDiff는 원시 RGB-D 이미지를 처리하는 대신, 관측치를 구조화된 타겟-장애물-배경(Target–Obstacle–Background, TOB) 표현으로 변환합니다.

시맨틱 세그멘테이션: 미세 조정된 YOLOv8s-Worldv2 검출기를 사용하여, 시스템은 아이-인-핸드(eye-in-hand) RGB-D 프레임 내에서 타겟 및 장애물 영역을 식별합니다.
채널 구성: 입력은 다음과 같은 4개 채널 텐서로 변환됩니다:
1. 배경 마스크 ( $m_{bg}$ )
2. 장애물 마스크 ( $m_{obs}$ )
3. 타겟 마스크 ( $m_{tar}$ )
4. 정규화된 깊이 이미지 ( $\bar{d}$ )
경량 인코더: 특화된 StructuredObsEncoder가 이 TOB 입력을 처리합니다. 입력이 자연 이미지처럼 취급되는 일반적인 백본(예: ResNet-18)과 달리, 이 인코더는 입력을 시맨틱 브랜치(마스크)와 깊이 브랜치로 분리합니다. 두 브랜치는 모두 작은 합성곱 네트워크와 공간 소프트맥스(spatial softmax)를 활용하여 압축된 키포인트 형태의 좌표를 추출합니다. 이 설계는 타겟과 장애물 사이의 공간적 관계를 명시적으로 보존하는 동시에 불필요한 배경 변화를 억제합니다.

2. 분해된 정책 프레임워크

조작 작업은 두 단계로 분해됩니다:

정렬 단계 (Alignment Stage): 조건부 디퓨전 정책( $\pi_{align}$ )이 "병목 포즈(bottleneck pose, $p^*$ )"에 도달하기 위한 엔드 이펙터(end-effector) 궤적을 생성합니다. 이 단계는 TOB 표현과 현재 엔드 이펙터 포즈를 조건으로 합니다. 정책은 충돌을 피하기 위해 주변 장애물을 추론하면서 타겟을 향해 이동하는 법을 학습합니다.
상호작용 단계 (Interaction Stage): 로봇이 병목 포즈에 도달하면 제어권이 재생 기반 상호작용 정책( $\pi_{inter}$ )으로 전환됩니다. 이 단계는 시연된 궤적 라이브러리를 사용하여 작업 특화 근거리 동작(예: 수확, 접촉)을 수행합니다.
전환 메커니즘: 단계 간의 전환은 데이터 기반 병목 전환 기준에 의해 제어됩니다. 시스템은 현재 타겟 관측치를 리플레이 라이브러리에 저장된 초기 타겟 상태와 비교합니다. 현재 상태가 라이브러리 항목과 충분히 일치하면, 시스템은 상응하는 상호작용 궤적을 재생하는 것으로 전환합니다. 이는 근거리 접촉 시 잠재적으로 불안정한 깊이 센서에 의존하는 것을 방지합니다.

주요 기여

장애물 인지 구조적 표현: 저자들은 타겟과 장애물을 명시적으로 분리하는 TOB 표현과 경량 인코더를 도입했습니다. 이는 디퓨전 정책에 높은 수준의 공간적 구조를 제공하여, 장면을 일반적인 이미지로 취급하는 대신 장애물을 인지하는 접근 동작을 가능하게 합니다.
모듈형 분해 정책: 본 프레임워크는 장애물 인지 정렬과 작업 특화 상호작용을 분리합니다. 이를 통해 디퓨전 모델을 재학습시키지 않고도 리플레이 라이브러리를 변경하는 것만으로 동일한 학습된 정렬 정책이 다양한 상호작용 목표(예: 수확 vs 검사)를 지원할 수 있도록 합니다.
실제 환경 검증: 이 방법은 실내 온실 테스트베드에서 7-DoF Sawyer 로봇을 통해 평가되었으며, 타겟 포즈, 장애물 배치, 타겟 외관에 대한 일반화 성능을 입증했습니다.

실험 결과

저자들은 온실 환경에서 366회의 실제 로봇 실행(6개 방식에 대해 방식당 61회 시도)을 수행했습니다. 평가는 세 가지 일반화 설정에 걸쳐 이루어졌습니다:

타겟 포즈 일반화 (TPG): 타겟의 위치와 방향을 변화시킴.
장애물 배치 일반화 (OLG): 장애물 식물의 배치를 변화시킴.
타겟 외관 일반화 (TAG): 훈련에 사용된 보라색 피망 대신 보지 못한 초록색 피망을 사용함.

성능 지표:

작업 성공률 (TSR): ObstaDiff는 평균 TSR **75.41%**를 달しま, 이는 ACT (RGB)의 45.90% 및 표준 Diffusion Policy (DP) RGB의 49.18%와 같은 베이스라인을 크게 상회하는 수치입니다.
장애물 충돌률 (OCR): ObstaDiff는 평균 충돌률을 8.20%로 낮추었으며, 이는 ACT (RGB)의 14.75% 및 DP (RGB)의 26.23%와 비교됩니다.
절제 연구 (Ablation Studies):
- 단순히 표준 DP 인코더에 깊이를 추가하거나(DP-RGB-D), 표준 인코더에 TOB 표현을 입력하는 것(DP-TOB)은 유의미한 개선을 보이지 않았습니다. 이는 구조화된 인코더가 TOB 표현을 활용하는 데 결정적임을 확인시켜 줍니다.
- TOB 표현은 비-디퓨전 베이스라인(ACT)에서도 궤적의 매끄러움을 개선하고 충돌을 줄였으나, 성공률은 다양하게 나타났습니다.

의의 및 주장

본 논문은 타겟을 장애물로부터 분리하기 위해 시각적 표현을 명시적으로 구조화하는 것이 복잡한 환경에서 견고한 일반화를 위해 필수적임을 보여줍니다. 디퓨전 정책에 도달해야 할 대상과 피해야 할 대상에 대한 명확한 시맨틱 단서를 제공함으로써, 시스템은 더 안전하고 신뢰할 수 있는 접근 궤적을 생성합니다.

저자들은 자신들의 기여가 인코더 구성 요소 자체의 참신함보다는, 작업 구조적 표현과 특화된 인코더를 결합한 데 있다고 강조합니다. 분해된 설계는 실제 배포를 위한 실용적인 솔루션으로 강조되며, 불안정한 깊이 센서에 의존하지 않고도 신뢰할 수 있는 근거리 상호작용을 가능하게 합니다.

본 연구는 낮은 수준의 장애물 인지 정렬을 다루는 것이지 자율적인 타겟 선택이나 고수준의 작업 계획을 다루는 것이 아니라는 점에서 범위를 겸허히 인정하고 있습니다. 또한 상호작용 단계가 시연된 궤적을 재생하는 방식에 의존하므로, 결과는 특히 장애물 인지 접근 동작을 검증하는 것입니다. 평가는 특정 온실 환경에 국한되어 있으며, 저자들은 밀집된 잎 사이에서 움직이는 아이-인-핸드 카메라에 포인트 클라우드 기반 방식(DP3 등)을 적용하는 것의 어려움을 언급했습니다.