💻 computer science

FlatLab: A Unified Methodology Framework and Simulation-Based Benchmark for Robotic Manipulation of Flat Objects

이 논문은 전략 생성과 행동 실행을 분리함으로써 다양한 평면 객체의 강건한 로봇 조작을 가능하게 하고, 기존 방식보다 미학습 객체에 대해 우수한 일반화 성능을 입증하는 통합 프레임워크이자 고충실도 시뮬레이션 벤치마크인 FlatLab을 소개한다.

원저자: Xingyu Zhu, Wenshuo Han, Zhouyu Wang, Yuran Wang, Ruihai Wu, Hao Dong, Fan Tang, Hechang Chen, Hyung Jin Chang, Yixing Gao

게시일 2026-08-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xingyu Zhu, Wenshuo Han, Zhouyu Wang, Yuran Wang, Ruihai Wu, Hao Dong, Fan Tang, Hechang Chen, Hyung Jin Chang, Yixing Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 토스트 한 조각을 집어 올히는 법을 배우려는 서투른 유아와 같은 세상을 상상해 보세요. 로봇은 손잡이가 있거나 둥근 모양이라 손에 딱 맞는 머그컵이나 공은 쉽게 잡을 수 있습니다. 하지만 테이블 위에 평평하게 놓인 잡지나 얇은 나무판, 혹은 흐물흐물한 수건을 잡으려고 하면 로봇은 쩔쩔맵니다. 이는 마치 포크로 팬케이크를 집으려는 것과 같습니다. 잡을 손잡이가 없고, 너무 세게 누르면 그냥 미끄러져 버리기 때문입니다. 이것이 바로 로봇 공학의 "평평한 물체 문제(flat object problem)"입니다. 과학자들은 이를 해결하기 위해 수년 동안 노력해 왔으며, 주로 특수하고 비싼 로봇 손을 만들거나, "책을 테이블 가장자리로 밀어라"와 같이 로봇에게 한 가지 특정 기술을 가르치는 방식을 사용해 왔습니다. 하지만 현실 세계는 무질서합니다. 두꺼운 책은 얇은 종지와는 다른 기술이 필요하며, 흐물흐คล한 수건은 완전히 다른 접근 방식이 필요합니다. 로봇이 단 하나의 기술만 알고 있다면, 물체가 바뀔 때 실패하게 됩니다. 이것이 바로 연구자들이 단순히 동작 하나를 암기하는 것이 아니라, 로봇이 적응하는 법을 더 똑똑하게 가르치는 방법을 찾는 이유입니다.

여기에 평평한 물체의 퍼즐을 해결하기 위해 설계된, 로봇을 위한 거대하고 하이테크한 비디오 게임과 같은 새로운 프로젝트, FlatLab이 등장했습니다. FlatLab의 연구진은 로봇에게 모든 가능한 물체에 대해 하나의 거대하고 복잡한 동작을 강요하는 대신, 로봇에게 "도구 상자"와 어떤 도구를 고를지 아는 두뇌를 주는 것이 더 낫다는 것을 깨달았습니다. 그들은 작업을 두 부분으로 나누는 통합 프레임워크를 만들었습니다: 바로 **전략 생성기(Strategy Generator)**와 **동작 실행 모듈(Action Execution Module)**입니다. 전략 생성기를 똑똑한 매니저라고 생각해보세요. 이 매니저는 쌓여 있는 잡지, 상자, 또는 구겨진 셔츠와 같은 평평한 물체 더미를 보고 이렇게 결정합니다. "좋아, 이 얇은 원반은 가장자리로 밀어버리자. 이 두꺼운 상자는 두 팔을 사용해 들어 올리자. 이 흐물흐물한 수건은 가장자리를 꽉 쥐어서 접히게 만들자." 일단 매니저가 계획을 선택하면, 동작 실행 모듈은 그 큰 계획을 "터치하기", "미끄러뜨리기", "쥐기"와 같은 작고 단순한 단계들로 나누어 매끄럽게 실행하는 일꾼 벌이 됩니다.

연구팀은 단순히 로봇의 두뇌만 만든 것이 아니라, 이를 테스트할 전체 놀이터도 구축했습니다. 그들은 딱딱한 책이나 상자부터 부드럽고 말랑말랑한 천까지 100가지 이상의 다양한 평평한 물체가 포함된 시뮬레이션 플랫폼인 FlatLab을 만들었습니다. 이 디지털 세상 속에서 그들은 실제 세계의 물건을 부술 걱정 없이 로봇이 이러한 물체들을 얼마나 잘 다루는지 테스트할 수 있습니다. 그들은 "대조 학습(contrastive learning)"이라는 영리한 기법을 사용하여 시스템을 훈련시켰는데, 이는 로봇에게 얇은 책과 얇은 접시가 서로 다르게 생겼더라도 같은 "가장자리로 밀기" 기술을 사용하기에 충분히 유사하다는 것을 인식하도록 가르치는 것과 같습니다. 또한 "시뮬레이션 데이터 변환(simulated data transformation)"을 사용했는데, 이는 디지털 물체를 즉각적으로 크기나 재질을 변경하여(예: 부드러운 수건을 딱딱한 판자로 바꾸기) 로봇이 단순히 물체의 이름이 아니라 모양과 재질에 따라 전략이 달라져야 함을 배우도록 하는 것입니다.

시스템을 테스트했을 때 결과는 인상적이었습니다. 시뮬레이션에서 로봇은 이전에 본 적이 있는 물체에 대해 99.2%의 확률로 올바른 전략을 맞혔으며, 한 번도 접해보지 못한 완전히 새로운 범주의 물체에 대해서도 78.6%의 정답률을 기록했습니다. 물체를 실제로 잡는 데 있어서는, 알려진 물체에 대해 81.1%의 성공률을 보였고, 완전히 새로운 물체에 대해서도 69.0%의 성공률을 달성했습니다. 이는 하나의 거대한 "엔드 투 엔드(end-to-end)" 동작을 배우려 하거나 단순히 모든 것을 가장자리로 미는 방식이 새로운 물체에 대해 크게 고전했던 다른 방식들과 비교했을 때 매우 큰 성과입니다. 예를 들어, 단순히 가장자리로 미는 방식은 새로운 물체에 대해 약 24.7%의 성공률만을 보였고, 두 팔로 들어 올리는 방식은 얇은 물체에 대해 훨씬 더 자주 실패했습니다.

연구진은 또한 이 로봇을 비디오 게임 밖으로 데리고 나와 Baxter 로봇을 이용해 실제 세계에서 테스트했습니다. 마찰력이 다르고 수건이 컴퓨터 속 모습처럼 정확하게 접히지 않는 등 예측 불가능하고 무질서한 실제 물리 법칙에도 불구하고, 그들은 새로운 물체에 대해 80.0%의 성공률을 달성했습니다. 이는 그들의 "도구 상자" 접근 방식이 완벽한 디지털 버전뿐만 아니라 실제 상황에서도 견고하게 작동할 만큼 강력하다는 것을 시사합니다. 그러나 저자들은 이 작업이 테스트에서는 잘 작동했지만, 아직 할 일이 남아 있다는 점을 주의 깊게 언급했습니다. 그들은 자신들의 주요 작업이 시뮬레이션에서 이루어졌음을 인정하며, 완벽한 디지털 세계와 무질서한 실제 세계 사이의 간극을 메우는 것이 향-미래의 핵심 과제라고 말했습니다. 또한, 그들은 로봇이 극도로 복잡하고 어지러운 방을 어떻게 다루는지에 대해서는 아직 충분히 테스트하지 않았다고 지적했습니다. 하지만 현재로서는, FlatLab은 로봇에게 유연한 전략과 일련의 단순한 도구들을 주는 것이 우리 주변의 평평하고, 흐물흐물하고, 까다로운 물체들을 다루는 데 훨씬 더 나은 방법임을 보여줍니다.

기술 요약: FlatLab

문제 정의
평면 물체(예: 잡지, 나무 판자, 천)의 로봇 조작은 물체가 표면에 밀착되어 있어 접근 가능한 파지 어포던스(grasp affordance)를 찾기 어렵고, 물체의 기하학적 구조와 재질 특성이 크게 변한다는 점에서 상당한 어려움을 안겨줍니다. 기존 방식들은 종종 휴리스틱한 사전 조작 전략(예: 물체를 테이블 가장자리로 밀기 또는 특수 엔드 이펙터 사용)에 의존하며, 일반화 능력이 제한된 폐쇄적인 환경에서 평가되는 경향이 있습니다. 또한, 분야 전반에 걸쳐 강체와 변형 가능한 평면 물체를 체계적으로 다루는 통합 시뮬레이션 벤치마크가 부족하여, 견고한 조작 알고리즘의 발전을 저해하고 있습니다.

방법론
저자들은 조작을 두 개의 별도 모듈인 **조작 전략 생성기(Manipulation Strategy Generator)**와 **로봇 동작 실행 모듈(Robot Action Execution Module)**로 분리하는 통합 방법론 프레임워크를 제안합니다.

조작 전략 생성기:
- 입력: 물체 포인트 클라우드.
- 출력: 세 가지 상호 보완적인 전략 중 선택된 예측 조작 전략:
  - 전략-A: 물체를 테이블 가장자리로 밀기 (얇고 작은 강체 물체에 적합).
  - 전략-B: 협동 양팔 들어올리기 (두껍고 큰 물체에 적합).
  - 전략-C: 가장자리를 눌러 잡기 가능한 주름 만들기 (변형 가능한 물체에 적합).
- 학습 메커니즘: 생성기는 전략 중심의 물체 불변 표현(object-invariant representations)을 학습합니다. 이 모델은 시뮬레이션 데이터 변환(재질 및 스케일 변경을 통한 데이터 증강)과 다각도 대조 학습(NT-Xent 손실 함수)을 활용합니다. 이러한 접근 방식은 모델이 서로 다른 물체에 대해서도 동일한 전략에 대한 특징을 집계하는 동시에, 서로 다른 전략 간의 특징은 분리함으로써 특정 물체 기하 구조에 과적합되는 것을 방지합니다.
로봇 동작 실행 모듈:
- 입력: 예측된 전략 및 장면 포인트 클라우드.
- 출력: 6-DoF 엔드 이펙터 포즈.
- 메커니즘: 이 모듈은 단일 장기 궤적(long-horizon trajectory)을 학습하는 대신, 조작을 재사용 가능한 동작 프리미티브(예: 터치, 슬라이딩, 스퀴징)로 분해합니다. 이는 물체 특정 특징이 아닌 위치 의존적 포즈를 학습합니다.
- 학습: 이 모듈은 매끄럽고 물리적으로 의미 있는 궤적을 보장하기 위해 이동 항과 지오데식 회전 손실(쿼터니언 사용)로 구성된 기하학적으로 일관된 포즈 손실을 사용하여 학습됩니다.

FlatLab 벤치마크
체계적인 평가를 가능하게 하기 위해, 저자들은 NVIDIA Isaac Sim을 기반으로 구축된 종합적인 시뮬레이션 벤치마크인 FlatLab을 도입합니다.

에셋: 21개 카테고리(강체 및 변형 가능 물체)에 걸친 100개 이상의 고충실도 평면 물체를 포함하며, 물리적 속성(질량, 마찰력, 질감) 설정이 가능합니다.
시나리오: 다양한 데스크톱 배경을 가진 6개의 환경(예: 주방, 침실)에서 18개의 조작 시나리오를 제공합니다.
기능: 자동화된 다중 모드 데이터 수집(포인트 클라우드, RGB, 깊이, 운동학 데이터) 및 표준화된 작업 정의(예: 슬라이딩, 파지, 양팔 들어올리기)를 지원합니다.
평가: 성공률, 궤적 매끄러움, 프리미티브 동작 횟수를 포함한 통합 프로토콜 및 지표를 제공합니다.

주요 기여

통합 프레임워크: 전략 예측과 동작 실행을 분리하여, 물체의 형태와 재질에 따라 전략을 적응시킴으로써 본 적 없는 물체와 카테고리에 대해 견고한 일반화가 가능한 분리된 프레임워크를 제공합니다.
FlatLab 플랫폼: 고충실도 물리 엔진, 자동화된 데이터 수집, 그리고 강체 및 변형 가능 물체 모두를 위한 표준화된 평가를 제공하는 최초의 통합 평면 물체 로봇 조작 시뮬레이션 벤치마크입니다.
실증적 검증: 제안된 프레임워크의 효과와 일반화 능력을 입증하는 광범-한 실험을 수행했습니다.

실험 결과
실험은 104개의 평면 물체 데이터셋을 사용하여 수행되었으며, 이는 훈련 세트, 알려진 카테고리의 미보지 물체 테스트 세트(Test $\alpha$ ), 그리고 미보지 카테고리 테스트 세트(Test $\beta$ )로 분할되었습니다.

전략 식별: 프레임워크는 99.2%(Train), 91.3%(Test $\alpha$ ), 78.6%(Test $\beta$ )의 전략 예측 정확도를 달了했습니다.
파지 성공률: 제안된 방법은 81.1%(Train), 74.2%(Test $\alpha$ ), 69.0%(Test $\beta$ )의 성공률을 기록했습니다.
베이스라인 비교: 제안된 방법은 단일 전략 접근 방식(Slide, Lift) 및 엔드 투 엔드 시각-언어-행동 모델(Diffusion Policy, OpenVLA, $\pi_0$ , $\pi_0.5$ )을 포함한 베이스라인들을 크게 앞질렀습니다. 예를 들어, Test $\beta$ 에서 제안된 방법(69.0%)은 OpenVLA(17.8%)와 $\pi_0$ (17.3%)를 압도적으로 능가했습니다.
실세계 전이: Baxter 로봇에 실제 물체로 배포했을 때, 이 방법은 높은 성능을 유지하며 83.6%(Train), 80.0%(Test $\alpha$ ), 80.0%(Test $\beta$ )의 성공률을 달성했습니다.

의의 및 주장
본 논문은 단일 전략 파이프라인과 폐쇄된 데이터셋의 한계를 해결하기 위해 유연하고 전략 적응적인 프레임워크를 도입한다고 주장합니다. 전략 선택과 동작 실행을 분리하고 시뮬레이션 데이터에 대한 대조 학습을 활용함으로써, 시스템은 본 적 없는 물체와 카테고리에 대해 우수한 일반화 성능을 달성합니다. FlatLab의 도입은 로봇의 평면 물체 조작을 위한 표준화된 고충실도 플랫폼을 제공함으로써 분야의 중요한 공백을 메우며, 재현 가능한 연구와 더 견고한 체화된 지능(embodied intelligence) 시스템의 발전을 촉진합니다. 저자들은 본 방법이 시뮬레이션과 실세계 테스트에서 우수한 성능을 보였으나, 심투리얼(sim-to-real) 격차를 해소하고 복잡한 장면 상호작용을 연구하는 것이 향후 과제로 남아 있다고 언급했습니다.

유사한 논문