Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties

로봇이 우리의 집안일을 하고, 자동차를 만들고, 가젯을 조립하는 궁극의 조력자가 되는 세상을 상상해 보십시오. 하지만 가장 똑똑한 로봇들조차 어려워하는 까다로운 작업이 하나 있습니다. 바로 뒤섞여 있는 부품들이 가득 담긴 지저킨 상자 안에서 딱 맞는 하나를 골라내는 일입니다. 이것을 "빈 피킹(bin-picking)"이라고 부릅니다. 수백 개의 동일한 레고 브릭이 서로 엉켜 있고, 어떤 것은 위를 향하고, 어떤 것은 옆으로 누워 있으며, 어떤 것은 다른 것 아래에 숨겨져 있는 통 안에서 특정 브릭을 찾아내는 것과 같습니다. 인간에게는 눈을 가늘게 뜨거나, 고개를 기울이거나, 손으로 더듬어 찾는 일이 쉽습니다. 하지만 로봇에게 이것은 혼란의 악몽입니다. 만약 로봇이 부품이 놓인 방향을 잘못 예측한다면, 부품을 거꾸로 잡거나, 떨어뜨리거나, 더 심하게는 기계에 잘못된 방향으로 끼워 넣어 충돌을 일으킬 수도 있습니다. 현재 로봇 공학의 큰 과제는 어떻게 하면 기계가 우리처럼 상황에 유연하게 대처하고 신중하게 행동하도록 가르칠 수 있는가 하는 점입니다.

이 논문은 불확실성을 다루기 위해 로봇을 돕는 "모듈형" 방식을 도입함으로써 바로 그 문제를 다룹니다. 저자들은 로봇에게 물체의 위치에 대해 단 하나의 완벽한 추측을 강요하는 대신, 로봇이 "가능성"의 관점에서 생각할 것을 제안합니다. 로봇이 단순히 부품을 보고 "여기에 있다"라고 말하는 것이 아니라, "여기에 있을 확률이 높지만, 저기에 있을 수도 있고, 혹은 뒤집혀 있을 수도 있다"라고 생각하게 만드는 것입니다. 이 논문은 로봇이 조합하여 사용할 수 있는 다양한 기술, 즉 '모듈'들의 도구 상합을 제 제안합니다. 어떤 기술은 혼란을 해소하기 위해 다른 각도에서 두 번째 사진을 찍는 것을 포함합니다. 또 다른 기술은 물체를 평평하게 놓아 다시 확인할 수 있는 특수 트레이로 옮기는 것을 포함합니다. 저자들은 이 아이디어들을 실제 로봇에 테스트했으며, 이 모듈들을 결합함으로써 로봇이 훨씬 빨라지고 매우 높은 신뢰성을 갖게 되었으며, 부품을 보기 어려운 상황에서도 거의 실수를 하지 않는다는 것을 발견했습니다.

로봇의 딜레마: 지저분한 빈(Bin)

무작위로 흩어진 금속 부품이 가득 담긴 빈 위에 로봇 팔이 서 있는 모습을 그려보십시오. 로봇의 임무는 하나를 집어 기계에 넣는 것입니다. 문제는 부품들이 무질서하게 쌓여 있다는 점입니다. 때때로 어떤 부품은 왼쪽을 향하고 있는지 오른쪽을 향하고 있는지 구분이 되지 않거나, 혹은 뒤집혀 있는지 알 수 없습니다. 과학자들은 이를 "모호성(ambiguity)"이라고 부릅니다. 만약 로봇이 잘못된 것을 집거나 잘못된 방향으로 잡는다면, 전체 과정은 실패합니다.

과거에 로봇들은 사진 한 장을 찍고 최선의 추측을 하는 방식으로 이 문제를 해결하려 했습니다. 하지만 추측이 틀리면 로봇은 부품을 삽입하려다 실패하고, 다시 처음부터 시작해야 했습니다. 이는 눈을 가리고 퍼즐을 맞추려는 것과 같았습니다. 운이 좋을 수도 있겠지만, 아마 조각을 떨어뜨릴 가능성이 높습니다. 이 논문의 저자들은 단 하나의 정답을 강요하는 대신, 로봇이 머릿속에 "가능성의 목록"을 유지해야 한다는 점을 깨달았습니다. 로봇은 "이 부품이 위를 향하고 있을 확률이 60%이고, 아래를 향하고 있을 확률이 40%이다"라고 말할 수 있어야 합니다. 이 목록을 "포즈 분포(pose distribution)"라고 부릅니다.

모듈형 도구 상자: 기술의 조합과 활용

이 논문의 핵심 아이디어는 지저분한 빈을 해결하는 방법이 단 하나가 아니라는 것입니다. 대신, 저자들은 "모듈형 프레임워크"를 구축했습니다. 이것을 캐릭터를 더 강하게 만들기 위해 다양한 파워업 아이템을 장착할 수 있는 비디오 게임처럼 생각하십시오. 모든 아이템을 다 사용할 필요는 없지만, 조합하여 캐릭터를 강화할 수 있습니다. 논문은 로봇이 사용할 수 있는 세 가지 주요 "파워업"(모듈)을 소개합니다.

1. 두 번째 확인 (Second View): 때때로 로봇의 메인 카메라는 부품이 어느 방향을 향하고 있는지 알 수 있을 만큼 충분한 정보를 제공하지 못합니다. 이는 주머니 속의 동전을 위에서만 보고 그것이 앞면인지 뒷면인지 알 수 없는 것과 같습니다. 해결책은 무엇일까요? 로봇은 두 번째 카메라를 다른 각도로 이동시킵니다. 논문에서는 이를 측면 30도 각도에서 사진을 찍는 것으로 설명합니다. 첫 번째 카메라의 "추측"과 두 번째 카메라의 "추측"을 결합함으로써, 로봇은 가능성을 좁힐 수 있습니다. 이는 두 친구에게 길을 묻는 것과 같습니다. 두 사람이 모두 같은 방향을 가리킨다면, 여러분은 훨씬 더 확신을 가질 수 있습니다.

2. 안전 트레이 (Re-orientation Tray): 두 번의 사진을 찍은 후에도 여전히 혼란스럽거나 부품이 빈 깊숙이 묻혀 있다면, 로봇은 백업 플랜을 가집니다. 로봇은 물체를 집어 특수하고 평평한 트레이로 옮깁니다. 이 트레이는 비어 있고 깨끗하여 물체가 다른 것에 부딪히지 않고 평평하게 놓일 수 있습니다. 물체가 트레이에 놓이면 로봇은 새로운 사진을 찍습니다. 이제 물체는 다른 부품들과 엉켜 있지 않으므로, 로봇은 정확한 위치를 파악할 수 있습니다. 이는 엉킨 이어폰 줄의 한쪽 끝을 잡아당겨 테이블 위에 평평하게 펼쳐놓고 매듭이 어디 있는지 확인하는 것과 같습니다.

3. 손 안의 확인 (In-hand Pose Verification): 물체를 집어 올린 후에도 로봇이 약간 비뚤게 잡았을 수 있습니다. 확실히 하기 위해, 로봇은 물체를 자신의 "손"(그리퍼)에 있는 카메라에 비춰봅니다. 로봇은 자신이 보는 것과 기대했던 것을 비교합니다. 만약 물체가 예상과 다르다면(예를 들어 회전되어 있거나 엉뚱한 면이 보이는 경우), 로봇은 실수를 했다는 것을 인지합니다. 기계에 억지로 끼워 넣는 대신, 물체를 다시 내려놓고 다시 시도합니다. 이는 신발 끈을 묶기 전에 확인하는 것과 같습니다. 모양이 이상하다면 나중에 넘어지지 않도록 다시 풀고 처음부터 시작하는 것입니다.

실험 결과

저자들은 단순히 이론만 제시한 것이 아니라, 이를 테스트하기 위해 실제 로봇 설정을 구축했습니다. 3D 센서와 특수 그리퍼가 달린 로봇 팔을 사용하였으며, 세 가지 유형의 물체(Novo 물체, 드라이브 샤프트(WRS-08), 풀리(WRS-11))로 테스트했습니다. 이 물체들은 카메라를 혼란스럽게 하는 반짝이는 표면을 가졌거나, 각도에 따라 똑같이 보이는 등 까다로운 것들로 선정되었습니다.

결과는 인상적이었습니다. 로봇이 기존 방식(빈에서 그냥 추측하는 방식)을 사용했을 때는 성공률이 **89%**였고, 물체 하나를 넣는 데 평균 2.5회의 잡기(grab)가 필요했습니다. 하지만 "안전 트레이" 모듈을 추가했을 때, 성공률은 **100%**로 뛰었고, 잡기 횟수는 2.25회로 줄었습니다. "두 번째 확인" 모듈을 추가했을 때는 더 빨라져서 단 2.05회의 잡기만 필요했습니다. 가장 뛰어난 성능은 모든 모듈을 함께 사용했을 때 나타났습니다. 로봇은 **100%**의 성공률을 달utation 성하며, 물체당 단 1.91회의 잡기만으로 임무를 수행했습니다.

또한 저자들은 이 방법들을 유명한 로봇 대회(World Robot Summit)의 물체들에 대해서도 테스트했습니다. 이 물체들은 매우 까다로워 이전 시도들의 성공률이 **1.6%**까지 낮았던 것들입니다. 새로운 모듈형 시스템을 사용한 결과, 로봇은 이 어려운 부품들에 대해서도 **100%**의 성공률을 달성했으며, 물체당 평균 2.2회에서 3.3회의 잡기로 임무를 완수했습니다.

저자들이 주장하는 것과 주장하지 않는 것

이 논문이 주장하지 않는 바를 명시하는 것도 중요합니다. 저자들은 현재 시스템이 주로 회전(동전의 회전과 같은)에 대한 혼란이 발생하는 원통형이나 평평한 물체에 가장 잘 작동한다고 조심스럽게 밝히고 있습니다. 그들은 현재 시스템이 평면 내의 회전(SO(2))만 처리할 뿐, 모든 방향의 완전한 3D 움직임(SE(3))은 처리하지 못한다는 점을 인정합니다. 그들은 향후 연구를 통해 더 복적인 형상을 다룰 수 있도록 확장할 수 있다고 제안하지만, 아직 이를 해결했다고 주장하지는 않습니다.

또한 그들은 다른 아이디어들을 명시적으로 배제했습니다. 예를 들어, 진동 피더(부품을 분류하는 흔드는 트레이) 사용을 고려했으나, 소량의 배치에는 너무 느리고 매번 물체 유형마다 조율이 필요하다는 이유로 제외했습니다. 또한 비파지 조작(물체를 잡지 않고 밀어서 움직이는 방식)도 검토했으나, 정밀하게 제어하기 어렵다는 것을 발견했습니다. 대신 그들은 잡고, 확인하고, 다시 잡는 모듈형 접근 방식을 고수합니다.

이 논문은 이러한 모듈들을 결합함으로써 빠를 뿐만 아니라 신뢰할 수 있는 로봇을 구축할 수 있음을 시사합니다. 핵심적인 교훈은 유연성이 답이라는 것입니다. 두 번째 사진을 찍거나, 깨끗한 트레이로 옮기거나, 잡은 상태를 재확인하는 등의 전환이 가능한 로봇이, 한 번에 모든 것을 해결하려는 로봇보다 훨씬 뛰어납니다. 저자들은 이 접근 방식이 예측 불가능하고 지저진 실제 세계를 다룰 수 있는 로봇 시스템을 만드는 유망한 방향이라고 믿고 있습니다.