Bootstrapping Self-Supervised Learning of Binary Classification Using Error Bounds: A Case Study on a Robotic Insertion Task

로봇이 초인적인 정밀도로 제품을 끊임없이 조립하는 궁극의 공장 노동자가 된 세상을 상상해 보십시오. 하지만 여기 함정이 있습니다. 인간은 구부러진 부품을 보고 "음, 저건 좀 이상한데?"라고 말할 수 있지만, 로봇은 종종 지시사항을 맹목적으로 따르는 존재가 되곤 합니다. 만약 로봇이 구멍에 핀을 밀어 넣으려다 빗나갔을 때, 로봇은 계속해서 밀어붙여 기계를 부수거나 제품을 망가뜨릴 수도 있습니다. 이를 방지하기 위해 엔지니어들은 보통 "안전 점검" 단계를 추가합니다. 이것은 마치 엄격한 선생님이 학생이 문제를 풀 때마다 다음 단계로 넘어가기 전에 모든 수학 문제를 하나하나 확인하는 것과 같습니다. 안전하긴 하지만, 믿을 수 없을 정도로 느리고 지루합니다. 로봇은 매번 멈춰서 측정하고 검증해야 하며, 이는 공장 전체를 달팽이처럼 느린 속도로 움직이게 만듭니다.

여기서 "자기 지도 학습(self-supervised learning)"이라는 개념이 등장합니다. 이것은 로봇에게 일하면서 배우는 두뇌를 주는 것과 같습니다. 매번 답을 채점해 줄 선생님을 기다리는 대신, 로봇은 스스로 답을 추측합니다. 하지만 아직 배우고 있는 로봇을 어떻게 신뢰할 수 있을까요? 만약 로b이 틀린 추측을 한다면 재앙이 닥칠 것입니다. 과학자들이 해결하고자 하는 큰 질문은 바로 이것입니다: 어떻게 하면 로봇이 속도를 높이기 위해 스스로 답을 추측하게 하면서도, 실수를 너무 많이 하지 않도록 보장할 수 있을까? 우리는 로봇이 "이건 꽤 확신해"와 "전혀 모르겠어, 사람을 불러야겠어"를 구분할 수 있는 방법을 필요로 합니다. 이 논문은 바로 그 문제를 다루며, 로봇이 실시간으로 학습하면서도 실수하는 횟수를 엄격하게 통제할 수 있게 해주는 영리한 시스템을 제안합니다.

---

로봇의 "직감" 엔진

이 연구에서 연구진은 빈(bin)에서 부품을 집어 올려 고정 장치에 끼워 넣어야 하는 로봇 팔을 위한 "데이터 엔진"을 구축했습니다. 이것은 로봇이 고난도의 "구멍에 핀 끼우기" 게임을 하는 것과 같습니다. 목표는 단순합니다: 부품을 끼워 넣는 것입니다. 문제는 가끔 부품이 약간 휘어 있거나, 구멍이 더럽거나, 로봇의 잡는 위치가 어긋날 수 있다는 점입니다. 만약 로봇이 넣어서는 안 될 때 억지로 밀어 넣는다면 장비를 손상시킬 수 있습니다.

전통적으로 안전을 위해 로봇은 매 시도마다 "비싼 검증(Expensive Verification)"을 수행합니다. 이 특정 실험에서 그것은 로봇이 부품의 높이를 측정하기 위해 물리적으로 부품을 만지는 것을 의미했습니다. 이것은 100% 정확한 체크이지만, 한 사이클당 약 5초가 소요됩니다. 만약 수천 개의 부품에 대해 이 작업을 수행해야 한다면 공장은 멈춰버릴 것입니다.

연구진은 이 느린 물리적 점검을 머신러러닝 모델을 사용한 빠르고 디지털적인 "추측"으로 대체하고 싶었습니다. 하지만 그들은 단순히 로봇에게 추측하게 내버려 둔다면 실수가 너무 많아질 수 있다는 점을 알고 있었습니다. 그래서 그들은 일종의 '신뢰도 미터기' 역할을 하는 시스템을 발명했습니다.

시스템 작동 방식: "직감 체크"

여기 마법 같은 기술이 있습니다: 로봇은 단순히 추측하는 것이 아니라, 자신의 추측이 얼마나 확실한지를 계산합니다.

1. 감각 입력: 로봇이 부품을 밀어 넣을 때, 로봇은 "힘 프로파일(force profile)", 즉 시간이 경과함에 따라 얼마나 강하게 밀었는지를 나타내는 그래프를 기록합니다. 이것은 마치 부품이 미끄러져 들어가는 소리를 듣는 것과 같습니다. 매끄럽게 미끄러지는 소리와 걸린 소리는 다릅니다.
2. 두뇌 (머신러닝): 로봇은 머신러닝 모델을 사용하여 그 힘 그래프를 보고 "성공했는가?"를 예측합니다.
3. 신뢰도 미터기 (윌슨 점수, Wilson Score): 이것이 가장 중요한 부분입니다. 모델은 단순히 "예" 또는 "아니오"라고 말하지 않습니다. 모델은 **윌슨 점수(Wilson Score)**라는 수학적 도구를 사용하여 자신의 답변 주변에 안전망을 그립니다. 모델은 신뢰도의 "하한선(lower bound)"을 계산합니다.
   • 시험을 치르는 학생을 상상해 보십시오. 학생이 100% 확신한다면 즉시 손을 듭니다. 만약 50%만 확신한다면 주저합니다.
   • 이 로봇의 경우, 만약 "하한선"의 신뢰도가 충분히 높다면(즉, 통계적으로 틀릴 가능성이 매우 낮다면), 로봇은 자신의 예측을 믿고 다음 단계로 넘어갑니다.
   • 만약 신뢰도가 낮다면(안전망이 너무 흔들린다면), 로봇은 "잘 모르겠다"라고 판단하고, 절대적으로 확실히 하기 위해 느리지만 "비싼 검증"(물리적 높이 측정)을 수행합니다.

자기 개선 루프

이 시스템의 가장 멋진 점은 작업할수록 더 똑똑해진다는 것입니다.

• 로봇이 확신이 없을 때: 로봇은 느린 물리적 점검을 수행합니다. 하지만 여기서 핵심은, 로봇이 그 데이터를 저장한다는 것입니다! 로봇은 "성공이라고 생각했지만, 물리적 점검 결과 실패였다"라고 기록합니다.
• 학습: 시스템은 이러한 "내가 틀렸던" 순간들을 가져와서 자신의 두뇌를 재학습시키는 데 사용합니다. 로봇은 "실패"의 힘 프로파일이 실제로 어떤 모습인지를 배웁니다.
• 결과: 시간이 지나면서 로봇은 자신이 확신하지 못하는 상황을 덜 마주하게 됩니다. 로봇은 더 자주 자신감 있게 예측하기 시작하며, 느린 물리적 점검의 필요성이 극적으로 줄어듭니다.

숫자가 말해주는 것

연구진은 실제 로봇 팔을 대상으로 이를 테스트했습니다. 그들은 1,503번의 삽입 시도를 통해 시스템을 실행했습니다. 그들은 "신뢰도 임계값"(로봇이 자신의 예측을 믿기 위해 얼마나 확신해야 하는지)을 조정함으로써, 시스템이 저지르는 실수의 횟수를 정확하게 제어할 수 있음을 발견했습니다.

• 제어된 오류: 그들은 오류율을 특정 한계치 미만(예를 들어, 5% 또는 10% 미만)으로 유지할 수 있음을 보여주었습니다.
• 속도 향축: 가장 좋은 시나리오에서, 로봇이 어느 정도 학습한 후에는 작업의 약 90%에 대해 느린 물리적 점검을 중단했습니다. 수학적으로 입증되었기에 로봇은 자신의 "직감"을 믿었습니다.
• 베이스라인 비교: 그들은 자신들의 방식(윌슨 점수)을 기존의 더 단순한 수학적 방법(이항 구간, Binomial Interval)과 비교했습니다. 기존 방식은 너무 성급했습니다. 즉, 너무 빨리 자신을 믿어버려 더 많은 실수를 유발했습니다. 윌슨 점수 방식은 더 인내심이 있었고, 진정으로 확신할 수 있는 충분한 증거를 모을 때까지 기다렸습니다.

결론

이 논문은 우주의 모든 로봇 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 사람이 매 초마다 옆에서 지켜보지 않아도 로봇이 작업하면서 스스로 학습할 수 있는 실용적인 방법을 보여줍니다.

수학적인 "신뢰 구간(confidence bound)"을 사용함으로써, 이 시스템은 로봇이 작업 속도를 높일 수 있도록 안전망을 만듭니다. 처음에는 조심스럽고 느리게 시작하지만, 데이터를 수집하고 실수로부터 배우면서 로봇은 더 빠르고 독립적으로 변하며, 동시에 허용되는 오류의 범위를 엄격하게 유지합니다. 이는 로봇이 지속적인 인간의 개입 없이도 빠르게 적응하고, 경험으로부터 배우며, 효율적으로 계속 운영될 수 있는 공장을 향한 한 걸음입니다.