CAAT: Contact-Aware Attention Scaling and Tactile Masking for Data-Efficient Contact-Rich Manipulation

로봇이 깨지기 쉬운 달걀을 집는 법을 배우려고 한다고 상상해 보세요. 로봇에게 눈만 있다면, 테이블 위에 놓인 달걀을 보고 움직임을 계획할 수 있습니다. 하지만 로봇의 손가락이 달걀에 닿는 순간, 카메라 시야는 가려지게 됩니다. 그리고 진짜 마법이 일어납니다. 로봇은 너무 세게 쥐고 있는지 혹은 너무 느슨하게 쥐고 있는지 알기 위해 압력, 미끄러짐, 그리고 질감을 느껴야 합니다. 이것이 바로 로봇의 성공 여부가 '보는 것'과 '느끼는 것' 사이를 전환하는 능력에 달려 있는 "접촉 풍부 조작(contact-rich manipulation)"의 세계입니다. 오랫동안 로봇에게 이 기술을 가르치는 것은 마치 학생에게 지도를 읽는 법과 지형을 느끼는 법을 동시에 가르치되, 언제 기어를 바꿔야 하는지는 알려주지 않는 것과 같았습니다. 로봇의 두뇌(보통 트랜스포머라고 불리는 복잡한 AI)는 언제 눈의 소리에 귀를 기울이고 언제 피부의 소리에 귀를 기울여야 할지 추측하려고 애쓰지만, '느끼는' 부분이 전체 작업 중 아주 짧은 순간에만 발생하기 때문에 종종 혼란을 겪습니다.

이 논문은 로봇이 정확히 언제 모드를 전환해야 하는지 파악하도록 돕는 CAAT(Contact-Aware Attention Scaling and Tactile Masking, 접촉 인지 주의력 스케일링 및 촉각 마스킹)라는 영리한 새로운 기술을 소개합니다. CAAT를 로봇의 감각을 위한 스마트한 교통 관제사라고 생각해보세요. 로봇이 촉각에 집중할 때를 스스로 추측하게 만드는 대신, CAAT는 간단한 규칙을 사용합니다: "아무것도 만지고 있지 않다면 눈을 믿고, 무언가를 만지고 있다면 피부를 믿어라." 또한 CAAT는 두 번째 초능력을 가지고 있습니다. 바로 로봇의 촉각을 위한 노이즈 캔슬링 헤드폰 역할을 하는 것입니다. 로봇의 손가락이 아무것도 만지지 않을 때도 피부 센서는 배경(예: 공기나 테이블)을 계속 느끼며, 이는 지루하고 산만한 정보입니다. CAAT는 이 배경 소음을 즉시 차단하여 로봇이 실제 접촉이 일어나는 '큰' 신호에만 집중할 수 있게 합니다. 이 두 가지 기술을 결합함으로써, 로봇은 훨씬 더 빠르게 학습하며, 배울 수 있는 사례가 많지 않은 상황에서도 훨씬 더 뛰어난 성능을 보여줍니다.

문제점: 로봇의 감각적 혼란

로봇은 카메라를 사용하여 빈 공간을 이동하는 데 능숙합니다. 컵, 병, 또는 열쇠를 보고 그것을 잡기 위한 위치를 파악할 수 있습니다. 하지만 무언가를 만지기 시작하는 순간, 게임의 규칙이 바뀝니다. 현실 세계에서 병 뚜껑을 돌려 따거나 열쇠를 자물쇠에 끼워 넣는 것과 같은 작업들은 카메라가 결코 볼 수 없는 미세한 물리적 느낌—예를 들어 약간의 미끄러짐이나 압력의 변화—에 의존합니다.

문제는 로봇이 '시각 모드'에서 '촉각 모드'로 언제 전환해야 할지 어려워한다는 점입니다. 대부분의 현재 로봇은 모든 정보를 그냥 한데 섞어서 처리하며, 스스로 적절한 균형을 찾기를 기대하는 표준적인 AI 두뇌를 사용합니다. 이는 마치 학생에게 라디오를 동시에 틀어놓은 상태에서 수학 문제를 풀라고 요구하는 것과 같습니다. 로봇은 매 순간 어떤 감각이 중요한지 추측해야 합니다. 또한 '촉각'이 필요한 부분은 '보는' 부분에 비해 매우 짧고 드물게 발생하기 때문에, 로봇의 두뇌는 모든 시각 데이터에 압도되어 결정적인 촉각 단서들을 무시하게 됩니다. 이는 학습을 느리고 비효율적으로 만들며, 특히 로봇이 공부할 수 있는 연습 횟수가 충분하지 않을 때 더욱 그렇습니다.

해결책: CAAT의 2단계 마법

저자들은 로봇의 감각을 위한 스마트한 필터 역할을 하는 경량 프레임워크인 CAAT를 제안합니다. 이는 로봇의 두뇌를 대체하는 것이 아니라, 어떻게 들어야 하는지에 대한 더 나은 지침을 제공하는 것입니다. CAAT는 두 가지 뚜렷한 단계로 작동합니다:

1. "노이즈 캔슬링" 촉각 (동적 촉각 마스킹 - Dynamic Tactile Masking)
당신이 시끄러운 방 안에서 속삭임을 들으려고 노력한다고 상상해 보세요. 만약 방 안에 끊임없는 배경 소음이 가득하다면, 속삭임을 들을 수 없을 것입니다. 마찬가지로, 로봇의 촉각 센서는 물체를 만지고 있지 않을 때도(예: 공기나 테이블을 느끼는 것) 항상 무언가를 '느끼고' 있습니다. 이것이 정적인 배경 소음입니다.
CAAT는 "참조(reference)" 촉각을 도입합니다. 즉, 로봇의 손가락이 아무것도 만지지 않을 때의 느낌입니다. 로봇이 움직임에 따라 CAAT는 현재의 촉각을 이 참조 값과 끊임없이 비교합니다. 만약 센서의 특정 부분이 참조 값과 똑같이 느껴진다면, CAAT는 그것을 단순한 배경 소음으로 간주하고 차단합니다. 만약 센서의 일부가 다르게 느껴진다면(물체에 눌리고 있다면), CAAT는 그 볼륨을 높입니다. 이를 통해 로봇은 나머지 부분을 무시하고 실제로 세상과 상호작용하고 있는 손가락 부위에만 집중할 수 있습니다.

2. "스마트 교통 관제사" (접촉 인지 주의력 스케일링 - Contact-Aware Attention Scaling)
소음이 제거되면, 로봇은 여전히 보아야 할지 느껴야 할지를 결정해야 합니다. CAAT는 미리 프로그래밍된 간단한 규칙을 사용합니다:

• 접촉 전: 로봇이 물체를 향해 손을 뻗고 있을 때, CAAT는 두뇌에 "눈을 믿어라!"라고 말합니다. 이를 통해 로봇이 경로를 탐색하고 정렬할 수 있도록 시각 정보의 중요성을 높입니다.
• 접촉 중: 로봇이 물체에 닿는 순간, CAAT는 스위치를 전환합니다. "피부를 믿어라!"라고 말하며, 로봇이 움켜쥐는 힘과 압력을 조절할 수 있도록 촉각 정보의 중요성을 높입니다.

이것은 복잡한 추측이 아닙니다. 시스템에 내장된 구조적인 규칙입니다. 로봇은 언제 전환해야 할지를 배울 필요가 없습니다. 시스템이 접촉 여부에 따라 자동으로 이를 처리합니다.

연구 결과: 더 빠른 학습, 더 나은 결과

연구진은 컴퓨터 시뮬레이션과 실제 로봇 손을 이용한 물리적 환경, 두 가지 방식으로 CAAT를 테스트했습니다.

시뮬레이션에서:
그들은 병을 들어 올리거나 튜브를 삽입하는 등 다섯 가지 작업이 포함된 UniVTAC 벤치마크를 사용했습니다.

• CAAT 없이, 표준적인 방식(시각과 촉각을 단순히 섞는 방식)은 평균 성공률이 약 **51.6%**였습니다.
• CAAT를 적용했을 때, 성공률은 **69.6%**로 뛰었습니다.
• 이는 표준 방식보다 18.0 퍼센트 포인트, 스스로 전환 규칙을 배우려고 시도하는 다른 고급 방법들보다 10.0 퍼센트 포인트나 높은 수치입니다.
• 결정적으로, CAAT는 로봇에게 학습을 위한 데이터가 매우 적게 주어졌을 때(최소 25개의 시연 데이터)도 가장 잘 작동했으며, 이는 이 "스마트한 전환"이 로봇의 빠른 학습을 돕는다는 것을 증명합니다.

실제 환경에서:
연구진은 병 들어 올리기, 상자 열기, 보조 배터리 꺼내기라는 세 가지 까다로운 작업을 로봇에게 테스트했습니다. 그들은 세 가지 유형의 로봇 두뇌(ACT, Diffusion Policy, $\pi_0$)와 함께 CAAT를 테스트했습니다.

• 표준적인 "모든 것을 섞는" 접근 방식은 약 25%에서 36% 정도의 성공률만을 보였습니다.
• CAAT를 사용했을 때, 사용된 두뇌에 따라 성공률은 **55%에서 66%**로 급증했습니다.
• 평균적으로, CACA는 기존의 가장 좋은 방법들보다 21.1 퍼센트 포인트 더 우수한 성과를 냈습니다.
• 가장 극적인 개선은 "상자 열기" 작업에서 나타났습니다. 표준 방식은 거의 실패(10%~35%)했지만, CAAT는 **50%에서 60%**의 성공률을 기록했습니다.

이것이 왜 중요한가

이 논문은 더 나은 로봇 조작의 핵심이 단순히 더 많은 데이터나 더 큰 두뇌를 주는 것이 아니라, 감각이 어떻게 작동하는지에 대한 올바른 "상식"을 주는 데 있다는 점을 시사합니다. 움직일 때는 보고, 닿았을 때는 느끼도록 명시적으로 알려줌으로써, 그리고 촉각 센서의 지루한 배경 소음을 걸러냄으로써, CAAT는 로봇을 훨씬 더 효율적으로 만듭니다.

저자들은 이 방식이 다양한 유형의 로봇 두뇌에서 작동한다는 것을 발견했으며, 이는 CAAT가 많은 기존 시스템에 추가될 수 있는 유연한 도구임을 의미합니다. 결과는 매우 유망하지만, 논문은 이 결과가 테스트된 특정 작업(들어 올리기, 삽입하기 등)과 사용된 특정 로봇 설정에 국한되어 있음을 언급합니다. 그러나 핵심 아이디어, 즉 로봇에게 언제 눈을 믿고 언제 피부를 믿어야 하는지에 대한 명확한 규칙이 필요하다는 점은, 로봇이 수년간의 연습 없이도 섬세하고 접촉이 많은 작업을 수행할 수 있게 만드는 강력한 진전이라는 점을 보여줍니다.