🤖 machine learning

Tactus: Open-Vocabulary Object Recognition from Low-Cost Pressure Arrays

Tactus는 저비용 저항성 압력 배열에 대한 마스크드 오토인코더 사전 학습을 활용하여 단 187개의 레이블된 기록만으로 STAG 벤치마크에서 최첨단 성능을 달 impart함으로써, 효과적인 촉각 기반 객체 인식이 광학 센서나 대규모 지도 학습 데이터셋을 필요로 하지 않음을 입증하는 오픈 보캐블러리 촉각 인식 모델이다.

원저자: Abdul Basit Tonmoy

게시일 2026-08-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abdul Basit Tonmoy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

촉각의 비밀 언어

세상을 완벽하게 볼 수는 있지만, 악수의 느낌에는 무지한 로봇을 상상해 보십시오. 그 로로봇은 탁자 위의 커피 머그잔을 찾아낼 수는 있지만, 만약 머그잔을 잡은 상태에서 커튼이 카메라를 가려버린다면 로봇은 갑자기 길을 잃게 됩니다. 자신이 머그잔을 잡고 있는지, 공을 잡고 있는지, 아니면 아무것도 잡지 않았는지 알 수 없게 되는 것입니다. 여기서 "촉각 센싱(tactile sensing)"이 등장합니다. 즉, 기계에게 촉각을 부여하는 과학입니다. 오랫동안 연구자들은 부드럽고 말랑말랑한 젤 내부의 화려한 카메라를 이용해 로봇이 손가락으로 "보는" 법을 가르치려 노력해 왔습니다. 하지만 이러한 방식은 비싸고 깨지기 쉽습니다. 반면, 실제 세상에는 스마트 장갑부터 로봇 손에 이르기까지 어디에나 존재하는 저렴하고 내구성이 강한 압력 센서가 가득합니다. 이 센서들은 사진을 찍는 것이 아니라, 서로 다른 지점이 얼마나 세게 눌리는지를 측정할 뿐입니다. 과학자들이 던져온 핵심 질문은 이것입니다. "단순한 압력 지도(pressure map)를 읽는 것만으로 로봇이 자신이 무엇을 잡고 있는지 이해하도록 가르칠 수 있는가? 그리고 특정 물체 목록을 암기할 필요 없이 그렇게 할 수 있는가?" 다시 말해, 압력 지도를 보고 "이것은 머그잔 같은 느낌이다"라고 말할 수 있도록, 촉각의 언어를 이해시킬 수 있느냐는 것입니다.

Tactus: 로봇에게 압력을 "읽는" 법을 가르치다

압력이라는 침묵의 언어를 인간의 언어로 번역하는 통역사 역할을 하는 새로운 AI 모델, Tactus를 소개합니다. 연구진은 저가의 압력 센서 데이터만을 사용하여 텍스트 질문에 답할 수 있도록 이 모델을 구축했습니다. 548개의 작은 압력 지점(이를 "택셀(taxel)"이라 부릅니다)이 있는 장갑을 끼고 있다고 상상해 보십시오. 당신이 무언가를 잡으면, 이 지점들은 마치 밤하늘의 별처럼 빛나며 압력이 높은 곳과 낮은 곳을 보여줍니다. Tactus는 이 "별 지도"를 보고, "사람의 손이 머그잔을 단단히 쥐고 있음"과 같은 텍스트 설명과 비교하여 당신이 무엇을 잡고 있는지 추측하려고 시도합니다.

Tactus의 가장 놀라운 점은 학습에 필요한 데이터가 매우 적었다는 것입니다. 보통 AI 모델은 어떤 과제를 잘 수행하기 위해 수백만 개의 예시가 필요합니다. 그러나 Tactus는 27가지의 서로 다른 물체를 잡는 187개의 녹화본만으로 학습했습니다. 이를 가능하게 하기 위해 연구진은 영리한 기술을 사용했습니다. 먼저 AI가 144,000개의 라벨이 없는 압력 지도를 보고 "공상(daydreaming)"하게 하여, 이미지의 누락된 부분을 채우도록 가르쳤습니다(이는 마스크드 오토인코더 사전 학습(masked autoencoder pretraining)이라 불리는 기술입니다). 그 다음, 이 "촉각 뇌"를 이미 단어를 이해하는 방대한 사전 학습 언어 모델에 연결했습니다. 그 결과, Tactus는 **77.1%**의 정확도(top-1)로 물체를 맞출 수 있었는데, 이는 해당 27개의 물체만을 인식하도록 특화되어 훈련된 훨씬 더 복잡한 시스템들과 대등하거나 때로는 더 뛰어난 성능입니다. Tactus는 별도의 훈련된 분류기 헤드(classifier head) 없이도, 자신이 평가받는 특정 카테고리에 대해 당신이 입력한 단어가 얼마나 잘 느껴지는지를 순위를 매기는 방식으로 작동합니다.

성공의 비결 (그리고 숨겨진 함정)

연구팀은 Tactus의 성공 비결이 화려한 새로운 컴퓨터 구조가 아니라, 몇 가지 지루하고 실용적인 세부 사항을 해결하는 데 있었다는 것을 발견했습니다. 그들은 사용 중인 센서에 "휴지기 노이즈(resting noise)", 즉 실제로는 0이 아닌 기본 압력이 존재한다는 것을 발견했습니다. 만약 이 문제를 해결하지 않았다면, AI는 본질적으로 97%가 회색이고 단 3%만이 흥미로운 그림으로부터 학습하려고 시도하는 셈이 되었을 것입니다. 센서 자체의 교정 수학(calibration math)을 적용하여 데이터를 정제하자, 모델의 성능은 극적으로 뛰어올랐습니다. 이 단 하나의 수정 사항이 AI의 뇌 구조를 변경하는 모든 변화보다 더 중요했습니다.

또한 연구진은 AI가 손이 물체를 잡는 전체 영상을 볼 필요는 없다는 것도 배웠습니다. 다양한 각도를 보는 것이 도움이 되긴 하지만, 손이 물체를 만지는 두 개의 뚜렷한 프레임만으로도 8개 프레임을 관찰했을 때 얻을 수 있는 정확도의 **89%**를 회복할 수 있었습니다. 이는 로봇이 자신이 무엇을 잡고 있는지 알기 위해 긴 영상이 필요한 것이 아니라, 촉각의 서로 다른 스냅샷 두 개만 있으면 충분하다는 것을 시사합니다.

AI가 틀리는 이유 (그리고 그것은 AI의 잘못이 아니다)

성공적임에도 불구하고 Tactus가 완벽한 것은 아닙니다. 연구진은 오류를 분석하여 흥미로운 사실을 발견했습니다. AI는 단어가 비슷해서 혼동하는 것이 아니었습니다. 예를 들어, "머그(mug)"와 "컵(cup)"을 헷지는 이유는 단어의 발음이 비슷해서가 아닙니다. 대신, 그 '느낌'이 비슷하기 때문에 혼동합니다. Tactus는 종종 "키와노(kiwano, 가시가 있는 과일)"를 "체인(chain)"으로 착각하는데, 이는 둘 다 손을 누르는 별개의 딱딱한 점들의 집합처럼 느껴지기 때문입니다. 또한 "드라이버"를 "머그"로 착각하는데, 이는 둘 다 길고 가는 원통형의 느낌을 주기 때문입니다. 오류는 언어가 아니라 촉각의 물리적 특성에 관한 것입니다.

논문은 또한 작동하지 않았던 아이디어들도 테스트했는데, 이는 그 자체로 매우 중요합니다. 연구진은 범용적인 "촉각 언어"를 배우길 기대하며 서로 다른 유형의 센서 데이터를 동시에 학습시켜 보았습니다. 하지만 효과는 없었으며, 오히려 모델의 성능을 떨어뜨렸습니다. 또한 AI에게 물체의 사진을 보면서 동시에 느끼도록 가르쳐 보기도 했지만, 시각 정보(배경이나 손 자체를 보여주는 것)가 너무 방해가 되어 촉각 감각을 혼란스럽게 만들었습니다. 여기서 얻은 교훈은, 이러한 저가형 압력 센서의 경우 모든 것을 섞으려 하기보다 한 종류의 센서에 집중하고 데이터를 완벽하게 정제하는 것이 더 낫다는 것입니다.

요약

Tactus는 기계에게 촉각을 부여하기 위해 카메라가 가득한 비싼 로봇 손가락이 필요하지 않다는 것을 증명합니다. 저렴한 압력 센서와 약간의 스마트한 데이터 정제, 그리고 언어 모델과의 연결만 있다면, 로봇은 압력 지도를 읽는 것만으로 자신이 무엇을 잡고 있는지 이해할 수 있습니다. 이는 때때로 AI의 가장 큰 돌파구가 더 큰 뇌를 만드는 것이 아니라, 세상이 이미 보내고 있는 단순한 신호에 더 귀를 기울이는 데 있다는 것을 상기시켜 줍니다. 이 모델은 이제 누구나 사용할 수 있도록 공개되어 있으며, 로봇의 기억 속에 삽입하여 "내가 무엇을 잡고 있지?"라고 물어볼 수 있게 해줍니다.

기술 요약: Tactus – 저가형 압력 어레이를 이용한 오픈 보캐블러리(Open-Vocabulary) 객체 인식

문제 정의

저항성 압력 어레이는 가장 널리 보급되어 있고 비용 효율적인 촉각 센서이지만, 촉각 표현 학습 분야는 주로 변형되는 젤을 촬영하는 광학 센서에 집중해 왔습니다. 압력 어레이를 위한 폐쇄형(closed-set) 분류기는 존재하지만, 저차원의 압력 신호를 자연어와 직접 연결할 수 있는 오픈 모델은 존재하지 않습니다. 이러한 격차는 촉각 데이터를 교차 모달(cross-modal) 및 언어 검색이 가능한 로봇 메모리에 통합하는 것을 방해합니다. 또한, 기존 방식들은 대규모 지도 학습 데이터셋에 의존하는 경우가 많으나, 저가형 센서는 모든 데이터 처리 결정이 매우 중요한 소규모 데이터 환경에서 작동하는 경우가 많습니다.

방법론

Tactus는 짧은 압력 프레임 윈도우를 고정된 텍스트 임베딩 공간으로 매핑하는 오픈 모델로, 훈련된 분류기 헤드 없이 코사인 랭킹(cosine ranking)을 통해 텍스트 쿼리에 대한 오픈 보캐블러리 인식을 가능하게 합니다.

아키텍처 및 데이터 경로

입력: 모델은 30Hz 속도로 32×32 압력 맵(548-taxel 저항성 글러브에서 유도됨)을 처리합니다.
정규화: 핵심 구성 요소는 센서 자체의 교정 아핀(calibration affine)인 clip((raw - 500)/150, 0, 1)을 적용하는 것입니다. 이는 센서의 휴지기 페데스탈(resting pedestal)을 보정하고 전체 동적 범위를 활용하도록 보장하며, 저자는 이 단계가 아키텍처 변경보다 더 영향력이 컸다고 밝혔습니다.
백본(Backbone): ResNet-18 너비의 트렁크(trunk)가 개별 프레임을 처리합니다.
퓨전(Fusion): $K=8$ 프레임으로 구성된 그립 윈도우는 연결된 특징 맵(feature maps)에 대한 학습된 1×1 컨볼루션을 통해 융합됩니다.
투영(Projection): 융합된 특징은 멀티모달 모델(Qwen3-VL-Embedding-2B)의 고정된 텍스트 임베딩 공간으로 투영됩니다 (512→1024→2048).
학습 전략:
- 사전 학습(Pretraining): 트렁크는 동일한 센서에서 추출한 144k개의 레이블 없는 프레임을 사용하여 마스크드 오토인코더(MAE) 사전 학습을 통해 초기화됩니다.
- 미세 조정(Fine-tuning): 모델은 187개의 녹화본을 바탕으로 훈련됩니다. 훈련 스플릿은 총 101,615개의 프레임을 포함하며, 이 중 88,269개(65%)가 감독 학습에 사용 가능한 유효 레이블 프레임입니다. 연속된 프레임(중복 데이터에 가까움) 대신, k-means 클러스터링을 사용하여 서로 다른 손-물체 구성으로부터 다양한 프레임 튜플을 생성합니다.
- 목적 함수: 고정된 텍스트 공간에 임베딩된 자연어 그립 구절(예: "사람의 손이 머그컵을 꽉 쥐고 있는 모습")에 대한 레이블 교차 엔트로피를 사용합니다.

실험 설정

평가는 STAG 벤치마크(27개 객체 + 빈 손)를 사용합니다. 이 작업은 규모 확장에 대해 의도적으로 "적대적(hostile)"입니다. 즉, 187개의 훈련 녹화본, 단일 센서 유형, 그리고 고정된 언어 측면만을 사용합니다. 저자는 이 소규모 데이터 제약을 특정 레시피 결정의 영향을 격리하기 위한 실험적 도구로 취급합니다.

주요 기여

오픈 보캐블러리 압력-언어 모델: Tactus는 STAG 홀드아웃 테스트 세트에서 0.771 ± 0.062의 top-1 정확도를 달성하여, 감독 학습 기반의 폐쇄형(closed-set) CNN 베이스라인(0.76)과 대등하거나 이를 상회하면서도 오픈 보캐블러리 쿼리를 지원합니다.
측정된 소규모 데이터 레시피: 본 논문은 데이터 경로 보정(특히 센서 교정 및 클러스터 샘플링)이 아키텍처 변경보다 성능 향상에 더 크게 기여함을 보여주는 정량화된 "사다리(ladder)"를 제공합니다.
오류 분석: 저자는 잔여 오류가 언어적 유사성이 아닌 물리적 접촉 모호성(예: 점 접촉 패턴이 유사하여 키와노 열매와 체인을 혼동하는 경우)에 의해 구조화되어 있음을 보여줍니다. 오류는 텍스트 타겟의 기하학적 구조와 상관관계가 없습니다 ( $\rho \le 0.05$ ).
추론 시간 개선:
- 튜플 투표(Tuple Voting): 독립적으로 샘플링된 네 개의 그립 윈도우에 대해 임베딩을 평균 내면 top-1 정확도가 +4.1 포인트 향상됩니다.
- 프레임 효율성: 두 개의 다양한 프레임만으로도 8개 프레임 윈도우가 달성한 정확도의 89%를 회복할 수 있으며, 이는 얕은 시간적 통합만으로도 충분함을 시사합니다.
정량화된 부정적 결과: 저자는 다음을 포함한 실패 사례를 엄격하게 기록했습니다:
- 교차 센서 사전 학습: 다른 센서 제품군(16×16 taxel)의 데이터를 결합하는 것은 이득을 주지 못했으며, 알려진 교차 센서 성능 저하 현상을 재현했습니다.
- 비전 공동 학습(Vision Co-training): 촉각을 동기화된 카메라 프레임과 정렬시키면 촉각 성능이 저하되었습니다. 이는 시각 신호가 물체의 정체성보다는 손과 장면의 외형에 의해 지배되었기 때문입니다.
- 입력 정규화 결함: 포렌식 분석 결과, 초기 미스-정규화(mis-normalization)가 센서의 동적 범위 중 97%를 암묵적으로 버렸으며, 이로 인해 성능 붕괴가 발생했습니다. 이는 센서 특유의 교정 아핀을 적용함으로써 해결되었습니다.

결과

성능: 4회 실행에 대한 평균 top-1 정확도는 0.771 ± 0.062이며, top-3 정확도는 0.935입니다. 공개된 체크포인트(단일 실행)는 0.817의 top-1을 달성했으며, 튜플 투표를 적용하면 0.858까지 상승합니다.
비교: 이 성능은 훨씬 더 어려운 오픈 보캐블러리 작업과 훈련된 분류기 헤드의 부재에도 불구하고, 감독 학습 기반의 폐쇄형 CNN 베이스라인(0.76)과 일치합니다.
오류 분포: 27개 클래스 중 20개가 0.80 이상의 top-1 점수를 기록했습니다. 주요 실패는 접촉 모호성이 있는 쌍(예: 키와노 vs 체인, 드라이버 vs 머그컵)에서 발생합니다.
강건성: 정확도는 쿼리 문구(패러프레이징된 문구 또는 단순 명칭 쿼리 간의 차이)에 민감하지 않습니다 (차이는 약 1 포인트 내외).

의의 및 주장

본 논문은 저가형 촉각 센서의 경우 데이터 품질과 교정이 아키텍처 복잡성보다 우위에 있다고 주장합니다. 가장 큰 성능 향상은 센서 데이터시트의 교정을 올바르게 적용했을 때 나타났으며, 이는 모든 아키텍처 변경을 합친 것보다 더 많은 정확도를 회복시켰습니다.

이 연구는 고정된 언어 측면이 촉각 인식을 위한 병목 현상이 아님을 입증합니다. 남은 오류는 언어 모델의 문제가 아니라 센서 신호의 물리적 한계(접촉 모호성)에서 기인합니다. Tactus는 값비싼 광학 센서나 거대한 레이블 데이터셋 없이도 저가형 압력 어레이를 교차 모달 로봇 메모리에 통합할 수 있는 레시피를 제시합니다. 저자는 힘(force) 어레이의 경우, 각 센서 제품군을 독자적인 사전 학습 도메인으로 취급하는 것이 현재로서는 유일하게 근거 있는 접근 방식이라고 강조합니다.

모델, 가중치, 코드 및 이를 플러그인할 수 있는 메모리 레이어가 공개되어, 기존 스택을 수정하지 않고도 촉각을 쿼리 가능한 채널로 기존 로봇 세션 로그에 통합할 수 있습니다.