💻 computer science

VQ-Touch: A Data-Efficient Tactile Generation Framework Across Sensors and Scenarios

VQ-Touch는 새로운 DM-VQGAN 표현 학습기와 퓨샷 혼합 학습을 갖춘 이산 확산 디코더를 활용하여 다양한 센서와 시나리오에 걸쳐 고충실도 촉각 데이터를 합성함으로써, 기존 방식의 일반화 및 데이터 의존성 한계를 극복하는 데이터 효율적인 촉각 생성 프레임워크이다.

원저자: Kailin Lyu, Long Xiao, Jianing Zeng, Di Wu, Lin Shu, Jie Hao

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kailin Lyu, Long Xiao, Jianing Zeng, Di Wu, Lin Shu, Jie Hao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 잘 익은 딸기를 집으려고 노력하는 모습을 상상해 보세요. 로봇은 아주 뛰어난 눈을 가지고 있지만, 눈만으로는 과일이 부드러운지 혹은 줄기가 곧 부러질 것 같은지를 느낄 수 없습니다. 이를 해결하기 위해 엔지니어들은 로봇에게 '피부'를 부여합니다. 즉, 물건을 만질 때 찌그러지거나 늘어나는 특수 센서를 주는 것이죠. 이 센서들은 압력과 질감을 사진(이미지)으로 변환합니다. 이것들을 '시각 기반 촉각 센서(vision-based tactile sensors)'라고 부릅니다. 마치 말랑말랑한 고무판을 바라보는 아주 작은 첨단 카메라와 같습니다. 판을 누르면 생기는 주름들이 로봇에게 무엇을 만지고 있는지 알려주는 것입니다. 문제는 이 센서들이 깨지기 쉽고 비싸며, 실제 환경에서 '촉각 사진'을 수집하는 작업이 매우 느리고 번거롭다는 점입니다. 이는 마치 시끄러운 방에서 단 한 사람의 연습 소리만 들으며 피아노 연주법을 배우려는 것과 같습니다. 실력이 늘려면 많은 데이터가 필요하지만, 그 데이터를 얻는 과정이 매우 고통스럽습니다. 과학자들은 현실에서 직접 모든 데이터를 찍는 대신, 컴퓨터를 이용해 이 촉각 사진들을 '꿈꾸듯' 만들어내거나 합성하는 방법을 연구해 왔습니다. 하지만 이전의 시도들은 마치 로봇에게 오직 한 종류의 장갑만을 사용하여 촉각을 가르치려는 것과 같았습니다. 만약 로봇이 다른 종류의 장갑을 끼게 되면, 컴퓨터는 혼란에 빠졌습니다.

여기에 로봇의 피부를 위한 '보편적 번역기' 역할을 하는 새로운 프레임워크인 VQ-Touch가 등장했습니다. 이 프로젝트의 연구진은 로봇에게 각각의 센서 유형마다 따로 촉각을 가르치는 대신, 거의 모든 센서에 적용될 수 있는 '촉각의 언어'를 가르칠 수 있다는 사실을 깨달았습니다. 그들은 DM-VQGAN이라는 시스템을 구축했는데, 이는 본질적으로 촉각 사진에서 가장 중요한 부분, 즉 큰 찌그러짐과 미세한 질감만을 포착하고 지루한 배경 소음은 무시하는 데 능숙한 아주 똑똑한 화가와 같습니다. 얼굴의 핵심적인 선만을 그려내어 머리카락 색이나 배경에 상관없이 누구를 앉혀두어도 잘 작동하는 스케치 작가를 떠올려 보세요.

하지만 진짜 마법은 여기에 있습니다. 팀은 서로 다른 많은 센서가 사실 '사촌 관계'라는 것을 알아냈습니다. 그들은 이 센서들을 골든 레트리버와 래브라도가 모두 개(dog)인 것처럼 가족 단위로 묶었습니다. **퓨샷 혼합 훈련(few-shot mixed training)**이라는 영리한 기술을 사용하여, 컴퓨터에게 처음 보는 새로운 센서의 사진을 아주 조금(예를 들어 단 50장의 이미지) 보여주고 이를 '사촌' 센서들의 데이터와 섞어서 보여주었습니다. 그러자 컴퓨터는 빠르게 다음과 같이 파악했습니다. "아, 이 새로운 센서는 같은 가족의 일원이구나!" 그리고는 수천 개의 예시가 없어도 즉각적으로 해당 센서의 촉각 사진을 생성하는 법을 배웠습니다. 그 후 그들은 **이산 확산 디코더(discrete diffusion decoder)**를 사용했는데, 이는 마치 어떤 프롬프트(예: 바위 사진, '나무'라는 단어, 또는 다른 촉각 사진 등)를 받더라도 그 프롬프트에 완벽하게 부합하는 새롭고 고품질인 촉각 사진을 써 내려가는 창의적인 작가와 같습니다.

결과는 인상적이었습니다. 테스트 결과, VQ-Touch는 단순히 추측하는 것에 그치지 않고, 매우 적은 데이터만 가지고도 이전 방식들보다 훨씬 높은 정확도로 촉각 이미지를 재현해 냈습니다. 실제로, 이 모델은 단 몇 개의 예시와 센서의 '가족 관계'를 파악하는 것만으로도 한 번도 본 적 없는 센서에 대한 촉각 사진을 생성할 수 있었습니다. 로봇이 질감으로 물체를 인식해야 하든, 훈련을 위해 촉각 장면을 시뮬레이션해야 하든, 이 새로운 프레임워크는 기존의 최첨단 모델들보다 더 빠르고, 더 적은 데이터로, 더 잘 해냈습니다. 이는 우리가 매번 사용하는 새로운 도구마다 물리적인 데이터를 수집하기 위해 수년을 보낼 필요 없이, 곧 로봇에게 세상을 보는 법을 가르치는 것만큼이나 쉽게 느끼는 법을 가르칠 수 있음을 시사합니다.

기술 요약: VQ-Touch

문제 정의

촉각 이미지 생성은 고충실도의 촉각 데이터를 합성하여, 비용이 많이 들고 마모되기 쉬운 시각 기반 촉각 센서(VBTS)에 대한 의존도와 번거로운 실제 데이터 수집 파이프라인을 줄이는 것을 목표로 합니다. 기존 방법들은 진전을 이루었으나, 다음과 같은 두 가지 결정적인 한계에 직면해 있습니다:

데이터 비효율성: 특정 센서 유형을 위한 사전 학습을 위해 대규모의 다양한 데이터셋이 필요하며, 이는 데이터가 부족하거나 시각적 제약이 있는 환경에서 성능 저하를 초래합니다.
낮은 일반화 능력: 학습된 특징들이 서로 다른 센서를 사용하는 이미지 생성 작업으로 일반화되지 못해, 교차 센서 적용성을 저해합니다.

본 연구가 다루는 핵심 과제는, 모든 새로운 장치에 대해 대규모 데이터셋으로 전체 재학습을 수행할 필요 없이, 다양한 센서와 시나리오 전반에서 생성을 용이하게 하는 데이터 효율적인 촉각 표현(representation)을 어떻게 학습할 것인가 하는 점입니다.

방법론

제안된 프레임워크인 VQ-Touch는 교차 센서 및 다중 시나리오 적용을 위해 설계된 3단계 파이프라인으로 작동합니다:

1. DM-VQGAN: 효율적인 촉각 표현 학습

촉각 이미지의 낮은 분산(low-variance)을 가진 잠재 공간(latent space)을 모델링하면서 풍부한 기하학적 정보와 질감 정보를 보존하기 위해, 저자들은 VQGAN(Vector Quantized GANs)을 기반으로 한 촉각 특화 인코더-디코더 아키텍처인 DM-VQGAN을 제안합니다.

변형 가능한 컨볼루션(Deformable Convolutions): 고정된 컨볼루션을 사용하는 표준 VQGAN과 달리, DM-VQGAN은 동적인 공간 오프셋(spatial offsets)을 적응적으로 학습하는 변형 가능한 컨볼루션을 통합합니다. 이를 통해 VBTS의 특징인 비강체(non-rigid), 복잡하고 불규칙한 변형 패턴을 포착할 수 있습니다.
다중 스케일 융합(Multi-scale Fusion): 매크로 수준의 전역적 변형과 마이크로 수준의 질감 특징을 동시에 추출하기 위해 병렬 확장 컨볼루션 모듈(dilation rates 1, 2, 4)이 채택되어 수용 영역(receptive field)을 확장합니다.
학습 목적 함수: 모델은 재구성 손실( $L_1$ ), 벡터 양자화 손실(commitment loss 포함), 지각 손실(perceptual loss), 그리고 적대적 손실(adversarial loss)을 최소화합니다.

2. 교차 센서 일반화를 위한 퓨샷 혼합 학습(Few-shot Mixed Training)

새로운 센서의 데이터 부족 문제를 해결하기 위해, VQ-Touch는 센서 패밀리(sensor families) 개념에 기반한 전략을 도입합니다.

센서 패밀리 클러스터링: 본 프레임워크는 설계/제조 공정상 고유한 특성은 공유하지만 환경 조건이 다른 센서들을 동일한 "센서 패밀리"로 식별합니다. DM-VQGAN에 의해 추출된 특징 중심점(feature centroids)을 사용하여 프로토타입 벡터를 이용한 비지도 클러스터링 전략으로 센서들을 그룹화합니다.
혼합 학습: 전체 재학습 대신, 시스템은 소량의 샘플로 구성된 혼합 데이터셋을 구축합니다. 이는 미지의 센서에서 얻은 소수의 이미지와 식별된 센서 패밀리의 기존 데이터를 결합합니다 (예: 1:5 비율). DM-VQGAN은 이 혼합 데이터로 학습되어, 최소한의 추가 데이터만으로도 학습된 표현이 새로운 센서로 전이될 수 있도록 합니다.

3. 통합 이산 확산 디코더(Unified Discrete Diffusion Decoder)

이산 확산 모델이 생성 디코더 역할을 수행하며, 다양한 입력 모달리티를 지원하는 통합 인터페이스를 통해 조건화됩니다:

멀티모달 조건화: 디코더는 시각적 이미지(동결된 CLIP 인코더를 통해), 원시 촉각 이미지(센서별 코드북을 통해 이산 인덱스로 매핑됨), 또는 시맨틱 레이블을 조건으로 사용할 수 있습니다.
생성 과정: 조건부 잠재 특징은 트랜스포머 블록을 통해 노이즈가 섞인 잠재 표현과 상호작용하여 고품질의 촉각 이미지를 합성하며, 이를 통해 제로샷 전이(zero-shot transfer) 및 교차 센서 생성과 같은 작업을 가능하게 합니다.

주요 기여

DM-VQGAN: 촉각 데이터 특유의 변형 및 질감 특성에 최적화된, 일반화 가능하고 정보가 풍부한 특징을 포착하는 효율적인 촉각 표현 학습기입니다.
통합 멀티모달 프레임워크: 다양한 생성 요구사항을 해결하기 위해 다양한 입력(시각, 촉각, 레이블)을 지원하는 조건부 생성 시스템입니다.
센서 패밀리 전이 전략: 클러스터링과 퓨샷 혼합 학습을 사용하여 알려진 센서에서 동일 패밀리 내의 새로운 변종으로 특징을 전이하는 혁신적인 접근법으로, 대규모 멀티 데이터셋 학습의 필요성을 제거합니다.
성능: 본 프레임워크는 촉각 이미지 재구성 및 생성 작업에서 최첨단(state-of-the-art) 결과를 달달하며, 특히 시각적 정보가 제한되거나 데이터가 부족한 시나리오에서 탁월한 성능을 보입니다.

실험 결과

저자들은 GelSight, GelSight Mini, DIGIT 센서를 포함하는 4개의 공개 데이터셋(Touch and Go, FabricVST, VisGel, HCT)을 통해 VQ-Touch를 평가했습니다.

재구성 품질: 재구성 작업에서 DM-VQGAN은 다양한 샘플 크기(100개에서 10k개까지)에 걸쳐 베이스라인(MAE, VQGAN)보다 일관되게 우수한 성능을 보였습니다. 특히, 단 100개의 샘플로 학습된 DM-VQGAN이 10k개의 샘플로 학습된 MAE보다 더 나은 결과를 얻었으며, MAE가 복구하지 못한 미세한 촉각 구조를 보존했습니다.
생성 지표: 촉각 생성 작업(HCT 및 SSVTP 데이터셋)에서 VQ-Touch는 CTTP, LPIPS, SSIM, PSNR 측에서 UniTouch, PixArt- $\alpha$ , TextToucher보다 가장 높은 점수를 기록했습니다.
퓨샷 및 제로샷: 모델은 우수한 퓨샷 표현 학습 및 미지의 객체에 대한 제로샷 일반화 능력을 입증했습니다. 교차 센서 재구성 시, 미지의 센서 이미지 일부를 패밀리 데이터와 혼합하여 학습함으로써 효과적인 전이가 가능함을 보여주었습니다.
다운스트림 유용성: VQ-Touch가 생성한 이미지로 학습된 분류기는 PixArt- $\alpha$ 로 학습된 분류기(88.79%)보다 높은 객체 인식 정확도(예: FabricVST에서 92.48%)를 달성했습니다.

의의

본 논문은 VQ-Touch를 촉각 데이터 부족 문제를 해결하기 위한 솔루션으로 제시합니다. 퓨샷 촉각 생성의 새로운 패러다임을 구축함으로써, 이 프레임워크는 교차 센서 호환성 및 시각 정보가 없는 멀티모달-투-촉각(multimodal-to-tactile) 생성을 가능하게 합니다. 저자들은 이 접근 방식이 높은 충실도를 유지하면서 로봇 조작 및 질감 인식과 같은 다운스트림 작업의 학습 비용을 크게 낮춘다고 주장합니다. 센서 패밀리 클러스터링과 혼합 학습 전략은 로보틱스 및 인간-컴퓨터 상호작용 분야에서 확장 가능한 촉각 인지를 위한 핵심 요소로 강조되며, 물리적 데이터 수집을 대체할 강력한 대안을 제공합니다.