FlowTouch: View-Invariant Visuo-Tactile Prediction

이 논문은 카메라 시점과 센서 설정에 구애받지 않고 시각 정보를 기반으로 접촉 패턴을 예측하여 시뮬레이션과 현실 간의 격차를 해소하고 그립 안정성 예측에 활용 가능한 새로운 모델 'FlowTouch'를 제안합니다.

핵심

FlowTouch: 로봇이 '눈'으로 만지는 법을 배우다

이 논문은 로봇이 물체를 만지기 전에 어떻게 그 물체의 질감과 모양을 예측할 수 있는지에 대한 새로운 기술을 소개합니다. 이를 **'FlowTouch'**라고 부릅니다.

생각해 보세요. 우리가 신발을 신기 전에 발을 넣기만 해보지 않고도, 신발 안쪽이 얼마나 넓고 부드러운지 눈으로 보고 대략적으로 짐작할 수 있죠? 로봇도 똑같은 능력을 가지면 훨씬 더 똑똑해집니다.

이 기술의 핵심 아이디어를 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제: 로봇의 '눈'과 '손'은 왜 따로 놀까?

로봇에게는 두 가지 중요한 감각이 있습니다.

• 눈 (카메라): 멀리서 물체를 볼 수 있지만, 물체를 직접 만지지 않으면 표면이 얼마나 매끄러운지, 얼마나 단단한지는 알 수 없습니다.
• 손 (촉각 센서): 물체를 직접 만져야만 표면의 질감이나 모양을 정확히 알 수 있습니다.

문제점: 로봇이 물체를 잡으려고 할 때, 손이 닿기 전까지는 촉각 센서가 아무것도 알려주지 않습니다. 마치 눈을 감고 신발을 신으려는 것과 비슷하죠. 그래서 로봇은 "이제 만져볼까?"라고 고민하다가 실수를 하거나, 너무 조심스럽게 움직여야 합니다.

2. 해결책: FlowTouch (눈으로 만지는 마법)

FlowTouch 는 "눈으로 본 모습만 보고, 만졌을 때의 촉감을 예측하는" 인공지능입니다.

기존의 방법들은 카메라 사진과 촉각 센서 데이터를 그냥 연결하려고 노력했지만, 이는 마치 **"특정 방의 조명과 배경에 맞춰서만 작동하는 자물쇠"**와 같았습니다. 배경이 조금만 바뀌어도 작동하지 않았죠.

FlowTouch 는 이 문제를 완전히 다르게 접근합니다.

🏗️ 비유: 3D 청사진 (메쉬) 을 사용하는 건축가

FlowTouch 는 로봇이 물체를 볼 때, 단순히 2D 사진만 보는 게 아니라 **가상의 3D 청사진 (메쉬)**을 먼저 그립니다.

• 기존 방식: "이 사진 속의 빨간 장난감은 만지면 이렇게 느껴질 거야." (사진에 너무 의존함)
• FlowTouch 방식: "이 장난감의 **3D 모양 (청사진)**을 보면, 이 부분이 만져지면 이렇게 느껴질 거야." (모양과 구조에 집중)

이렇게 3D 모양을 기준으로 삼으면, 카메라 각도가 바뀌거나 배경이 달라져도 로봇은 물체의 실제 구조를 기억하고 있기 때문에 정확한 촉각을 예측할 수 있습니다.

3. 어떻게 훈련할까? (가상 현실 vs 현실)

이 기술을 가르치려면 엄청난 양의 '만져지는 데이터'가 필요합니다. 하지만 실제 로봇으로 수천 번 만져보는 건 너무 비싸고 느립니다.

• 가상 현실 (시뮬레이션) 훈련: FlowTouch 는 컴퓨터 속 가상 세계에서 먼저 수만 번의 '가상 터치'를 경험합니다. 여기서 로봇은 다양한 모양의 물체를 만져보며 "이런 모양이면 이런 촉감이 나겠지?"라고 학습합니다.
• 현실 세계로 이동: 가상에서 배운 지식을 실제 로봇에 적용할 때, **도메인 적응 (Domain Adaptation)**이라는 기술을 사용합니다.
  • 비유: 가상 세계에서 배운 운전 실력을 실제 도로에 적용할 때, 비가 오거나 도로가 다른 경우에도 차를 잘 몰 수 있도록 **'가상 운전면허'**를 **'실제 운전면허'**로 업그레이드하는 과정입니다. FlowTouch 는 이 과정에서 실제 데이터의 작은 양만으로도 가상에서 배운 지식을 현실에 잘 맞춰줍니다.

4. 왜 이것이 중요한가? (그립 안정성)

이 기술의 가장 큰 장점은 실제 로봇 작업에 바로 쓸 수 있다는 점입니다.

논문에서는 FlowTouch 가 예측한 '가상의 촉각 이미지'를 이용해 로봇이 물체를 잡을 때 **"이대로 잡으면 떨어질까, 아니면 단단히 잡힐까?"**를 미리 판단하는 실험을 했습니다.

• 결과는 놀라웠습니다. 로봇이 실제로 물체를 만지기 전에 FlowTouch 가 예측한 정보를 바탕으로 잡는다면, 실제 만져본 것과 거의 비슷한 성공률을 보였습니다.
• 마치 눈으로 보고 "이건 미끄러우니까 더 꽉 잡아야겠다"라고 미리 판단하는 것과 같습니다.

5. 요약: FlowTouch 의 핵심

1. 눈으로 만지다: 카메라로 본 물체의 3D 모양을 분석해서, 만졌을 때의 느낌을 미리 그려냅니다.
2. 가상에서 현실로: 컴퓨터 게임처럼 가상 세계에서 많이 연습한 뒤, 실제 로봇에 적용할 때 약간의 보정만 거칩니다.
3. 새로운 센서에도 통한다: 로봇에 달린 촉각 센서가 바뀌어도, 물체의 '모양'을 기준으로 예측하므로 새로운 센서에도 잘 작동합니다.

결론적으로, FlowTouch 는 로봇에게 **"눈을 감고 만지는 것"**이 아니라, **"눈으로 보고 만지는 법을 미리 상상하는 능력"**을 부여합니다. 이는 로봇이 더 빠르고, 더 안전하게, 그리고 더 정교하게 물체를 다룰 수 있게 해주는 중요한 기술입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 촉각의 중요성: 로봇이 물체를 조작할 때 촉각은 물체의 기하학적 구조, 표면 특성, 상호작용 힘에 대한 직접적인 피드백을 제공하여 정밀한 제어를 가능하게 합니다.
• 현재의 한계: 촉각 센서 (GelSight, DIGIT 등) 는 물체와 물리적 접촉이 발생했을 때만 데이터를 제공합니다. 이는 작업 계획 단계나 초기 실행 단계 (비접촉 상태) 에서 촉각 정보를 활용할 수 없음을 의미합니다.
• 기존 방법의 결함: 카메라 이미지에서 촉각 센서 출력을 직접 예측하는 기존 접근법 (VisGel, ViTacGen 등) 은 특정 설정 (Setup) 과 카메라 시점에 강하게 의존합니다. 또한, 시나리오와 객체에 따라 광범위한 데이터를 필요로 하며, 시뮬레이션과 현실 간의 격차 (Sim-to-Real Gap) 를 극복하기 어렵습니다.
• 핵심 문제: 시야 (Viewpoint) 와 장면 (Scene) 에 독립적으로, 그리고 새로운 센서 인스턴스에 일반화될 수 있는 시각 - 촉각 예측 모델의 부재.

2. 제안 방법론: FlowTouch (Methodology)

FlowTouch 는 카메라 이미지로부터 정적 촉각 이미지를 예측하는 새로운 프레임워크로, **기하학적 정보 (3D 메쉬)**를 명시적으로 활용하여 시나리오 의존성을 줄입니다.

A. 핵심 아이디어

• 기하학적 추상화: 객체의 국소적 3D 메쉬 (Local 3D Mesh) 를 사용하여 풍부한 정보를 인코딩하고, 장면 의존적인 세부 사항을 추상화합니다.
• Flow Matching 기반 생성 모델: 이미지 생성을 위해 Flow Matching (유동 매칭) 기반 모델을 활용합니다.

B. 시스템 아키텍처

1. 입력 데이터:
   • PCN (Point Cloud with Normals): 대상 객체 메쉬에서 접촉점 주변에 무작위로 샘플링된 3D 점과 법선 벡터 (5,000 개).
   • 배경 이미지 (Background Image): 접촉이 없는 상태의 촉각 센서 기본 이미지 (Spatial Prior 역할).
2. 메쉬 생성 및 샘플링:
   • SceneComplete: RGB-D 이미지와 객체 설명을 입력받아 3D 메쉬를 생성하고 로봇 좌표계에 정렬합니다.
   • MuJoCo 시뮬레이션: 생성된 메쉬를 기반으로 그리퍼의 원하는 포즈에서 접촉 패드와의 교차 영역을 계산하고, 해당 영역의 PCN 을 샘플링합니다.
3. 생성 모델 (Flow Matching):
   • Latent Encoding: Stable Diffusion 에서 영감을 받아, 타겟 촉각 이미지와 배경 이미지를 4 채널 잠재 공간 (Latent Space) 으로 압축합니다.
   • 조건부 생성: 배경 이미지는 채널 스택 (Channel Stacking) 방식으로 노이즈 잠재 변수에 결합되어 각 스텝에서 배경 정보를 직접 참조합니다.
   • Cross-Attention: 샘플링된 PCN 은 Transformer 의 Cross-Attention 메커니즘을 통해 생성 모델에 조건부 (Conditioning) 로 제공되어 기하학적 정보를 반영합니다.
4. 도메인 적응 (Domain Adaptation):
   • 2 단계 학습: 대규모 합성 데이터 (Simulation) 로 사전 학습 후, 소량의 실제 데이터로 파인튜닝합니다.
   • 도메인 조건부 토큰 (Domain Conditioning): 합성/실제 데이터 여부를 나타내는 플래그를 학습 가능한 임베딩으로 변환하여 모델에 주입합니다.
   • Sparsh Perceptual Loss: 다양한 센서 하드웨어 간의 차이를 줄이고 하위 작업에 중요한 기하학적 정보를 보존하기 위해, 자기지도 학습 인코더 (Sparsh) 의 임베딩 공간에서 예측값과 정답의 거리를 최소화하는 손실 함수를 추가합니다.

C. 합성 데이터 생성 파이프라인

• Taxim 과 MuJoCo 를 결합하여 다양한 기본 기하학적 형태 (Primitive) 와 접촉 변형을 시뮬레이션합니다.
• 평평한 영역보다 모서리나 가장자리 등 기하학적으로 중요한 위치를 집중적으로 샘플링하여 10 만 개 이상의 고유한 샘플을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 기하학 조건부 생성 프레임워크: 탐색적 로봇 움직임 없이 초기화 단계의 카메라 이미지와 3D 메쉬만으로 촉각 신호를 예측하는 새로운 프레임워크 제안.
2. 효율적인 Sim-to-Real 전이: 합성 데이터 기반 사전 학습과 실제 데이터 기반 파인튜닝, 도메인 조건부 토큰, Sparsh 손실 함수 등을 결합하여 고비용의 실제 데이터 수집을 대폭 줄이고 성능을 향상시킨 방법론 제시.
3. 강력한 일반화 능력: 새로운 장면, 객체, 그리고 **새로운 센서 인스턴스 (Zero-shot)**에 대한 일반화 능력 입증.
4. 하위 작업 검증: 생성된 촉각 이미지를 이용한 그립 안정성 (Grasp Stability) 예측 실험을 통해 실제 로봇 조작 작업에 활용 가능함을 증명.

4. 실험 결과 (Results)

• 데이터셋: ObjectFolderReal (GelSight), YCB-Slide (DIGIT), 자체 수집 데이터 (SELF-D) 및 대규모 합성 데이터 (SIM-G, SIM-D) 를 사용.
• 모델 아키텍처 비교: 배경 이미지를 채널 스택 (BG-Stack) 하는 방식이 DINOv2 인코더를 사용하는 방식보다 파라미터 효율성과 성능 면에서 우수함을 확인.
• 도메인 적응 기법 평가:
  • Domain Conditioning이 모든 메트릭 (PSNR, SSIM, LPIPS) 에서 가장 큰 성능 향상을 보임.
  • Sparsh Perceptual Loss는 픽셀 단위 메트릭에서는 미세한 저하를 보일 수 있으나, 하위 작업 (그립 안정성) 에 중요한 정보를 보존하는 데 결정적임.
  • Optimizer Reset은 파인튜닝 시 학습의 안정성을 높임.
• Zero-shot 일반화: 훈련 데이터에 포함되지 않은 새로운 DIGIT 센서 인스턴스와 객체에서도 기하학적 형태를 올바르게 예측하여 촉각 이미지를 생성함 (정량적 메트릭은 낮지만 정성적으로 유의미한 결과).
• 그립 안정성 예측 (Grasp Stability):
  • FlowTouch 가 생성한 촉각 이미지를 사용하여 그립 성공/실패를 분류하는 실험에서, Ground Truth 를 사용한 베이스라인 (85.83%) 과 유사한 성능 (81.35% ~ 86.06%) 을 달성.
  • 특히, GS-G 데이터셋을 전혀 보지 않은 상태 (Zero-shot) 에서도 81.35% 의 정확도를 기록하여 물리적 특성을 잘 보존함을 입증.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 로봇이 접촉 전에 촉각을 '예상'하여 더 나은 행동 계획과 부드러운 비접촉 - 접촉 전환을 가능하게 함.
  • 시뮬레이션과 현실의 격차를 줄이고, 다양한 센서와 환경에 적용 가능한 범용적인 시각 - 촉각 예측 모델을 제시.
  • 실제 로봇 배포를 위해 장면 재구성 (Scene Reconstruction) 기술을 통합하여 실용성 확보.
• 한계:
  • 메쉬 품질 의존성: 예측 성능이 생성된 3D 메쉬의 품질과 정렬 (Alignment) 정확도에 크게 의존함 (밀리미터 단위 오차에 민감).
  • 미시적 질감: 현재 모델은 메쉬 기반이므로 미세한 질감 (Texture) 정보는 예측하지 못함.
  • 힘 (Force) 표현: 힘의 크기를 명시적으로 인코딩하지 않고, PCN 의 깊이 (Depth) 를 통해 간접적으로 표현함.

결론

FlowTouch 는 시각 정보를 촉각 정보로 변환하는 과정에서 시야와 장면에 구애받지 않는 기하학적 중심 (Geometry-centric) 접근법을 제시함으로써, 로봇의 지능적인 조작 능력을 향상시키는 중요한 진전을 이루었습니다. 이는 향후 로봇이 복잡한 환경에서 더 안전하고 효율적으로 물체를 다룰 수 있는 기반 기술로 평가됩니다.