More with LESS -- Local Scene Representations for Tactile Imaging

기술 요약: LESS – 촉각 이미징을 위한 국소 장면 표현(Local Scene Representations)

문제 정의
촉각 이미징(Tactile Imaging, TI)은 촉각을 통해 부드러운 물체의 내부 구조를 재구성하는 것을 목표로 하며, 이는 의료 진단(예: 병변 탐지) 및 로봇 조작에 있어 매우 중요한 능력이다. Rimon 등[34]의 연구와 같은 최근의 자기 지도 학습(Self-Supervised Learning, SSL) 방식들은 유망한 결과를 보여주었으나, 다음과 같은 중대한 한계점을 지닌다:

1. 전역적 표현(Global Representations): 기존 방식들은 전체 촉각 장면을 하나의 구조화되지 않은 벡터로 인코딩한다. 이는 물리적 대상의 구성적 특성을 무시하며, 일반화를 위해 "가능한 모든 물체 조합"에 대해 학습해야 하므로 계산 비용이 많이 들고 종종 불가능하다.
2. 로봇 의존성: 이전 방식들은 포즈 추적과 수직 운동 패턴을 위해 정밀한 로봇 기구학에 의존하므로, 복잡하고 비수직적인 움직임을 포함하는 인간의 촉진(palpation)을 수행하는 핸드헬드(hand-held) 장치에 적용하기 어렵다.
3. 차원성: 이전 연구들은 주로 2D 이미징에 국한되어 있었으며, 3D 볼륨에서 얻을 수 있는 더 풍부한 구조적 정보를 놓치고 있었다.

방법론: LESS (국소 센싱을 위한 로컬 인코더)
저자들은 촉각 센싱의 본질적인 국소적 특성을 활용하도록 설계된 객체 중심 신경 아키텍처인 LESS를 제안한다. 핵심 통찰은 특정 위치에서의 물체 내부 구조에 대한 촉각 반응은 먼 거리의 구조와 거의 독립적이라는 점이다.

• 아키텍처:

  • 입자 그리드(Grid of Particles): 단일 전역 벡터 대신, 촉각 장면을 $N$개의 국소 표현(입자)으로 구성된 그리드로 모델링한다. 각 입자는 정의된 공간 수용 영역(receptive field)을 가진 순환 신경망(구체적으로는 Gated Recurrent Unit, GRU)이다.
  • 국소 처리: 각 입자는 자신의 수용 영역 내에 떨어지는 촉각 측정값(힘과 포즈)의 시퀀스만을 처리한다. 입력값은 입자의 위치를 기준으로 중심화되며, 사인형 위치 인코딩(sinusoidal positional encodings)과 MLP를 사용하여 인코딩된다.
  • 가중치 공유: 모든 입자는 가중치를 공유하여, 모델이 절대적 위치에 불변하는 국소 촉각 반응을 학습할 수 있도록 한다.
  • 이미지 재구성: 모든 입자의 잠재 상태(latent states)는 융합되어 2D 또는 3D 이미지를 재구성한다. 이미지 생성을 위해 각 입자의 잠재 상태는 전치 컨볼루션(transposed convolution)을 통해 국소 이미지 패치로 매핑된다. 이 패치들은 로짓(logits)을 평균 내고 소프트맥스(softmax)를 적용하여 최종 이미지를 생성하기 위해 스티칭(stitching)된다.
  • 불확실성 추정: 아키텍처의 국소적 특성 덕분에 클래스 확률의 섀넌 엔트로피(Shannon entropy)를 사용하여 픽셀 수준의 불확실성 추정이 가능하다. 이는 한 위치에서의 불확실성이 먼 곳의 위치와 얽히지 않기 때문이다.

• 학습 및 데이터 수집:

  • 자기 지도 학습 (SSL): 인코더-디코더는 힘 예측을 통해 학습된다. 모델은 현재의 국소 표현을 바탕으로 미래 위치에서의 힘을 예측하며, 평균 제곱 오차(MSE)를 최소화한다.
  • 데이터셋: 저자들은 다음을 포함하여 현재까지 가장 큰 규모의 연성체(soft-body) 촉각 상호작용 데이터셋(~800시간)을 수집했다:
    • data-v1: 수직 "찌르기(poke)" 동작 (이전 연구와 유사).
    • data-poke: 다양한 센서 방향을 가진 수직 동작.
    • data-primitive: 인간의 촉진과 유사한 텔레오퍼레이션(teleoperated) 동작.
    • data-handheld: 표식 기반 포즈 추정 시스템으로 추적되는 핸드헬드 센서를 사용하여 수집된 수동 데이터.
  • 팬텀(Phantoms): 다양한 모양, 크기, 수(단일, 다중, 연결된 형태)의 포함물(inclusions)을 포함하는 하이드로젤 충전재와 부드러운 실리콘 피부로 구성된 모듈형 팬텀을 사용했다. 그라운드 트루스(ground truth)는 3T MRI를 통해 얻었다.
  • 손실 함수: 이미지 재구성을 위해, 작은 포함물과 큰 배경 겔 사이의 클래스 불균형을 해결하기 위해 Focal loss와 Dice loss의 조합을 사용한다.

핵심 기여

1. 제로샷 구성적 일반화(Zero-Shot Compositional Generalization): LESS는 보지 못한 구성에 대해 일반화하는 능력을 입증한다. 단일 포함물이 있는 팬텀으로만 학습된 모델이 테스트 시점에 다중 포함물 및 더 큰 크기의 물체를 정확하게 재구성한다. 이는 모델이 전역적인 장면 조합이 아닌 국소적 패턴을 학습하기 때문에 가능하다.
2. 3D 재구성: 이 방법은 촉각 이미징을 2D 슬라이스에서 전체 3D 볼륨으로 확장한다. 놀랍게도, 3D 라벨로 학습하는 것이 2D 전용 학습보다 2D 슬라이스 지표를 개선하는데, 이는 모델이 인접한 슬라이스 간의 공간적 규칙성을 학습하기 때문인 것으로 보인다.
3. 핸드헬드 촉각 이미징: 저자들은 개념 증명 단계의 핸드-헬드 시스템을 제시한다. 외부 포즈 추적을 통합하고 다양한 동작 프리미티브(인간의 움직임 포함)로 학습함으로써, 고정된 로봇 설정 외부에서도 실시간 이미징을 가능하게 한다.
4. 공간적 불확실성: 아키텍처는 국소적 불확실성 추정을 제공하여 운영자가 추가 데이터를 수집해야 할 영역을 식별할 수 있게 하며, 이는 전역적 표현에서는 달성하기 어려운 기능이다.

실험 결과

• 일반화: "다중 포함물" 및 "대형(large)" 팬텀(분포 외 데이터)에 대한 제로샷 테스트에서, LESS는 전역 베이스라인(GLOBAL)을 크게 앞질렀다. 예를 들어, 다중 포함물 세트에서 LESS는 71.1%의 F1 점수를 기록하여 GLOBAL의 44.6%와 대조를 보였다.
• 3D vs 2D: 3D 볼륨으로 학습하는 것이 2D 슬라이스만으로 학습하는 것보다 더 나은 2D 재구성 정확도(예: 더 낮은 중심점 오차/CoM error)를 나타냈다.
• 포즈 강건성: 시스템은 약 1mm의 위치 노이즈와 약 0.1 라디안의 방향 노이즈까지 안정적으로 유지된다.
• 핸드헬드 성능: 로봇이 잡은 센서가 핸드헬드 동작보다 약간 더 높은 정확도(CoM 오차 ~1.6mm)를 보였으나, 다양한 동작 데이터(data-primitive)로 학습했을 때 로봇 전용 데이터로만 학습했을 때보다 성능 격차가 상당히 줄어들었다.

의의 및 주장
본 논문은 LESS가 실용적이고 운영자 독립적인 촉각 이미징을 향한 중요한 단계임을 주장한다. 전역적 표현에서 국로적 표현으로 전환함으로써, 이 방법은 기존 SSL 방식의 데이터 비효율성을 극복하고 재학습 없이도 복잡한 합성 물체에 대한 일반화를 가능하게 한다. 실시간 불확실성 시각화를 갖춘 핸드헬드 시스템의 개발은 로봇 연구와 임상적 유용성 사이의 간극을 메우며, 가정용 기기 및 의사의 검진을 돕는 도구로서의 잠재력을 가진다. 저자들은 현재 작업이 합성 팬텀을 사용하고 있으나, 기술적 프레임워크(특히 핸드헬드 시스템)가 향-인체 조직에 대한 향후 평가를 용이하게 하도록 설계되었음을 언급한다.