Shared Representation for 3D Pose Estimation, Action Classification, and Progress Prediction from Tactile Signals

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 인간 - 로봇 상호작용 (HRI) 에서 인간의 자세 추정, 행동 분류, 그리고 동작 진행도 (progress) 예측은 필수적입니다. 기존에는 주로 비전 (카메라) 기반 방법이 사용되었으나, 시야 가림 (occlusion) 문제와 사생활 침해 우려로 인해 실제 환경 적용에 한계가 있습니다.
• 대안: 촉각 (Tactile) 센서는 이러한 비전 기반의 한계를 극복할 수 있는 대안으로, 압력 정보를 통해 자세와 행동을 파악할 수 있습니다.
• 기존 연구의 한계: 기존 촉각 기반 연구들은 자세 추정, 행동 분류, 진행도 예측이라는 세 가지 작업을 별도로 수행하는 경우가 많았습니다. 이는 각 작업 간에 공유될 수 있는 상호 정보를 활용하지 못하게 하여 전체적인 성능을 저하시키는 요인이 되었습니다.
• 핵심 가설: 세 가지 작업 (자세, 행동, 진행도) 이 인간 운동의 밀접한 관련 요소이므로, **공유 표현 (Shared Representation)**을 학습하는 멀티태스크 학습 (Multi-task Learning) 프레임워크를 도입하면 각 작업이 서로에게 도움을 주어 전체 성능이 향상될 것이라는 가설을 세웠습니다.

2. 제안 방법론: SCOTTI (Methodology)

저자들은 **SCOTTI (Shared COnvolutional Transformer for Tactile Inference)**라는 통합 모델을 제안했습니다.

• 아키텍처:
  • CNN + Transformer 결합: 공간적 특징 추출을 위해 CNN 을, 시계열적 (Temporal) 특징 모델링을 위해 Transformer 를 결합했습니다.
  • 입력: 양발의 촉각 신호 (Left/Right foot tactile signals) 시퀀스를 입력받습니다.
  • 공유 인코더: CNN 특징 추출기를 통해 2D 촉각 프레임을 처리하고, 이를 임베딩 공간으로 변환한 후 Transformer 인코더에 입력합니다. 학습 가능한 Class Token 과 Positional Encoding 을 추가하여 전역적 표현을 학습합니다.
  • 멀티헤드 디코더: Transformer 의 출력을 공유 표현 (Shared Representation) 으로 사용하여, 세 개의 별도의 MLP(다층 퍼셉트론) 헤드를 통해 다음 세 가지 값을 동시에 예측합니다:
    1. 3D 인간 자세 (3D Human Pose)
    2. 행동 분류 (Action Class)
    3. 행동 진행도 (Action Progress, 0~1 사이 값)
• 손실 함수 (Loss Function):
  • 자세 추정: MPJPE(평균 관절 위치 오차) + MPJAE(평균 관절 각도 오차)
  • 행동 분류: 교차 엔트로피 손실 (Cross-entropy)
  • 진행도 예측: 평균 제곱 오차 (MSE)
  • 총 손실은 세 가지 손실의 가중 합으로 정의되며, 스케일 차이를 보정하기 위해 가중치 ($w_{pose}, w_{action}, w_{progress}$) 를 사용합니다.

3. 데이터셋 및 하드웨어 (Dataset & Hardware)

• 하드웨어: 저비용 (약 $50/개), 무선 전송이 가능한 맞춤형 고해상도 인솔 (Insole) 센서를 개발했습니다. 발바닥당 500 개 이상의 압력 센서를 포함하며, 16Hz 로 데이터를 전송합니다.
• 데이터 수집:
  • 참여자: 15 명
  • 활동: 스쿼트, 런지, 점프, 스텝업, 다양한 걷기 (제자리, 옆, 뒤, 일반) 등 8 가지 활동.
  • 규모: 총 7 시간 이상, 20 만 개 이상의 동기화된 촉각 및 시각 (Ground Truth) 프레임.
  • 라벨링: XRmocap 을 사용하여 3D 키포인트를 추출하고, 각 동작의 시작/중간/종료 지점을 정의하여 연속적인 진행도 (Progress) 라벨을 생성했습니다. (기존 연구에서는 진행도 예측을 촉각으로 시도한 사례가 없음)

4. 주요 실험 결과 (Results)

SCOTTI 는 기존 단일 작업 모델 및 멀티태스크 베이스라인 모델과 비교하여 모든 작업에서 우수한 성능을 보였습니다.

• 성능 비교 (Table I & II):
  • 자세 추정 (Pose Estimation): MPJPE 96.63mm 로 기존 최선 모델 (Voxel-CNN: 104.91mm 등) 보다 정확도가 높았습니다.
  • 행동 분류 (Action Classification): 정확도 90.06% 로 기존 모델 (STAT: 84.56%) 보다 약 5.5%p 향상되었습니다.
  • 진행도 예측 (Progress Prediction): MSE 0.0223 으로 무작위 예측 (0.1448) 및 기존 베이스라인보다 월등히 낮았습니다.
• 멀티태스크 학습의 효과:
  • 기존 베이스라인 모델들을 멀티태스크 방식으로 수정했을 때 성능 향상은 미미하거나 오히려 저하되는 경우가 있었습니다. 반면 SCOTTI 는 공유 표현을 통해 세 작업 간 시너지를 극대화하여 모든 지표에서 최상의 성능을 달성했습니다.
• 분석 (Ablation Study):
  • 공유 표현의 중요성: 단일 작업 모델 (Pose Only 등) 과 비교 시, 멀티태스크 모델이 자세 오차를 4.98mm 줄이고 행동 분류 정확도를 2.67%p 높이는 등显著的인 개선을 보였습니다.
  • 감지 영역 중요도: 발의 중앙부 (중앙 아치 등) 가 발뒤꿈치보다 더 중요한 정보를 제공함을 확인했습니다.
  • 특징 공간 시각화 (t-SNE): 학습된 공유 특징 공간에서 진행도에 따라 원형 구조를 이루거나, 행동 종류별로 명확하게 군집화 (Clustering) 됨을 확인하여 모델이 의미 있는 표현을 학습했음을 증명했습니다.

5. 주요 기여 및 의의 (Contributions & Significance)

1. 최초의 통합 모델: 촉각 신호를 사용하여 3D 자세 추정, 행동 분류, 행동 진행도 예측을 동시에 수행하는 최초의 연구입니다. 특히 진행도 예측은 촉각 분야에서 처음 시도된 과제입니다.
2. SCOTTI 모델: CNN 과 Transformer 를 결합하여 공간 및 시간적 특징을 효과적으로 추출하고, 멀티태스크 학습을 통해 상호 보완적인 성능 향상을 이끌어낸 아키텍처를 제안했습니다.
3. 대규모 데이터셋 공개: 15 명의 참가자가 수행한 8 가지 활동에 대한 7 시간 분량의 동기화된 촉각 - 시각 데이터셋을 구축하여 오픈소스로 공개할 예정입니다. 이는 향후 연구의 중요한 자원이 될 것입니다.
4. 실용적 가치: 카메라의 시야 제한과 사생활 문제를 우회할 수 있는 기술로, 로봇 보조, 노인 돌봄, 스포츠 분석, 재활 치료 등 다양한 분야에서 인간 - 로봇 상호작용의 신뢰성과 자연스러움을 높이는 데 기여할 것으로 기대됩니다.

결론

이 논문은 촉각 센서 데이터를 활용한 인간 운동 인식의 새로운 패러다임을 제시합니다. SCOTTI 모델을 통해 세 가지 핵심 과제를 통합적으로 해결함으로써 개별 작업 수행 시보다 우수한 성능을 입증했으며, 이를 통해 촉각 기반 로봇 기술의 실용성을 크게 확장했습니다.