Close-Fitting Dressing Assistance Based on State Estimation of Feet and Garments with Semantic-based Visual Attention

기술 요약: 발과 의류의 상태 추정 및 시맨틱 기반 시각적 주의력을 활용한 밀착형 의복 착용 보조

문제 정의
본 논문은 고령화 인구 증가와 간병인 부족 상황에서, 특히 양말과 같은 밀착형 의류의 자율적인 착용 보조 문제를 다룬다. 기존 연구는 상당한 정렬 오차를 허용하는 느슨한 의류(예: 셔츠, 바지)에 집중해 왔으나, 밀착형 의류를 입히기 위해서는 피부와의 마찰 및 걸림 현상을 관리하기 위한 미세한 힘 조절과 의류의 변형을 고려한 정교한 제어가 필요하다. 주요 난제는 인간의 신체적 다양성(발 크기, 형태, 피부색, 유연성)과 강화 학습을 위한 정확한 피부-의류 마찰 시뮬레이션의 어려움이다. 기존 방식은 RGB 데이터에 과도하게 의존하여 보지 못한 배경이나 물체에 대한 일반화 능력이 떨어지며, 직물의 탄성과 잡아당기는 힘의 방향 제어 사이의 균형을 맞추는 데 어려움을 겪는다.

방법론
저자들은 시맨틱 객체 이해와 공간 깊이 추정, 그리고 체성 감각 피드백을 통합하는 멀티모달 모방 학습 프레임을 제안한다. 이 시스템은 RGB 값에만 의존하지 않도록 설계되어 배경 및 외관 변화에 대한 강건성을 높였다.

1. 시맨틱 및 공간 지각 (복측-배측 모델):

   • 인간의 시각 체계인 이중 경로에서 영감을 받아, 모델은 시맨틱 세그멘테이션을 위한 SAM2 (Segment Anything Model 2) (복측 경로)와 깊이 추정을 위한 Depth Anything Model (DAM) (배측 경로)을 결합한다.
   • SAM2는 양말과 발에 대한 이진 마스크를 생성하여 색상 변화와 폐쇄(occlusion)의 영향을 완화한다.
   • DAM은 단안 RGB 이미지로부터 깊이를 추론한다. 시스템은 이를 융합하여 깊이 값을 마스크 영역 내에 임베딩함으로써, 양말과 발 사이의 3D 공간 관계(x, y, z)를 제공하는 "마스크된 깊이 맵(masked depth map)"을 생성한다.

2. 주의 메커니즘 (Attention Mechanisms):

   • 체성 감각 주의력 (Somatosensory Attention): 입력 스케일에 따라 최적의 특징 추출 커널(3×3 및 5×5)을 동적으로 선택하는 선택적 커널 네트워크(SKNet)가 사용된다. 이는 양말-발 접점의 탄성과 마찰을 관리하는 데 필수적인 촉각 피드백의 국소적 및 전역적 변화를 포착한다.
   • 시각적 주의력 (Visual Attention): 공간 주의력 순환 신경망(SARNN)이 시맨틱 마스크와 깊이 맵을 처리한다. 이 모델은 공간 소프트맥스(spatial softmax)를 적용하여 주의력 맵을 생성하고 예상 3D 키포인트를 계산한다. 이를 통해 시스템은 단순한 2D 돌출 영역이 아닌 기하학적 문맥에 집중할 수 있어, 폐쇄 상황에서도 견고한 위치 추정이 가능하다.

3. 제어 정책 (Hierarchical LSTM):

   • 핵심 정책은 계층적 LSTM(구체적으로 계층적 LSTM을 포함한 EIPL)이다. 이는 추출된 6개의 3D 키포인트, 관절 각도, 관절 토크, 엄지 촉각 정보를 처리한다.
   • 아키텍처는 모든 모달리티의 전역적 문맥을 통합하는 "유니언 LSTM(union LSTM)"을 사용하며, 이는 다시 모달리티별 "하위 LSTM(bottom LSTMs)"에 피드백을 제공한다. 이 구조는 모달리티 내부 및 모달리티 간의 의존성을 모델링한다.
   • 네트워크는 센서-모터 시퀀스의 다음 상태를 예측하여, 다음 타임스텝의 관절 각도, 토크 및 재구성된 이미지를 출력한다.

4. 학습 및 데이터 수집:

   • 데이터 수집 중 인간에게 가해질 수 있는 부담을 줄이고 안전을 확보하기 위해, 모델은 마네킹을 사용하여 학습되었다.
   • 데이터는 PS 컨트롤러를 이용한 원격 조작(teleoperation)을 통해 수집되었으며, 세 가지 발 각도(30°, 40°, 50°)에 걸쳐 12개의 샘플을 확보하였다.
   • 손실 함수는 관절 각도, 토크, 촉각 값, 예측 이미지 및 주의력 지점에 대한 평균 제곱 오차(MSE)를 결합한다.

주요 기여

• 밀착형 의류를 위한 멀티모달 모방 학습: 본 논문은 적절한 힘 상호작용을 통해 개인별 신체 차이에 적응할 수 있는 밀착형 의류 조작 방법을 확립하여, 느슨한 의류 연구의 한계를 넘어섰다.
• 시맨틱 기반 일반화: 원시 RGB 데이터 대신 시맨틱 마스크와 깊이 추정을 활용함으로써, 모델이 보지 못한 발 모양과 배경 환경에 일반화될 수 있음을 입증했다.
• 안전 중심 학습 및 평가: 마네킹으로 학습된 모델이 실제 인간 대상자에게 성공적으로 전이되는 파이프라인을 검증함으로써, 인간으로부터의 착용 데이터 수집 시 발생하는 안전 및 윤리적 문제를 해결했다.

실험 결과
시스템은 10명의 인간 참가자(발 크기 23.0–26.5 cm)를 대상으로 휴머노이드 로봇(AIREC)에서 평가되었으며, ACT (Action Chunking with Transformer) 및 **DP (Diffusion Policy)**와 비교되었다.

• 절제 연구 (Ablation Study): 계층적 LSTM 또는 SAM2와 DAM의 조합을 제거했을 때 성공률이 급격히 하락했다(100%에서 각각 5%와 0%로). DAM 또는 SKNet을 제거했을 때는 성능 저하가 중간 정도로 나타나, 깊이와 촉각 주의력의 결정적인 역할을 확인했다.
• 일반화 성능:
  • 제안된 모델은 알려진 배경에서 84%의 성공률(42/50), 알려지지 않은 배경에서 74%(37/50)를 달성했다.
  • 반면, ACT는 알려진 배경에서 66%, **알려지지 않은 배경에서는 0%**를 기록했다. DP는 과업을 전혀 완수하지 못했다.
• 힘 적응력: 제안된 모델은 다양한 발 크기에 대해 일관된 촉각 힘(발가락 부근 약 19N, 뒤꿈치 부근 약 21N)을 유지했으나, ACT는 크기 변화에 민로 민감하게 반응하며 일관되지 않은 힘을 가했다.
• 통계적 유의성: Wilcoxon 부호 순위 검정 결과, 제안된 모델과 ACT 사이에 통계적으로 유의미한 차이(p < 0.01)와 큰 효과 크기가 있음이 확인되었다.

의의 및 주장
본 논문은 제안된 모델이 의류와 발의 상태를 성공적으로 추정하여, 밀착형 의류에 대한 정밀한 착용 보조를 가능하게 한다고 주장한다. 시맨틱 이해를 깊이 및 체성 주의력과 통합함으로써, 로봇은 재학습 없이도 개별적인 발 크기, 형태, 유연성에 적응할 수 있다. 저자들은 이 접근 방식이 직물의 탄성과 피부 마찰의 복잡한 역학 관계로 인해 어려움을 겪는 순수 RGB 기반 시각 정책 및 시뮬레이션 기반 강화 학습의 한계를 극복한다고 강조한다.

한계 및 향후 과제
저자들은 시스템이 삽입 및 후속 착용 단계는 잘 처리하지만, 초기 발가락 삽입 단계의 정밀도는 여전히 제한적이며 엄격하게 평가되지 않았음을 솔직하게 언급했다. 인간 실험에서의 실패는 형태적 가변성(예: 제한된 발목 유연성, 발톱 걸림) 및 큰 발의 경우 팔을 너무 빨리 들어 올리는 현상 때문이었다. 향후 연구는 예상치 못한 발의 움직임에 대한 동적 적응을 다루고, 의도치 않은 접촉 감지에 기반한 온라인 동작 재계획(motion replanning)을 개선하는 것을 목표로 한다.