Robust Assembly State Reasoning from Action Recognition for Human-Robot Collaboration

기술 요약: 인간-로봇 협업을 위한 행동 인식 기반의 강건한 조립 상태 추론

문제 정의
인더스트리 5.0 및 인간-로봇 협업(HRC)의 맥락에서, 로봇 파트너가 인간 행동 인식(HAR) 입력을 바탕으로 협업 조립 작업의 현재 단계를 정확하게 인지할 수 있도록 하는 것은 여전히 중요한 과제로 남아 있다. HAR 시스템은 흔나 특정 동작의 유형(예: "나사 조이기")은 식별할 수 있지만, 이러한 동작을 복잡한 조립 시퀀스의 특정 상태로 매핑하는 데는 자주 실패한다. 이는 특히 동일한 원시 유형의 반복적인 동작, 비선나형 사용자 행동(단계 건너뛰기 또는 순서 변경), 불완전한 센서 데이터가 포함된 실제 시나리오에서 특히 어렵다. 기존 방식들은 경직된 수작업 로직이나 특정 단서에 의존하여 상호작용의 유연성을 저해하거나, 고급 방법론들은 다양하고 노이즈가 많은 가변적 작업 환경 전반에 걸친 강건한 비교 능력이 부족하다.

방법론
저자들은 행동 인식 입력을 통한 조립 상태 추적을 위해 다섯 가지 서로 다른 방법을 체계적으로 조사하고 비교한다. 본 연구는 두 가지 다양한 오픈 소스 데이터셋을 활용한다:

1. HA4M: 13가지 행동 유형과 19가지 상태를 가진 유성 기어 트레인 조립 데이터로, 반복적인 동작이 특징이다.
2. IKEA ASM: 자연스러운 동작 순서 변화, 오류 수정, 반복적인 순환 동작이 특징인 세 가지 가구 조립 작업(커피 테이블, 사이드 테이블, TV 벤치)을 포함한다.

평가된 다섯 가지 접근 방식은 다음과 같다:

• 베이스라인 로직 (Baseline Logic): 관찰된 동작을 매칭하고 시간 카운터를 감소시키는 결정론적 알고리즘이다(카운터는 평균 동작 지속 시간을 기준으로 초기화됨). 관찰된 동작이 다음 예상 동작과 일치하거나 시간 임계값이 충족되면 상태를 진전시킨다.
• 확률적 강화 베이스라인 (Probabilistic Enhanced Baseline): 확률 모델을 통합한 베이스라인의 확장판이다. 하드 타임 임계값 대신, 평균 및 표준 편차를 기반으로 한 정규 누적 분포 함수(CDF)를 사용하여 동작 완료 확률을 계산하고, 이 확률이 0.9를 초과할 때 상태 전환을 트리거한다.
• 은닉 마르코프 모델 (HMM): 사전 정의된 전이 및 방출 행렬을 구현한 CategoricalHMM이다. 이 모델은 알려진 순차적 구조를 가정하며, 전이 확률은 현재 상태를 선호(0.7)하거나 다음 상태로 이동(0.225)하는 것을 선호하고, 방출 확률은 올바른 관측을 선호(0.7)한다. 이 방법은 학습 데이터가 필요하지 않다.
• 태스크 중심 LSTM (Task-Focused LSTM): 단일 작업 유형에 대해 특화되어 학습된 신경망이다. 원-핫 인코딩된 행동 시퀀스를 입력으로 받아 현재 상태 인덱스를 출력한다. 5초 윈도우와 20%의 시뮬레이션된 노이즈를 바탕으로 학습된다.
• 행동 중심 LSTM (Action-Focused LSTM): 각 동작에 대해 인스턴스화되도록 설계된 일반적인 신경망 아키텍처이다. 현재 동작 유형, 지속 시간 통계, 그리고 이전 동작 모델의 출력을 기반으로 특정 동작의 시작 및 완료 확률을 예측한다. 이는 새로운 작업마다 재학습하는 것을 피하기 위함이다.

실험은 두 단계로 진행되었다:

1. 시뮬레이션 입력: 다양한 수준의 주입된 노이즈(0% ~ 50%)를 가진 그라운드 트루스 행동 시퀀스를 대상으로 방법론들의 강건성을 평가하였다.
2. 실제적 입력: 사전 학습된 ST-GCN 모델을 사용하여 스켈레톤 데이터로부터 HAR 예측을 생성하였고, 이를 상태 추적 방법에 입력하여 실제 센서의 불완전성을 시뮬레이션하였다.

주요 결과
연구 결과, 모든 시나리오에 최적화된 단일 방법은 존재하지 않으며, 성능은 작업의 가변성과 입력 노이즈 수준에 크게 의존한다.

• 노이즈 강건성: 반복 동작이 있는 HA4M 데이터셋의 경우, Task-LSTM이 저중간 수준의 노이즈(노이즈 00.3에서 F1 점수 약 0.64)에서 가장 우수한 성능을 보였다. 그러나 노이즈가 증가함에 따라 로직 기반 방법들이 더 높은 회복력을 보였다.
• 가변적 작업: 높은 가변성과 반복적인 순환 동작이 특징인 IKEA 데이터셋에서는 Baseline 및 Probabilistic Baseline 방법이 신경망 및 HMM 방식보다 현저히 우수한 성능을 보였다. 특히 HMM은 HA4M의 순차적 동일 동작을 구분하는 데 어려움을 겪었으며, IKEA 시나리오에서 작업 끝으로 "점프"하는 경향을 보였다.
• 실제 HAR 입력: 실제 ST-GCN 출력(IKEA의 경우 F1 0.27로 낮은 정확도)을 사용했을 때, Probabilistic Baseline이 IKEA 작업에서 가장 높은 F1 점수(0.46)를 달립한 반면, Task-LSTM은 HA4M에서 우위를 유지했다(0.57).
• 실패 모드: 혼동 행렬(Confusion matrices) 분석 결과, 신경망과 HMM은 반복 동작이나 노이즈에 직면했을 때 특정 상태에 "갇히거나" 단계를 건너뛰는 경향이 있었다. 로직 기반 방법은 상태에 갇힐 가능성은 높았으나 단계를 건너뛰는 현상은 적었다.

의의 및 주장
본 논문은 강건한 상태 추적을 위한 HRC에는 "원 사이즈 피츠 올(one-size-fits-all)" 솔루션이 아닌 미묘한 접근 방식이 필요하다고 주장한다. 저자들은 다음을 강조한다:

1. 맥락이 중요하다: 최적의 방법은 작업에 따라 다르다. 로직 기반 접근 방식은 반복 동작과 가변성이 높은 시나리오에서 더 강건한 반면, NN 및 Hما 모델은 가변성이 제한적인 작업에서 잘 작동할 수 있다.
2. 지속 시간 모델링이 핵심이다: 기대 동작 지속 시간을 명시적으로 모델링하는 방법(예: Probabilistic Baseline)은 추가적인 센싱 정보 없이 동작을 구분해야 하는 반복 동작 상황을 처리하는 데 필수적이다.
3. 일반화 대 특수화: 딥러닝은 통제된 환경에서 높은 성능을 제공하지만, 실제 HRC의 노이즈와 변동성에는 취약하다. 저자들은 수작업 규칙을 최소화하면서도 일반화 가능한 아키텍처를 옹호하는 동시에, 복잡하고 이상적이지 않은 환경에서의 배포를 위해 현재의 로직 기반 방식이 필요한 강건성을 제공한다는 점을 인정한다.

결론적으로, 사용자가 이상적인 절차에서 벗어날 때 정확한 상태 예측은 여전히 매우 어려운 과제이다. 향후 연구는 최소한의 재학습으로 강건성을 더욱 향상시키기 위해 객체 상태 추적과 같은 추가적인 데이터 양식(modality)을 통합하는 데 집중해야 한다.