기술 요약: 인간-로봇 협업 조립을 위한 새로운 신경역학 기반 피로 인지 모션 플래닝

1. 문제 정의

인간-로봇 협력 조립(HRCA)은 공유 작업 공간에서 인간의 유연성과 로봇의 정밀함을 결합하는 것을 목표로 한다. 그러나 현재의 HRCA 방식은 세 가지 주요 한계점을 보인다:

1. 인간의 내부 상태 간과: 기존 연구들은 물리적 안전과 부상 방지에 집중할 뿐, 인간의 내부 상태, 특히 피로도를 명시적으로 고려하지 않는다. 피로와 관련된 인지적 및 물리적 저하를 모델링하는 기능의 부재는 시스템이 지원 전략을 적응시키는 능력을 제한하며, 이는 장기적인 지속 가능성과 안전성을 저해할 수 있다.
2. 정적 환경 가정: 대부분의 접근 방식은 사전에 정의된 작업 할당이 있는 정적 환경을 위해 설계되었으며, 동적인 실제 조건이나 변화하는 인간의 상태에 적응하지 못한다.
3. 반응형 안전 메커니즘: 현재의 플래닝 방법들은 안전을 정적인 제약 조건으로 취급하거나 플래닝 과정과 독립적으로 처리하는 경우가 많다. 이는 로봇이 예측 불가능한 움직임이나 진화하는 작업 맥락에 직면한 작업자에게 동적이고 선제적인 보호를 제공하는 것을 방해한다.

본 논문은 실시간 인간 피로도 추정과 적응형 로봇 궤적 생성을 통합하여, 작업 효율성과 작업자 안전을 모두 보장하는 모션 플래닝 프레임워크의 필요성을 다룬다.

2. 방법론

제안된 프레임워크는 비전 기반 피로 인지와 모션 플래닝을 위한 생체 모방 신경망(BINN)을 통합한다. 이 방법론은 네 가지 핵심 구성 요소로 이루어진다:

2.1 비전 기반 피로 상태 모델링

시스템은 4단계 파이프라인을 통해 인간의 피로 수준을 추정한다:

1. 데이터 획득 및 랜드마크 추출: MediaPipe를 사용하여 얼굴 랜드마크를 추출한다. 주요 기하학적 지표인 눈 깜빡임 비율(EAR)과 입 벌림 비율(MAR)을 계산하여 관심 영역(ROI)을 정의한다.
2. 특징 추출: 네 가지 상호 보완적인 지표가 도출된다:
   • 기하학적 지표 (EAR, MAR).
   • CNN(Convolutional Neural Networks)을 통해 크롭된 ROI로부터 결정된 이진 상태 (눈/입 열림 또는 닫힘).
   • 고수준 시간적 특징: 하품 지속 시간, 눈 감음 지속 시간, 눈 감김 비율(PERCLOS), 눈의 진폭, 입의 진폭.
3. 퍼지 로직 추론: 퍼지 추론 시스템은 추출된 특징들을 정량적 피로 지수로 매핑한다. 멤버십 함수는 특징 값들을 분류하며(낮음, 중간, 높음), 사전 정의된 퍼지 규칙(예: "만약 PERCLOS가 높으면, 피로는 중간이다")이 이러한 입력들을 집계한다. 중심법(centroid method)을 통한 역퍼지화(defuzzification)를 통해 명확한 피로 값($F_t$)을 얻는다.
4. 시간적 평균화: 안정성을 확보하고 지속적인 추세를 포착하기 위해, 순간적인 피로 값들을 $N$ 프레임의 시간 창 동안 평균하여 최종 피로 수준($F_{avg}$)을 생성한다.

2.2 신경역학 기반 모션 표현

본 프레임워크는 자동차 형태의 모바일 로봇에 특화된 비홀로노믹(nonholonomic) 신경망 모델을 사용하여 로봇의 구성 공간을 표현한다.

• 상태 공간: 신경망은 로봇의 평면 위치 $(x, y)$와 방향 $\theta$를 나타내는 3D 그리드이다.
• 운동학적 제약: 점-로봇(point-robot) 모델과 달리, 측면 신경 연결은 모바일 로봇의 비홀로노믹 운동학적 제약(조향 및 곡률 제한)을 만족하는 구성으로 제한된다. 이는 생성된 궤적이 물리적으로 실행 가능함을 보장한다.
• 신경역학 모델: $k$번째 뉴런($x_k$)의 활동은 다음과 같은 션팅 방정식(shunting equation)에 따라 진화한다:
  $$\frac{dx_k}{dt} = -Ax_k + (B - x_k)Q^+_k - (D + x_k)Q^-_k$$
  여기서 $Q^+_k$와 $Q^-_k$는 각각 흥분성 및 억제성 입력이다.

2.3 피로 인지 플래닝 메커니즘

플래닝 과정은 추정된 피로 수준에 따라 신경 지형(neural landscape)을 동적으로 조절한다:

• 흥분성 입력 ($Q^+$): 타겟 작업 공간에 의해 구동되며, 로봇을 작업 관련 영역으로 유도하는 전역 가이드 필드를 생성한다.
• 억제성 입력 ($Q^-$):
  • 장애물: 전파되지 않는 국부적인 억제 효과를 생성한다.
  • 인간 작업자: 억제 효과는 피로 의존적 임계값($\sigma_c$)에 의해 조절된다.
  • 피로 조절: 임계값 $\sigma_c$는 평균 피로 수준($F_{avg}$)의 시그모이드 함수를 사용하여 계산된다. 피로가 증가함에 따라 $\sigma_c$가 증가하며, 이는 인간의 작업 공간 주변의 측면 억제 전파를 강화한다. 이는 학습 과정 없이도 신경 활동 지형에서 안전 영역을 효과적으로 확장시킨다.
• 경로 선택: 로봇은 가장 높은 신경 활동을 가진 이웃 뉴런을 선택하여 다음 구성을 결정하며, 이를 통해 충돌이 없고 운동학적으로 실행 가능한 경로를 보장한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 기술한다:

1. 피로 조절 억제 메커니즘: 피로를 고정된 안전 규칙으로 취급하는 대신, 추정된 피로 수준을 BINN의 억제성 입력에 직접 통합한다. 이를 통해 인간 작업 영역 주변의 안전 마진이 작업자의 상태에 따라 동적으로 적응할 수 있게 한다.
2. 비홀로노믹 신경 연결 설계: 자동차 형태의 모바일 로봇을 위한 특정 신경 연결 전략을 개발하였다. 연결은 운동학적 및 조향 제약을 만족하는 구성 사이에만 설정되어, 생성된 움직임이 이상적인 점-로봇의 움직임이 아닌 물리적으로 실행 가능한 전이로 제한되도록 보장한다.
3. 피로 인지 안전-효율 트레이드오프: 본 프레임워크는 동적인 트레이드오프를 가능하게 한다. 낮은 피로 상태에서는 로봇이 짧고 효율적인 경로를 선택한다. 높은 피로 상태에서는 시스템이 자동으로 작업자와의 간격을 넓혀, 경로 길이보다 안전과 편안함을 우선시한다.

4. 결과

본 프레임워크는 시뮬레이션과 실제 실험을 통해 평가되었다:

• 시뮬레이션 (다양한 피로 수준):

  • 낮은 피로: 로봇은 장애물과 인간 작업 영역 사이의 좁은 통로를 통과하는 짧고 효율적인 궤적을 생성했다.
  • 높은 피로: 증가된 억제 임계값으로 인해 좁은 통로가 신경 지형에서 덜 바람직한 곳이 되었다. 로봇은 피로한 작업자를 피하여 더 큰 간격을 가진 대안 궤적을 성공적으로 생성했다.
  • APF와의 비교: 오목한 U자형 환경에서, 제안된 방법은 로봇을 오목 영역 밖으로 성공적으로 유도했다. 반면, 인공 퍼텐셜 필드(APF) 방식은 인력과 척력이 상쇄됨에 따라 로봇을 국소 최솟값(local minimum)에 가두어 실패했다.

• 실제 실험:

  • 설정: 세 명의 학생이 회로를 조립하는 공유 작업 공간에서 ROS 기반 모바일 로봇이 작동하였다. 카메라는 피로 추정을 위한 얼굴 데이터를 모니터링하였다.
  • 시나리오 1 (낮은 피로): 로봇은 장애물과 작업자 사이의 좁은 틈을 통과하며 구성 요소를 효율적으로 전달했다.
  • 시나리오 2 (높은 피로): 한 학생이 높은 피로(예: 하품, 눈 감음)를 보일 때, 시스템은 상태를 감지하고 로봇의 경로를 조정했다. 로봇은 피로한 학생 근처의 좁은 통로를 피하고, 더 길지만 더 안전한 경로를 선택하여 간격을 확보했다.

5. 의의 및 주장

저자들은 제안된 신경역학 기반 프레임워크가 더 안전하고 인간 중심적인 로봇 시스템 개발을 지원한다고 주장한다. 본 연구의 의의는 다음과 같다:

• 적응성: 시스템은 별도의 오프라인 학습이나 재학습 없이도 동적인 인간의 내부 상태(피로)에 반응한다.
• 안전-효율 균형: 작업 효율성과 작업자 안전 사이의 동적인 균형을 맞추는 메커니즘을 제공하며, 필요할 때만 안전 마진을 확장한다.
• 강건성: 신경역학적 접근 방식은 복잡한 오목한 장애물이 있는 환경에서 전통적인 퍼텐셜 필드 방법보다 우수한 성능을 보여 국소 최솟값을 피한다.
• 실용성: 비전 기반 피로 추정과 실시간 모션 플래닝의 통합은 로봇이 적응형, 인간 중심적 협력자로 작용하는 Industry 5.0 시나리오를 위한 실행 가능한 솔루션을 제공한다.

본 논문은 이 접근 방식이 인간의 내부 상태를 명시적으로 모델링하고 이를 통합된 적응형 플래닝 프레임워크에 통합함으로써 현재의 HRCA 방식의 한계를 효과적으로 해결한다고 결론짓는다.