Control of a commercially available vehicle by a tetraplegic human using a brain-computer interface

이 논문은 척수 손상 (사지마비) 을 입은 한 인간 참가자가 뇌-컴퓨터 인터페이스 (BCI) 를 사용하여 상용 차량을 원격으로 조종할 수 있음을 증명한 획기적인 연구입니다. 캘리포니아 공과대학교 (Caltech), 포드 모터 컴퍼니, 블랙록 뉴로테크 (Blackrock Neurotech) 등 산학연 협력으로 이루어진 이 연구는 실험실 환경을 넘어 실제 세계 응용 가능성을 입증했습니다.

다음은 논문의 기술적 요약입니다.

1. 연구 배경 및 문제 제기 (Problem)

• 현재의 한계: 기존 BCI 기술은 주로 실험실 환경에 국한되어 있었으며, 실제 세계에서의 적용 사례는 드뭅니다. 특히 사지마비 (Tetraplegia) 환자들이 독립적인 이동성을 회복하고 차량을 운전하는 것은 사회적, 경제적 자립을 위해 매우 중요하지만, 현재로서는 실현되지 못하고 있습니다.
• 비침습적 BCI 의 한계: EEG(뇌전도) 와 같은 비침습적 기술은 신호 잡음에 취약하고 개인별 일반화 능력이 부족하며 방대한 훈련이 필요하다는 단점이 있습니다.
• 연구 목표: 침습적 BCI(수술적 이식) 를 통해 사지마비 환자가 상용 차량을 원격으로 조종할 수 있는지, 그리고 그 성능이 정상적인 운동 기능을 가진 사람 (Motor Intact) 과 비교하여 얼마나 빠르고 정확한지 입증하는 것입니다.

2. 방법론 (Methodology)

A. 참가자 및 신경 이식

• 참가자: 50 세 남성 사지마비 환자 (BCI-JJ, C4-C5 척수 손상).
• 이식 장치: 뇌의 **후두정엽 (Posterior Parietal Cortex, PPC)**과 운동피질의 손 노브 (Hand Knob) 영역에 각각 96 채널의 NeuroPort 전극 어레이를 이식했습니다.
• 신호 처리: 이식 후 3 년 이상 경과하여 신호 대 잡음비 (SNR) 가 감소한 상태였으나, 이를 극복하기 위해 커스텀 딥러닝 알고리즘인 FENet을 사용하여 신경 신호 특징을 추출했습니다.

B. 시스템 아키텍처

• 원격 조종 (Teledriving): 참가자는 캘리포니아에 거주하며, 차량은 미시간 주 (포드 연구소) 에 있었습니다.
• 데이터 흐름:
  1. 뇌 신호 (PPC, MC) $\rightarrow$ NeuroPort 시스템 $\rightarrow$ 디코더 컴퓨터 (신호 해독 및 모터 의도 추출).
  2. 디코더 $\rightarrow$ 디스플레이 컴퓨터 (커서 및 클릭 명령 생성).
  3. TCP/UDP 프로토콜을 통해 차량의 인-비히클 컨트롤러로 전송.
  4. 차량은 명령을 실행하고, 실시간 비디오 피드백 및 차량 상태를 캘리포니아의 참가자에게 전송.
• 차량: 포드 무스탕 Mach-E (상용 전기차) 를 개조하여 원격 제어 가능하도록 제작.

C. 제어 인터페이스 (Bimanual Control)

• 커서 이동 (우측 엄지): 속도 조절 및 조향 (Steering) 제어.
• 클릭 (좌측 검지): 완전 정지 (Full-stop) 브레이킹.
• 학습: '센터-아웃 (Center-out)' 과제를 통해 커서 이동 디코더와 클릭 분류기를 훈련시켰습니다.

D. 평가 과제 (5 가지 태스크)

1. 단순 반응 시간 과제: 화면에 나타나는 표적에 클릭하는 속도 측정.
2. 제동 반응 시간 과제: 가상 시뮬레이션 (CARLA) 에서 장애물 출현 시 브레이킹 반응 시간 측정.
3. Mcity 원격 조종: 미시간의 폐쇄된 도시 테스트 시설 (Mcity) 에서 상용 차량의 속도와 조향 제어 (교통 신호 무시).
4. 장애물 코스 원격 조종: 표준 운전 시험 요소 (정지, 차선 변경, 회전 등) 가 포함된 장애물 코스 주행.
5. 가상 도시 주행: CARLA Leaderboard 2.0 기반의 복잡한 교통 상황 (신호등, 다른 차량) 에서 양손 (Bimanual) 제어 (속도, 조향, 브레이킹) 를 통한 주행.

3. 주요 결과 (Key Results)

A. 반응 시간 및 정확도

• 반응 속도: BCI-JJ 는 단순 반응 시간 과제에서 평균 137ms, 제동 반응 시간 과제에서 평균 290ms 를 기록했습니다. 이는 정상 운동 기능 그룹 (평균 165ms, 370ms) 보다 통계적으로 유의미하게 빠르거나 동등한 수준이었습니다.
• 정확도: BCI-JJ 의 정확도, 민감도, 특이도는 정상 그룹과 비교했을 때 동등하거나 일부 과제에서 더 우수한 성능을 보였습니다.

B. 주행 성능

• Mcity 및 장애물 코스: 상용 차량 (Mach-E) 을 원격으로 조종하여 4 개의 무작위 경로와 4 가지 경로 옵션의 장애물 코스를 성공적으로 주행했습니다.
  • Mcity 주행 점수: 평균 0.780 (최대 1.0).
  • 장애물 코스 주행 점수: 평균 0.939.
• 가상 도시 주행 (Bimanual): 복잡한 교통 환경에서 양손 제어 (속도/조향 + 브레이킹) 를 수행한 결과, BCI-JJ 의 평균 주행 점수는 0.924로, 정상 그룹의 평균 점수 (0.823) 보다 통계적으로 유의미하게 높았습니다.
  • 충돌 횟수는 정상 그룹보다 유의미하게 적었습니다.
  • 차선 이탈 및 신호 위반 횟수는 두 그룹 간 유의미한 차이가 없었습니다.

C. 시스템 안정성

• 디코더 안정성: 3 년 간의 기록 기간 동안 디코더의 성능 ($R^2$ 값) 이 안정적으로 유지되었습니다.
• 신호 기여도: PPC(36%) 와 MC(64%) 모두 디코딩에 중요한 역할을 했으며, 특정 채널들의 기여도가 시간에 따라 일관되었습니다.
• 지연 (Lag): 원격 조종 시 발생하는 지연은 Mcity(-1333ms), 장애물 코스 (-750ms), 가상 도시 (-200ms) 순으로 나타났으나, 저속 (4~5 mph) 주행으로 안전성을 확보했습니다.

4. 주요 기여 (Key Contributions)

1. 최초의 상용 차량 원격 조종: 사지마비 환자가 침습적 BCI 를 통해 실제 상용 차량 (Ford Mustang Mach-E) 을 원격으로 조종한 세계 최초의 사례입니다.
2. 이중 손 (Bimanual) 제어의 성공: 단일 효과기 (Single-effector) 를 넘어, 속도/조향과 브레이킹을 동시에 제어하는 정교한 양손 제어 방식을 구현하여 복잡한 교통 상황에서도 정상인과 동등하거나 더 나은 성능을 입증했습니다.
3. 장기적 안정성 증명: 이식 후 3 년 이상 경과한 상태에서도 신호 품질이 저하되었음에도 불구하고, 고급 알고리즘 (FENet) 을 통해 안정적인 주행 제어가 가능함을 보였습니다.
4. 산학연 협력 모델: 신경과학, 공학, 자동차 산업 (포드) 이 긴밀히 협력하여 실험실 기술을 실제 제품 (상용 차량) 에 적용하는 성공적인 모델을 제시했습니다.

5. 의의 및 향후 전망 (Significance)

• 자립성 회복: 이 기술은 사지마비 환자에게 운전이라는 핵심적인 자립 활동을 제공하여 삶의 질과 사회적 참여를 획기적으로 향상시킬 수 있는 가능성을 열었습니다.
• 안전한 자율주행과의 결합: 향후 BCI 는 자율주행 시스템과 결합되어, 운전자의 주의력 (Vigilance) 을 모니터링하거나 비상 상황에서 인간이 개입하는 하이브리드 제어 시스템으로 발전할 수 있습니다.
• 기술적 확장: 현재는 원격 조종이지만, 향후 지연 시간을 줄이고 차량 내부에서 직접 조종하거나, 발을 이용한 가속/브레이크 제어 등 더 다양한 효과기 (Effector) 를 추가하여 더욱 자연스러운 운전 경험을 제공할 수 있을 것으로 기대됩니다.

이 연구는 BCI 기술이 단순한 실험실 장난감을 넘어, 장애인의 삶을 변화시키는 실질적인 의료 및 이동성 솔루션으로 발전할 수 있음을 보여주는 중요한 이정표입니다.