American Sign Language Recognition Using Mediapipe and Deep Learning: A Real-Time Approach

기술 요약: Mediapipe 및 딥러닝을 이용한 미국 수어(ASL) 인식

문제 정의
청각 장애인 및 난청인의 의사소통 장벽을 해소하기 위해서는 접근 가능한 실시간 미국 수어(ASL) 인식 시스템이 필요합니다. 역사적으로 ASL 인식은 센서 기반의 장갑이나 깊이 감지 카메라(depth cameras)에 의존해 왔습니다. 이러한 시스템은 통제된 환경에서는 정확도가 높았으나, 높은 비용, 하드웨어 의존성, 제한된 확장성으로 인해 광범위한 보급에는 비실용적이었습니다. 또한, 초기 이미지 기반 딥러닝 모델들은 광범적인 전처리와 고성능 GPU를 요구하는 경우가 많아, 지연 시간 문제를 야기하고 전문적인 환경으로 배포를 제한했습니다. 본 연구에서 다루는 핵심 과제는 특수 센서 없이도 소비자용 기기에서 실시간 작동이 가능하도록 하면서, 조명 변화, 손 가려짐(occlusion), 사용자별 차이에 강건하면서도 높은 정확도와 계산 효율성의 균ales를 맞춘 시스템을 개발하는 것입니다.

방법론
제안된 시스템은 두 단계의 파이프라인을 통해 정적 ASL 알파벳 제스처(A–Z)를 인식하는 엔드 투 엔드 솔루션을 제시합니다:

1. 손 랜드마크 검출 (Hand Landmark Detection): 시스템은 표준 웹캠으로부터 들어오는 RGB 비디오 스트림을 처리하기 위해 Google의 Mediapipe 프레임워크를 활용합니다. Mediapipe의 "Hands" 모듈은 프레임당 21개의 3D 손 랜드마크(x, y, z 좌표)를 추출하여 63차원의 특징 벡터를 생성합니다. 이 방식은 깊이 센서나 장갑의 필요성을 제거하며, 배경 노이즈에 강한 정밀한 손 키포인트를 제공합니다.
2. 데이터 전처리 (Data Preprocessing): 원시 랜드마크 좌표는 최대값으로 나누어 정규화함으로써 스케일 불변성(scale invariance)을 확보하고, 손 크기나 카메라 거리의 변화를 완화합니다. 레이블은 26개 클래스(A–Z)에 대해 원-핫 인코딩(one-hot encoding)됩니다. 데이터셋은 총 6,605개의 샘플로 구성되며, 80%의 훈련 세트(5,284개)와 20%의 검증 세트(1,321개)로 분할되었습니다.
3. 모델 아키텍처 (Model Architecture): 분류는 효율성을 위해 설계된 경량 완전 연결 신경망(fully connected neural network)에 의해 수행됩니다. 아키텍처는 다음과 같습니다:
   • 63차원 벡터를 입력받는 입력층.
   • 128개의 유닛(ReLU 활성화 함수)과 30%의 드롭아웃(dropout)을 가진 첫 번째 은닉층.
   • 64개의 유닛(ReLU 활성화 함수)과 30%의 드롭아웃을 가진 두 번째 은닉층.
   • 클래스 확률을 위한 소프트맥스(softmax) 활성화 함수를 사용하는 26개의 유닛을 가진 출력층.
4. 훈련 및 추론 (Training and Inference): 모델은 8GB RAM을 탑재한 MacBook(CPU 기반)에서 Adam 옵티마이저와 범주형 교차 엔트로피(categorical cross-entropy) 손실 함수를 사용하여 5,000 에포크(epoch) 동안 훈련되었습니다. 실시간 추론을 위해, 파이프라인은 웹캠 프레임을 30 fps로 처리하며, 랜드마크를 정규화한 후 훈련된 모델에 입력하여 가장 높은 확률을 가진 ASL 문자를 예측합니다.

주요 결과
시스템은 6,605개의 정적 제스처 샘플로 구성된 커스텀 데이터셋을 통해 평가되었습니다. 주요 성능 지표는 다음과 같습니다:

• 정확도 (Accuracy): 모델은 99%의 훈련 정확도와 **98.49%**의 검증 정확도를 달enc성했습니다.
• 강건성 (Robustness): 혼동 행렬(confusion matrix)은 26개 알파벳 전체에 대해 높은 정확도를 나타내며, 매크로 평균 F1-스코어는 98.68%입니다. 유사한 손 동작을 가진 글자들(특히 M, N, T) 사이에서 미세한 혼동이 관찰되었습니다.
• 판별 능력 (Discriminative Ability): ROC 곡선은 강력한 성능을 보여주며, 매크로 평균 AUC는 99.83%, 개별 클래스 AUC는 0.95 이상입니다.
• 지연 시간 (Latency): 평균 추론 시간은 샘플당 약 32.20 ms입니다. 이는 30 FPS 비디오 처리에 필요한 33 ms 임계값 미만이므로, GPU 지원 없이도 표준 하드웨어에서 실시간 작동이 가능함을 확인시켜 줍니다.

의의 및 기여
본 연구는 고성능 시스템이 계산 효율적이면서도 실제 환경의 가변성에 강건할 수 있음을 입증함으로써 접근 가능한 ASL 인식 분야에 기여합니다. 주요 기여점은 다음과 같습니다:

1. 샘플 효율성 (Sample Efficiency): 타겟팅된 데이터 수집 및 증강을 통해 방대한 양의 레이블링된 데이터에 대한 의존도를 줄이면서도, 6,605개의 샘플만으로 높은 정확도를 달성했습니다.
2. 실시간 성능 (Real-Time Performance): Mediapipe와 컴팩트한 신경망을 결래하여 계산 오버헤드를 최소화함으로써, 일반 소비자용 노트북 및 모바일 기기에서 원활한 실행을 가능하게 했습니다.
3. 맥락적 일반화 (Contextual Generalization): 본 시스템은 특수 하드웨어 없이도 다양한 조명 조건 및 부분적인 가려짐과 같은 비이상적인 환경에서의 강건성 필요성을 해결합니다.

저자는 이 시스템을 통제된 실험실 결과와 사용자 대상 애플리케이션 사이의 간극을 메우는, 확장 가능한 보조 기술을 향한 실질적인 단계로 규정합니다. 논문에서 제시된 향전 연구 과제는 시계열 모델링을 사용한 동적 수어(문장 및 단어) 인식으로의 확장, 더 넓은 접근성을 위한 모바일 또는 웹 프런트엔드 개발, 그리고 완전한 ASL-to-Speech 번역을 위한 음성 출력 통합에 초점을 맞추고 있습니다.