Real-Time Sign Language Gestures to Speech Transcription using Deep Learning

이 논문은 심층 학습과 CNN 을 활용하여 실시간으로 손동작을 텍스트 및 음성으로 변환하는 보조 기술을 개발하여 청각 및 언어 장애인의 의사소통 장벽을 해소하고 사회적 통합을 증진하는 방안을 제시합니다.

핵심

이 논문은 **"손짓을 목소리로 바꾸는 마법 같은 안경"**을 개발한 프로젝트에 대한 이야기입니다.

누군가 손으로 알파벳을 표현하는 '수화 (Sign Language)'를 할 때, 그 모습을 보고 있는 시각 장애인이나 수화를 모르는 사람이 그 뜻을 바로 알아들을 수 있도록 돕는 기술입니다. 마치 수화라는 '손글씨'를 실시간으로 '목소리'로 번역해주는 자동 통역사 같은 역할을 합니다.

이 기술이 어떻게 작동하는지, 왜 중요한지 쉬운 비유로 설명해 드릴게요.

---

1. 왜 이 기술이 필요한가요? (문제 상황)

세상에는 두 가지 큰 소통 장벽이 있습니다.

• 청각 장애인: 말소리를 들을 수 없어서 수화로 소통합니다.
• 시각 장애인: 눈으로 손짓을 볼 수 없어서 수화를 이해할 수 없습니다.

이 두 그룹이 만나면 서로가 서로의 '언어'를 볼 수도, 들을 수도 없어 대화가 불가능합니다. 기존에 이런 문제를 해결하려는 기계들은 너무 비싸거나 (특수 장갑을 써야 한다거나), 여러 대의 카메라가 필요해서 일반인이 쓰기엔 너무 무거웠습니다.

이 프로젝트의 목표는?
"누구나 집에 있는 웹캠 (카메라) 하나만 있으면 무료로 쓸 수 있는, 가볍고 빠른 통역기를 만드는 것"입니다.

2. 어떻게 작동할까요? (작동 원리)

이 시스템은 크게 세 명의 팀원이 협력해서 일합니다.

1. 눈 (카메라 & 손 찾기):
   • 웹캠이 사람의 손을 비추면, MediaPipe라는 기술이 "아, 저게 손이네!"라고 찾아냅니다. 마치 강아지가 공을 눈으로 쫓아다니는 것처럼 손의 위치를 정확히 파악합니다.
2. 두뇌 (딥러닝 & 분류):
   • 찾은 손 모양을 잘라내어 **CNN(합성곱 신경망)**이라는 인공지능에게 보여줍니다.
   • 이 AI 는 학교에서 **24 개의 알파벳 손짓 (A~Y)**을 수천 번이나 연습한 '수화 전문가'입니다.
   • "아, 이 손 모양은 'A'구나!"라고 95% 이상의 확률로 맞춥니다. (시험 점수가 95 점 이상인 셈이죠!)
3. 입 (목소리 내기):
   • AI 가 "A"라고 판단하면, pyttsx3라는 프로그램이 그걸 즉시 "A"라고 소리 내어 읽어줍니다.
   • 마치 스마트폰의 내비게이션이 지도를 보고 "다음 좌회전"이라고 말하는 것처럼, 손짓을 보고 "A"라고 말해줍니다.

3. 어떤 결과를 얻었나요? (성과)

• 정확도: AI 가 손짓을 구분하는 정확도가 **95.7%**에 달했습니다. 거의 실수 없이 잘 알아맞힙니다.
• 속도: 실시간으로 작동하지만, 가끔 손이 움직이는 속도를 따라가기 위해 아주 짧은 순간의 '지연 (Latency)'이 생기기도 합니다. 하지만 일반적인 대화에는 무리가 없는 수준입니다.
• 접근성: 비싼 장비가 필요 없습니다. 노트북과 웹캠만 있으면 됩니다.

4. 이 기술의 의미 (비유)

이 프로젝트는 마치 수화라는 '외계어'를 우리 모두의 '모국어'로 번역해주는 통역기입니다.

• 과거에는 수화를 배우지 않은 사람이 청각 장애인과 대화하려면 수화 강사를 불러야 했습니다.
• 이제는 이 기술을 통해, 시각 장애인도 청각 장애인의 손짓을 '목소리'로 듣고, 수화를 모르는 사람도 그 뜻을 바로 이해할 수 있게 되었습니다.

5. 앞으로는 어떻게 될까요? (미래)

현재는 알파벳 (단어) 만 알아듣습니다. 앞으로는 다음과 같은 발전이 기대됩니다.

• 더 많은 언어: 일본 수화나 인도 수화 등 다른 나라의 수화도 번역할 수 있게 확장.
• 문장 번역: 단순히 "A"가 아니라, "안녕하세요, 만나서 반갑습니다" 같은 긴 문장을 연속된 손짓으로 알아듣게 하기.
• 더 빠른 속도: 반응 속도를 더 빠르게 만들어 자연스러운 대화 가능.

요약

이 논문은 **"고급스러운 인공지능과 카메라 기술을 이용해, 비싼 장비 없이도 누구나 손짓을 목소리로 바꿔주는 소통의 다리를 놓았다"**는 이야기입니다. 이는 장애인과 비장애인이 더 쉽게 서로를 이해하고, 함께 살아가는 세상을 만드는 데 큰 도움이 될 것입니다.

기술 요약

논문 요약: 딥러닝을 활용한 실시간 수화 제스처 음성 변환 시스템

1. 문제 정의 (Problem Statement)

• 소통의 장벽: 청각 및 언어 장애인은 수화를 주된 의사소통 수단으로 사용하지만, 시각 장애인이거나 수화를 모르는 사람들은 이를 이해하기 어려워 소통의 단절이 발생합니다.
• 기존 기술의 한계: 기존 수화 인식 기술은 고가의 하드웨어 (다중 카메라, 특수 장갑 등) 에 의존하거나, 실시간 변환 시 조명 변화, 배경 복잡성, 손의 방향 변화 등에 민감하여 정확도가 떨어지는 문제가 있었습니다.
• 목표: 저비용의 표준 하드웨어 (웹캠 및 일반 PC) 만으로 시각 장애인이 수화 사용자와 실시간으로 소통할 수 있는 접근성 높은 솔루션을 개발하는 것입니다.

2. 방법론 (Methodology)

이 프로젝트는 크게 모델 개발과 실시간 애플리케이션 통합의 두 단계로 진행되었습니다.

A. 데이터셋 및 전처리

• 데이터셋: Kaggle 의 Sign Language MNIST 데이터셋을 사용했습니다.
  • 구성: 24 개의 알파벳 (A~Y, J 와 Z 제외) 을 나타내는 28x28 픽셀의 회색조 손 제스처 이미지.
  • 규모: 약 27,000 개의 훈련 샘플, 7,000 개의 테스트 샘플.
• 전처리: 이미지 픽셀 값을 0~1 범위로 정규화 (255 로 나누기) 하고, CNN 입력 형식 (28x28x1) 에 맞게 텐서로 재구성했습니다.

B. 모델 아키텍처 (CNN)

• 프레임워크: TensorFlow 와 Keras 를 사용했습니다.
• 구조:
  1. Convolutional Layers: 3 개의 합성곱 레이어 (필터 수: 32, 64, 128) 를 사용하여 에지, 모서리, 추상적인 손 모양 등의 특징을 추출합니다. 각 레이어 후 ReLU 활성화 함수를 적용했습니다.
  2. Pooling Layers: 2 개의 MaxPooling2D 레이어 (2x2 윈도우) 를 사용하여 차원을 축소하고 과적합을 방지했습니다.
  3. Fully Connected Layers: Flatten 레이어 후 256 개의 뉴런을 가진 Dense 레이어와 0.5 드롭아웃 (Dropout) 레이어를 추가하여 일반화 성능을 높였습니다.
  4. Output Layer: 24 개의 클래스 (알파벳) 에 대한 확률 분포를 출력하는 Softmax 활성화 함수를 가진 Dense 레이어.
• 학습 설정: Adam 옵티마이저, Sparse Categorical Crossentropy 손실 함수, 배치 크기 64, 최대 30 에포크 (조기 종료 메커니즘 적용).

C. 실시간 애플리케이션 파이프라인

• 주요 라이브러리: OpenCV (웹캠 캡처), MediaPipe (손 랜드마크 탐지 및 바운딩 박스 생성), pyttsx3 (텍스트 - 음성 변환).
• 동작 원리:
  1. 웹캠을 통해 실시간 비디오 프레임을 캡처합니다.
  2. MediaPipe 를 사용하여 손의 위치를 탐지하고 바운딩 박스를 추출합니다.
  3. 추출된 손 영역을 28x28 크기로 리사이징 및 전처리하여 훈련된 CNN 모델에 입력합니다.
  4. 모델이 예측한 알파벳 레이블을 pyttsx3 를 통해 즉시 음성으로 변환하여 출력합니다.
  5. 예측 신뢰도 (Confidence) 가 0.8 이상일 때만 음성을 재생하도록 설정하여 오작동을 줄였습니다.

3. 주요 결과 (Results)

• 모델 성능:
  • 테스트 정확도 (Test Accuracy): 95.72%
  • 테스트 손실 (Test Loss): 0.2106
  • 정밀도 (Precision), 재현율 (Recall), F1-Score: 각각 0.96, 0.95, 0.95 (Macro Avg) 로 모든 클래스에서 균형 잡힌 성능을 보였습니다.
  • 과적합 방지: 훈련 정확도 (1.0) 와 검증 정확도 (0.95) 간의 격차가 작아 과적합이 최소화되었음을 확인했습니다.
• 실시간 성능:
  • 표준 웹캠과 일반 PC 환경에서 실시간으로 작동했습니다.
  • MediaPipe 의 손 탐지 빈도로 인해 약간의 지연 (Latency) 이 발생했으나, 시스템은 전반적으로 안정적으로 작동했습니다.
  • 신뢰도 1.00 의 'A' 제스처 등 다양한 제스처를 높은 정확도로 인식하고 음성으로 변환하는 데 성공했습니다.

4. 주요 기여 (Key Contributions)

1. 저비용 접근성 솔루션: 고가의 특수 장비 없이 웹캠과 오픈소스 라이브러리만으로 구현 가능한 경제적이며 접근성 높은 시스템을 제시했습니다.
2. 실시간 수화 - 음성 변환 파이프라인: 딥러닝 (CNN), 컴퓨터 비전 (OpenCV, MediaPipe), TTS 기술을 통합하여 청각 장애인의 수화를 시각/청각 장애인이 이해할 수 있는 음성으로 실시간 변환하는 유효한 프로토타입을 구축했습니다.
3. 강건한 모델 설계: 드롭아웃 및 조기 종료 기법을 통해 24 개 클래스에 대한 높은 일반화 성능을 달성한 CNN 모델을 개발했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 이 연구는 청각 장애인과 시각 장애인 (또는 수화를 모르는 일반인) 간의 소통 장벽을 해소하여 사회적 포용성을 높이는 데 기여합니다. 특히 저자원 환경에서도 배포 가능한 솔루션이라는 점에서 실용성이 높습니다.
• 한계 및 향후 과제:
  • 현재는 정적 (Static) 제스처 (단일 알파벳) 만 인식하며, 연속적인 문장이나 동적 제스처는 지원하지 않습니다.
  • MediaPipe 탐지 과정에서 발생하는 지연 시간을 줄이기 위한 최적화가 필요합니다.
  • 향후 일본 수화 (JSL), 인도 수화 (ISL) 등 다양한 문화권의 수화 데이터셋 확장과, 연속적인 문장 인식 기술 개발이 필요하다고 제안했습니다.

이 논문은 딥러닝과 컴퓨터 비전 기술을 활용하여 장애인 간 소통의 격차를 해소할 수 있는 실용적이고 확장 가능한 AI 솔루션의 가능성을 입증했습니다.