A HamNoSys-Guided Dataset and Baselines for Fine-Grained Isolated Handshape Recognition in Sign Language

기술 요약: 수어의 미세한 고립 수형(Handshape) 인식을 위한 HamNoSys 기반 데이터셋 및 베이스라인

문제 정의
미세한 수형 인식은 계산적 수어 전사, 인식 및 번역을 위한 핵심 구성 요소입니다. 그러나 이 분야에는 서명자 인식(signer-aware evaluation)을 포함하는 광범위하고 음성학적으로 정의된 시각적 인벤토리가 부족합니다. 기존 자원들은 주로 지문자(제한된 알파벳), 연속적인 수형(약한 레이블), 또는 합성 데이터에 집중되어 있어, 언어 독립적이고 전사 정의에 따른 수형 인벤토리와 미경험 참가자에 대한 체계적인 평가를 결합한 실제 이미지 벤치마크의 공백을 남겨두고 있습니다. 또한, 함부르크 표기법(HamNoSys)이 언어적 주석을 위해 널리 사용되고 있음에도 불구하고, 고립 수형 인식 데이터셋을 위해 경계가 명확하고 시각적으로 재현 가능한 클래스 인벤토리를 정의하는 데에는 이전에 활용되지 않았습니다.

방법론
저자들은 이러한 격차를 해소하기 위해 새로운 데이터셋을 구축하고 베이스라인 모델을 수립했습니다.

• 데이터셋 구축:

  • 클래스 인벤토리: 본 연구는 HamNoSys 4 수형 차트의 공식적이고 비포괄적인 내용을 활용하여 160개의 별도 수형 클래스를 정의했습니다. 차트에 있는 각 삽화 모델을 하나의 고유한 클래스로 취급하였으며, 빈 셀이나 기호만 포함된 셀은 제외했습니다. 클래스는 10개의 채워진 행(예: 주먹, 한 손가락, 두 손가락, 엄지 대립 등)으로 분류되었습니다.
  • 데이터 수집: 15명의 대학생 참가자로부터 144,000장의 균형 잡힌 RGB 이미지를 수집했습니다. 각 160개 클래스에 대해, 참가자들은 시점, 중첩, 자기 폐쇄(self-occlusion)의 변화를 유도하기 위해 손을 천천히 회전시키며 대상 수형을 재현했습니다.
  • 처리: 영상은 30fps(640 × 480 해상도)로 녹화되었습니다. 시간적 중복성을 줄이면서 변동성을 유지하기 위해 매 5번째 프레임을 선택하여, 10초 클립당 60장의 이미지를 얻었습니다. MediaPipe Hands를 사용하여 139,199장의 이미지에서 주요 손을 국소화(localize)하였으며, 이를 공통 모델링 서브셋을 형성했습니다.
  • 구성: 데이터셋은 참가자와 HamNoSys 카테고리에 따라 계층적으로 구성되었으며, 특정 차트 정의 클래스와 이미지를 연결하는 명명 규칙을 따릅니다.

• 평가 프로토콜:
  139,199장의 이미지 모델링 서브셋에 대해 두 가지 상호 보완적인 프로토콜이 정의되었습니다:

  1. 피험자 의존적(Subject-Dependent): 클래스 층화 방식의 70:15:15 프레임 수준 분할(훈련:검증:테스트)을 사용하며, 모든 참가자가 모든 파티션에 등장합니다. 이는 경험한 참가자 조건에서의 인식 성능을 위한 참조 역할을 합니다.
  2. 피험자 독립적(Subject-Independent, LOSO): 15-겹 피험자 제외(Leave-One-Subject-Out) 교차 검증을 수행하며, 한 명의 참가자를 테스트를 위해 제외하고 나머지 14명으로 모델을 훈련 및 검증합니다. 이는 미경험 개인에 대한 일반화 능력을 평가합니다.

• 베이스라인 모델:
  벤치마크의 특성을 규명하기 위해 네 가지 모델을 평가했습니다:

  • 외형 기반(RGB): 224 × 224 크기의 손 크롭 이미지를 사용하여 미세 조정된 ResNet-18 및 ViT-B/16.
  • 랜드마크 기반: MediaPipe를 통해 추출된 21개의 손 키포인트(x, y, z 및 관절 각도)를 사용하는 그래프 합성곱 신경망(GCN) 및 XGBoost.

주요 기여

1. HamNoSys에 근거한 데이터셋: HamNoSys 4 차트로 정의된 160개의 미세한 수형 클래스를 다루는 144,000장의 균형 잡힌 실제 이미지 데이터셋을 도입했습니다. 이는 음성학에 근거한 연구를 위한 재현 가능한 자원을 제공합니다.
2. 포괄적인 평가 프레임워크: 참가자 내부 인식 성능과 미경험 서명자에 대한 일반화 성능을 구분하기 위해 피험자 의존적 및 피험자 독립적(LOSO) 프로토콜을 확립했습니다.
3. 베이스라인 성능: 이 특정 160개 클래스 인벤토리에 대해 네 가지 서로 다른 모델 군(ResNet-18, ViT-B/16, GCN, XGBoost)의 재현 가능한 참조 성능을 제공합니다.
4. 외부 맥락: 획득 조건과 클래스 수가 다르기 때문에 직접적인 품질 순위는 아니지만, 비교 맥락을 제공하기 위해 LSWH100(합성) 및 ASL 지문자 데이터셋 A(실제, 24개 클래스)에 대한 매칭 모델 평가를 수행했습니다.

결과

• 피험자 의존적 성능: 160개 클래스 데이터셋에서 ViT-B/16이 86.20%의 가장 높은 Top-1 정확도를 달절했으며, ResNet-18(84.72%)이 그 뒤를 바짝 쫓았습니다. 랜드마크 기반 모델은 더 낮은 성능을 보였는데, GCN은 72.44%, XGBoost는 69.57%를 기록했습니다. 저자들은 외형 기반 모델이 21개 포인트 랜드마크로는 완전히 포착되지 않는 시각적 세부 사항의 이점을 얻는다고 언급했습니다.
• 피험자 독립적(LOSO) 성능: 미경험 참가자에 대한 일반화 과정에서 상당한 성능 저하가 발생했습니다. ViT-B/16과 ResNet-18의 Top-1 정확도는 각각 약 45.22%와 45.38%로 떨어졌습니다. GCN은 이 설정에서 가장 높은 Top-3(69.23%) 및 Top-5(78.58%) 정확도를 달성하여, Top-1 예측이 실패하더라도 올바른 클래스를 상위 예측 범위 내에 유지하고 있음을 시사했습니다.
• 혼동 분석(Confusion Analysis): 시각적 분석 결과, 미세한 조음 특성(예: 손가락 선택, 굽힘, 엄지 위치)이 다른 수형 사이에서 가장 빈번한 오류가 발생했습니다. 넓은 범주의 클래스들은 대체로 잘 구분되었으나, 미세한 구별은 여전히 어려운 과제로 남아 있습니다.
• 외부 데이터셋: 24개 클래스의 ASL 지문자 데이터셋 A에서 모든 모델은 97% 이상의 높은 성능을 달성하였으며, 이는 제안된 160개 클래스의 미세한 작업이 제한된 알파벳 작업보다 훨씬 어렵다는 점을 강조합니다.

의의 및 주장
본 논문은 이 작업을 미세한 고립 수형 연구를 위한 재현 가능한 자원으로 위치시킵니다. 저자들은 이 데이터셋과 베이스라인이 수어의 전사, 인식 및 번역을 위한 보다 접근 가능한 기술 개발을 지원한다고 주장합니다. 본 연구는 음성학적으로 정의된 광범위한 인벤토리와 엄격한 참가자 독립적 평가를 결합함으로써 특정 자원의 공백을 해결합니다.

저자들은 다음과 같은 한계점을 겸허히 인정합니다: 데이터는 단일 카메라와 특정 인구 통계(대학생)를 대상으로 통제된 실내 환경에서 수집되었습니다. 인벤토리는 HamNoSys 차트에 국한된 정적인 단일 손 형태(동적 전이, 양손 수형 및 비수기적 요소 제외)입니다. 또한 네 가지 베이스라인 모델 군만을 평가했습니다. 그들은 향후 연구에서 더 다양한 참가자, 덜 통제된 획득 환경, 그리고 더 발전된 미세 모델을 조사해야 한다고 제안합니다.