💻 computer science

SignMAE: Segmentation-Driven Self-Supervised Learning for Sign Language Recognition

SignMAE는 세분화 기반 마스킹을 활용하여 미세한 수어 단서를 더 잘 포착하는 세분화 주도 자기지도 학습 사전 훈련 방법을 도입하여, 입력 요구 사항을 줄이면서도 여러 수어 데이터셋에서 최첨단 성능을 달성합니다.

원저자: Kunyuan Xie, Zhixi Cai, Kalin Stefanov

게시일 2026-05-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kunyuan Xie, Zhixi Cai, Kalin Stefanov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 언어를 배우려는데 소리는 전혀 들리지 않고, 오직 누군가의 손, 얼굴, 몸짓의 미세한 움직임만을 이해해야 한다고 상상해 보세요. 이것이 바로 수어 인식 (Sign Language Recognition) 입니다. 여기서의 난제는 '단어'(수어) 가 매우 구체적이고 미묘한 방식으로 손이 움직여 만들어지는 반면, 나머지 영상은 벽, 셔츠, 방 같은 배경 잡음에 불과하다는 점입니다.

이 언어를 배우려 노력하는 대부분의 컴퓨터 프로그램은 한 문장을 이해하기 위해 책 전체를 읽으려 하는 학생들과 같습니다. 그들은 전체 영상 프레임을 보며 배경에 산만해지고, 실제로 의미를 전달하는 미세하지만 결정적인 손 움직임을 종종 놓칩니다.

이 논문은 SignMAE라는 새로운 방법을 소개합니다. 이는 컴퓨터에게 나머지 세계는 무시하고 오직 손에만 집중하는 법을 가르치는 똑똑한 튜터와 같습니다.

다음은 SignMAE 가 작동하는 방식을 간단한 단계로 나눈 것입니다:

1. '스포트라이트' 준비 (데이터 전처리)

컴퓨터가 학습을 시작하기 전에, 시스템은 무대 감독처럼 행동합니다. 영상을 스캔하며 "손은 어디에 있는가?"라고 묻습니다.

만약 사람의 손이 수어를 하지 않은 채 몸 옆에 축 늘어진 상태라면, 시스템은 해당 프레임을 잘라냅니다.
그런 다음 손과 팔이 움직이는 영상의 특정 영역을 확대하고 강조합니다.
유사성: 교사가 교실의 흐릿한 사진을 찍어 학생들의 책상과 얼굴만 잘라내어 새로운 용지에 붙여, 학생이 배경의 지저분한 책상은 무시하고 오직 얼굴만 공부할 수 있게 하는 상황을 상상해 보세요.

2. '안대' 훈련 (자기지도 학습)

이것이 이 논문의 핵심 마법입니다. 시스템은 **마스크 자동 인코딩 (Masked Autoencoding)**이라는 기법을 사용합니다.

게임: 컴퓨터는 누군가 수어를 하는 영상을 보지만, 영상의 일부는 '안대'로 가려져 있습니다 (마스크 처리됨).
과제: 컴퓨터는 보이는 부분을 바탕으로 안대 아래에 무엇이 있는지 추측해야 합니다.
반전: 기존 방법에서는 안대가 무작위로 놓였습니다. 때로는 손을 가리기도 하고, 때로는 빈 벽을 가리기도 했습니다. 이는 비효율적이었습니다.
SignMAE 의 전략: 안대는 똑똑합니다. 분할 맵 (segmentation map) 에 의해 안내됩니다. 이는 구체적으로 손과 팔을 가려, 컴퓨터가 다른 보이는 부분들의 맥락을 바탕으로 손의 모양과 움직임을 파악하도록 강요합니다.
- 유사성: '손'에 해당하는 퍼즐 조각이 빠져 있는 퍼즐을 상상해 보세요. 일반적인 퍼즐 풀이기는 무작위로 추측할 수 있습니다. SignMAE 는 풀이기로 하여 나머지 팔과 몸의 단서를 살펴보고, 정확히 빠진 손 조각이 어떤 모습인지 추론하도록 강요합니다. 이는 컴퓨터에게 손과 몸 사이의 관계를 이해하도록 가르칩니다.

3. 두 가지 다른 렌즈 (멀티스트림 학습)

SignMAE 는 영상을 보는 방식을 하나로만 두지 않습니다. 두 가지 다른 '뇌' (인코더) 를 동시에 훈련시킵니다:

'전체적' 뇌: 이 뇌는 무작위 안대를 쓴 채 전체 영상을 봅니다. 이는 움직임의 일반적인 흐름과 배경 맥락이라는 큰 그림을 학습합니다.
'손 집중' 뇌: 이 뇌는 똑똑하고 손에 안내된 안대를 사용합니다. 이는 손가락과 손목의 미세하고 상세한 움직임을 학습합니다.
'골격' 뇌: 이 뇌는 원시 영상 픽셀이 아닌 관절 (키포인트) 의 단순화된 맵을 봅니다. 이는 오직 움직임의 기하학적 구조에 집중합니다.

4. '팀 하uddle' (융합)

이러한 뇌들이 개별적으로 훈련된 후, 하나로 모읍니다.

시스템은 그들이 배운 것을 잊지 않도록 그들의 지식을 고정시킵니다.
그런 다음 크로스 어텐션 (Cross-Attention) 메커니즘을 사용합니다. 이는 팀 하uddle 과 같아서, '전체적' 뇌가 '손 집중' 뇌에게 "정확히 그 손가락이 무엇을 했지?"라고 묻고, '골격' 뇌가 "관절이 이렇게 움직였어"라고 끼어들며 답합니다.
그들은 최종적으로 수행된 수어가 무엇인지 결정하기 위해各自的 답변을 결합합니다.

결과: 왜 중요한가

저자들은 이 방법을 미국, 중국, 러시아의 세 가지 주요 수어 데이터셋에서 테스트했습니다.

더 높은 정확도: SignMAE 는 이전 방법들에 비해 최고의 결과 (State-of-the-Art) 를 달성했습니다.
효율성: 더 적은 수의 영상 프레임 (64 프레임 대신 32 프레임) 과 더 적은 유형의 데이터 (깊이 카메라와 같은 추가 센서 없이 영상과 손 맵만) 를 사용해도 더 잘 작동합니다.
집중: 시각화 결과에 따르면, 기존 모델들은 배경이나 수화자의 얼굴에 산만해졌지만, SignMAE 는 언어가 발화되는 정확한 곳인 손에 주의를 단단히 고정시켰습니다.

요약하자면: SignMAE 는 컴퓨터에게 배경을 무시하고 손에 특화된 '빈칸 채우기' 게임을 강요함으로써 수어를 가르치는 새로운 방식입니다. 이는 컴퓨터가 수어의 미묘하고 세밀한 세부 사항을 이전보다 훨씬 빠르고 정확하게 학습하도록 돕습니다.

기술 요약: SignMAE

문제 제기

고립된 수화 인식 (ISLR) 은 수화 간의 미묘한 시각적 차이로 인해 상당한 도전에 직면해 있습니다. 주요 언어적 신호를 전달하는 손은 비디오 프레임의 작은 부분만 차지합니다. 기존 방법들은 종종 일반적인 동작 인식 데이터셋 (예: VideoMAE) 에서 사전 훈련된 인코더에 의존하는데, 이는 전체 프레임을 균일하게 처리합니다. 이 접근법은 무작위 마스킹 전략이 언어적으로 중요한 손과 팔 영역 대신 배경 영역을 샘플링하는 경우가 많기 때문에 세밀한 손 단서를 효과적으로 포착하지 못합니다. 또한, 뼈대 기반 방법이 존재하지만, 이들은 종종 키포인트 검출 오류로 고통받으며 세밀한 시각적 세부 정보가 부족합니다. 반면 비디오 기반 방법들은 손의 중요성에도 불구하고 손을 지나치게 경시하는 경향이 있습니다.

방법론

저자들은 비디오와 키포인트로부터 상호 보완적인 손 중심 표현을 학습하도록 설계된 세그멘테이션 기반의 자기지도 학습 프레임워크인 SignMAE를 제안합니다. 파이프라인은 네 가지 연속적인 단계로 구성됩니다:

1. 데이터 전처리

신호 대 잡음비를 극대화하기 위해, 이 프레임워크는 원시 비디오를 표준화하고 관련 영역을 추출합니다:

크롭핑: 탐지 모델이 수화자의 바운딩 박스를 식별하여 프레임을 크롭합니다.
프레임 필터링: 손이 자연스럽게 늘어져 있거나 없는 프레임은 기하학적 매개변수 (어깨 - 팔꿈치 - 손목 각도 및 거리) 를 기반으로 제거됩니다.
패치 추출: 비디오는 시공간 패치 ( $2 \times 16 \times 16$ ) 로 나뉘며, 손이 포함된 "중요한 패치" 추출에 중점을 둡니다.

2. 다중 스트림 자기지도 사전 훈련

SignMAE 는 서로 다른 귀납적 편향을 학습하기 위해 인코더를 독립적으로 사전 훈련하는 3 스트림 아키텍처를 사용합니다:

비디오 인코더 (튜브 마스킹): 무작위 튜브 마스킹 (표준 VideoMAE 접근법) 을 사용하여 사전 훈련되어 coarse-grained 글로벌 컨텍스트와 장거리 운동 패턴을 포착합니다.
비디오 인코더 (손 유도 마스킹): 세그멘테이션 기반 시공간 마스킹 전략을 사용하여 사전 훈련됩니다. 이 인코더는 손과 팔 영역의 재구성에만 집중합니다. 마스킹 전략은 수화 유형에 따라 적응합니다:
- 양손 수화: 정보 누출을 방지하기 위해 손 겹침 비율에 기반한 방향성 공간 마스킹이 적용됩니다.
- 한손 수화: 정지된 팔은 보존되고 움직이는 손은 방향성으로 마스킹됩니다.
- 시간적 마스킹: 시퀀스 중간에 있는 연속된 프레임이 제거되어 운동 궤적 추론을 강제합니다.
키포인트 히트맵 인코더: 손 유도 비디오 인코더와 유사하게 사전 훈련되지만 손 영역으로만 제한되며, 픽셀 외관보다 관절 궤적에 중점을 둡니다.

목표는 디코더가 평균 제곱 오차 (MSE) 손실을 사용하여 마스킹된 토큰 (비디오의 경우 손/팔 영역, 키포인트의 경우 손 영역) 만 재구성하는 마스킹 및 재구성 작업입니다.

3. 단일 모달 파인튜닝

재구성 디코더는 경량 선형 분류 헤드로 교체됩니다. 두 개의 비디오 인코더와 키포인트 인코더는 소프트 라벨을 생성하기 위해 배치 모드 믹스업을 사용하여 ISLR 작업에서 개별적으로 파인튜닝됩니다.

4. 다중 모달 융합

사전 훈련된 인코더는 고정되며, 그 표현들은 크로스 어텐션 메커니즘을 사용하여 융합됩니다:

비디오 - 비디오 융합: 튜브 마스킹된 인코더의 토큰이 쿼리로 작용하고, 손 유도 인코더의 토큰이 키와 값으로 작용합니다.
비디오 - 키포인트 융합: 결과적으로 융합된 비디오 토큰이 쿼리로 작용하고, 키포인트 히트맵 토큰이 키와 값으로 작용합니다.
최종 연결된 특징 벡터는 글로스 분류를 위한 예측 헤드로 전달됩니다.

주요 기여

SignMAE 프레임워크: ISLR 을 위해 비디오와 키포인트로부터 상호 보완적인 손 중심 표현을 학습하는 자기지도 프레임워크.
세그멘테이션 유도 마스킹: 사전 훈련 중 손 영역 토큰만 재구성하는 마스킹 전략의 도입. 이는 인코더가 배경 잡음이 아닌 언어적으로 중요한 정보에 집중하도록 강제하여 수화 컨텍스트에서 무작위 튜브 마스킹의 비효율성을 해결합니다.
최첨단 성능: 세 가지 주요 데이터셋 (WLASL, NMFs-CSL, Slovo) 에서의 검증으로, 이전 방법들보다 적은 입력 프레임과 모달리티로 향상된 정확도를 입증했습니다.

실험 결과

저자들은 SignMAE 를 세 가지 데이터셋에서 평가했습니다:

WLASL (2,000 개 글로스): 인스턴스별 Top-1 정확도 60.95% 및 클래스별 Top-1 정확도 **58.29%**를 달성했습니다. 이는 이전 최첨단 (SAM-SLR-v2) 보다 각각 1.56% 및 1.66% 높은 수치로, 32 프레임 클립과 더 적은 모달리티 (비디오 + 키포인트 vs. 비디오 + 키포인트 + 광류 + 깊이) 만 사용했음에도 불구하고 달성되었습니다.
NMFs-CSL (중국 수화): **80.8%**의 Top-1 정확도를 달성하여 이전 최고 성능 (MASA) 보다 0.7% 높았습니다.
Slovo (러시아 수화): **76.86%**의 Top-1 정확도를 달성하여 이전 최고 성능보다 0.33% 향상되었습니다.

Ablation 연구는 다음을 확인했습니다:

손 유도 시공간 마스킹은 무작위 튜브 마스킹 및 전체 프레임 재구성 전략보다 현저히 우수한 성능을 보입니다.
성능은 사전 훈련 데이터의 양에 따라 확장됩니다.
크로스 어텐션을 통한 다중 모달 융합이 가장 높은 정확도를 제공하며, 비디오 외관과 키포인트 운동이 상호 보완적인 단서를 제공함을 확인했습니다.
시각화는 튜브 마스킹된 인코더에 비해 손 유도 인코더가 정적 및 동적 수화 컨텍스트 모두에서 손에 더 충실하게 주의를 기울임을 보여줍니다.

의의

이 논문은 SignMAE 가 수화를 위한 일반 동작 인식 사전 훈련의 근본적인 비효율성을 해결한다고 주장합니다. 전처리 중에 손 영역을 명시적으로 위치시키고 세그멘테이션 단서로 자기지도 학습 과정을 유도함으로써, 이 방법은 수화 고유의 세밀한 외관 및 운동 패턴을 포착하는 표현을 학습합니다. 저자들은 이 접근법이 경쟁 방법들보다 더 가벼운 구성 (더 적은 프레임과 모달리티) 으로 강력한 성능을 가능하게 한다고 강조하며, 언어적으로 정보 풍부한 영역에 집중하는 것이 ISLR 발전을 위해 중요함을 입증했습니다.