Toward Signing Activity Projection in Sign Language Interaction

기술 요약: 수어 상호작용에서의 수어 활동 예측을 향하여

문제 정의
현재의 사회적 로봇은 음성 이외의 의사소통 양식, 예를 들어 수어를 사용하는 사용자와의 견고한 상호작용 능력이 부족하다. 수어 상호작용을 위한 예측적 차례 주고받기(turn-taking)에는 중요한 격차가 존재한다. 음성 활동 투영(Voice Activity Projection, VAP)은 대화형 작업(예: 화자가 발언권을 유지할 것인지 아니면 대화 상대에게 넘길 것인지 결정하는 작업)을 지원하기 위해 미래의 음성 활동을 성공적으로 모델링해 왔으나, 이 프레임워크가 수어로 전이될 수 있는지 여부는 여전히 불분명하다. 수어 상호작용은 오디오가 아닌 시각적이고 양식 특이적인 단서(손 움직임, 시선, 얼굴 표정)에 의존하며, 음성에서 유도된 표준적인 "활동" 및 차례 경계의 정의는 직접적으로 적용되지 않을 수 있다.

방법론
본 연구는 Public DGS 코퍼스를 사용하여 VAP 아키텍처를 이자(dyadic) 수어 상호작용에 적응시키는 초기 전이 실험을 제시한다.

• 데이터 및 대리 레이블(Proxy Labels): 저자들은 OpenPose 기반의 2D 키포인트와 수동으로 주석이 달린 어휘적 수어 세그먼트를 포함하는 Public DGS 코퍼스의 대화 태깅된 하위 집합을 활용하였다. 복잡한 발화 단위 주석 대신, 본 연구는 모든 주석 처리된 어휘적 수어 세그먼트의 합집합을 취함으로써 이진 "수어 활동 스트림"을 구축하였다. 특정 프레임이 주석 처리된 세그먼트 내에 속할 경우 활성 상태로 레이블링되었다.
• 입력 특징(Input Features): 모델은 각 서명자(signer)로부터 추출된 포즈 유래 시각적 특징을 활용하였다. 구체적으로는 다음과 같다:
  • 손 키포인트.
  • 눈 영역 키포인트.
  • 입 영역 키포인트.
    누락된 값은 0으로 대체되었으며, 데이터는 30fps로 리샘플링되었다.
• 모델 아키텍처: 저자들은 오디오 인코더를 포즈 인코더로 교체하여 기존의 VAP 공식을 채택하였다. 아키텍처는 다음과 같이 구성된다:
  • 키포인트 인코더: 원시 특징을 256차원 임베딩으로 매핑하는 양식 특이적 선형 투영.
  • 셀프 어텐션 트랜스포머(Self-Attention Transformer): 각 서명자의 포즈 스트림을 개별적으로 모델링하는 레이어.
  • 크로스 어텐션 트랜스포머(Cross-Attention Transformer): 두 서명자의 인코딩된 스트림에 대해 크로스 어텐션을 수행하는 3개의 레이어.
  • 예측 헤드(Prediction Heads): 256개 클래스의 미래 활동 상태를 위한 헤드 하나(두 서명자의 결합 상태를 4개의 미래 시간 빈(bin)에 걸쳐 예측)와 서명자별 활동 탐지를 위한 헤드 하나.
• 과업(Tasks): 연구는 이진 활동 스트림을 기반으로 두 가지 대리 과업을 설정하였다:
  1. SHIFT/HOLD: 상호 비활성 상태 이후, 동일한 서명자가 다시 시작하는지(HOLD) 또는 차례가 상대방에게 넘어가는지(SHIFT)를 예측함.
  2. SHIFT-prediction: 진행 중인 활동이 다음 600ms 이내에 차례 전환으로 이어질 가능성이 있는지 예측함.
• 훈련 및 평가: 모델은 20초 윈도우를 사용하여 AdamW로 훈련되었다. 성능은 균형 정확도(balanced accuracy)와 매크로 F1 점수로 평가되었으며, 결과는 10개의 무작위 시드에 대해 평균을 냈다.

주요 결과
실험은 양식의 기여도와 과업 난이도에 관한 다음과 같은 결과들을 도출하였다:

• SHIFT/HOLD 예측: 손 단서를 포함하는 모델이 (항상 HOLD를 예측하는) 상수 베이스라인보다 일관되게 우수한 성능을 보였다. 손 단독 구성이 가장 높은 평균 균형 정확도(0.646)와 매크로 F1(0.501)을 달연했다. 손 단독 입력에 눈이나 입 단서를 추가하는 것이 성능을 일관되게 개선하지는 못했다.
• SHIFT-prediction: 학습된 모든 모델이 상수 베이스라인보다 우수한 성능을 보였다. 흥ًا히, 눈 단독 구성이 가장 높은 평균 점수(균형 정확도 0.558)를 기록했으나, 다른 구성들과의 차이는 미미했다.
• 양식 융합(Modality Fusion): 여러 양식(손, 눈, 입)을 결합하는 것이 단일 양식 입력보다 일관되게 더 나은 결과를 가져오지는 않았는데, 이는 비구어적(non-manual) 키포인트의 노이즈 문제나 대리 레이블과 세밀한 상호작용 사건 간의 불일치 가능성을 시사한다.

의의 및 주장
본 논문은 음성 기반 상호작용에서 수어 상호작용으로의 예측적 차례 주고받기 모델 전이의 가능성과 현재의 한계 모두에 대한 초기 증거를 제공한다고 주장한다.

• 가능성(Promise): 본 연구는 국소적 차례 상태 추정(SHIFT/HOLD)을 위해 포즈 유래 시각적 단서, 특히 손 움직임을 사용할 때 수어에 대한 예측적 차례 주고받기 모델링이 가능하다는 것을 입증한다.
• 한계(Limitations): 저자들은 현재의 성공이 어휘적 수어 주석에서 유도된 "대리" 레이블에 의해 제약받고 있음을 강조한다. 이러한 레이블은 수동적 활동과는 자연스럽게 일치하지만, 차례 주고받기에 필수적인 비구어적 행동(예: 시선, 머리 끄덕임)은 포착하지 못할 수 있다. 결과적으로, SHIFT-prediction의 어려움은 현재의 음성 유래 이벤트 정의와 이진 활동 스트림이 수어 차례 주고받기의 전체 복잡성을 포착하기에는 불충분함을 시사한다.
• 결론: 저자들은 VAP 프레임워크가 부분적으로 전이될 수는 있지만, 효과적인 수어 상호작용 예측 모델링을 위해서는 음성 유래 범주를 넘어 상호작용 경계에 대한 더 풍부한 다중 양식 표현을 통합하는 수어 특유의 이벤트 정의가 필요하다고 결론짓는다.