What's the Point? Spatial Grammar & Index Resolution for Sign Language Processing

기술 요약: 무엇이 핵심인가? 수어 인식에서의 공간 문법 및 인덱스 해상(Index Resolution)

문제 정의
현재의 수어 인식(SLR) 및 수어 번역(SLT) 파이프라인은 주로 글로스 시퀀스(gloss-sequence) 또는 텍스트 감독(supervision)에 의존한다. 이러한 접근 방식은 기호와 유한하고 이산적인 어휘 사이의 선형적 대응을 가정하며, 언어를 어휘적 토큰의 시퀀스로 모델링한다. 그러나 이 프레임워크는 자연스러운 수어 담화의 약 40%를 차지하는 비어휘적 및 생산적 구성(non-lexical and productive constructions)을 과소 모델링한다. 이러한 격차의 결정적인 사례는 공간 인덱싱(지시 제스처)이다. 이는 서술 대상(discourse entities)을 공간적 위치(spatial loci)에 할당하여 참조를 설정하는 행위이다. 인덱싱은 수어 내용의 10~15%를 차지함에도 불구하고, 어휘적 목적 함수로 학습된 최신 모델들은 이를 제대로 복구하지 못한다. 이러한 모델들은 (i) 인덱싱을 어휘적으로 유사한 기호와 안정적으로 구별하지 못하며, (ii) 인덱싱은 고정된 어휘 형태가 아닌 담화 상태와 공간적 맥락에 의존하기 때문에 구절 전반에 걸친 참조 일관성을 유지하지 못한다.

방법론
저자들은 공간 참조 해상(spatial reference resolution)을 인덱싱을 단순한 글로스 인식의 부산물이 아닌, 구조적 예측 작업으로 취급하여 **인덱스 탐지(index detection)**와 **담화 개체 연결(discourse entity linking)**로 분해하는 모듈형 2단계 프레임워크를 제안한다.

1. 포즈 표현(Pose Representation): 입력 문서는 글로스 경계에 정렬된 시간적으로 국소화된 세그먼트로 표현되며, SL-GCN 인코더를 통해 신체 및 손 포즈(SMPL 및 WiLoR)로 인코딩된다.
2. 인덱스 제안 네트워크(Index Proposal Network, IPN): 경량 분류 헤드가 특정 세그먼트가 인덱싱 기호를 실현하는지 예측한다. IPN은 글로스 수준의 인덱싱 주석이 포함된 언어학적으로 큐레이션된 코퍼스(BSLCP, MDGS)로 학습된다. 인티티 연결 단계로 전파되는 오탐(false positives)을 완화하기 위해, 모델은 클래스 가중치 손실(class-weighted loss)과 높은 신뢰도 임계값($\tau = 0.90$)을 사용하여 정밀도(precision)를 높이도록 최적화된다.
3. 엔티티 연결 메모리(Entity-Linking Memory, ELM): 탐지된 인덱스 언급(mention)은 순차적으로 처리된다. ELM은 담화 개체의 동적으로 성장하는 메모리를 유지한다. 이 모델은 세그먼트 임베딩을 기하학적 특징(지시 방향, 공간적 위치, 궤적)이 보강된 연결 공간으로 투영한다. 모델은 MLP를 사용하여 현재의 언급과 기존 엔티티 슬롯(또는 새로운 엔티티를 위한 null 슬롯) 사이의 호환성 점수를 계산한다. 엔티티 표현은 게이트형 보간(gated interpolation)을 통해 업데이트된다. 엔티티 연결을 위한 감독(supervision)은 구조적 제약에 따라 트랜스크립트에 클러스터 ID를 할당하는 LLM 파이프라인을 사용하여 자동으로 생성된다.
4. 추론 시 통합(Inference-Time Integration): IPN과 ELM은 동결된 SLR 모델(CSLR2)의 보조 전문가(auxiliary experts) 역할을 한다. 추론 시 두 가지 편향(bias)이 주입된다:
   • 탐지 부스트($w_{IPN}$): 인덱싱으로 식별된 세그먼트에 대해 지시 관련 토큰의 로짓 가중치를 높인다.
   • 엔티티 연결 사전 정보($w_{ELM}$): 할당된 엔티티 클러스터의 합의된 지시 토큰을 기반으로 예측에 편향을 주어, 반복되는 언급에 대한 일관성을 촉진한다.

주요 기여

1. 과소 모델링의 실증적 입증: 저자들은 인덱싱이 상당한 비중을 차지함에도 불구하고, 어휘 중심의 SLR 모델에서 인덱싱 복구가 저조함을 보여준다(기초 모델의 Index IoU는 6.1%로 하락).
2. 학습 및 평가 프레임워크: 수동 주석이 달린 지시 코퍼스를 사용한 인덱스 인지 프레임워크와, 일반적인 어휘 성능으로부터 인덱싱 성능을 분리하는 특정 평가 프로토콜을 구축하였다.
3. 2단계 모델링 접근법: 인덱스 탐지(IPN)와 담화 수준의 엔티티 추적(ELM)을 분리하여 자동 주석 및 비어휘적 구조 모델링을 가능하게 하는 새로운 파이프라인을 제시한다.
4. 보조 전문가 통합: 추론 시 동결된 SLR 모델에 인덱싱 복구를 향상시키기 위해 IPN과 ELM을 삽입하는 방법론을 제시하며, 이는 백본을 재학습하지 않고도 가능하다.

결과

• 기초 모델 성능: BOBSL-CSLR 테스트 세트에서 기초 CSLR2 모델은 전체 WER 69.5%를 달으로 하지만, 인덱싱 토큰 복구에는 실패하여 $WER_{Index}$가 98.4%에 달하고 Index IoU는 6.1%에 그친다.
• 인덱스 탐지: IPN은 데이터셋 간(BSLCP 및 MDGS)에 잘 일반화되며, 공동 학습(joint training)을 통해 견고함이 향려된다. 고정밀 튜닝은 어휘적 혼입(비인덱스 기호를 지시 기호로 오분류하는 현상)을 줄인다.
• 엔티티 연결: ELM은 테스트 데이터에서 0.65의 엔티티 클러스터 정확도(ECA)를 달성한다. 공동 학습은 클러스터 구조를 개선하지만, 레이블 정렬 측면에서 BSLCP 단독 학습이 더 나은 다운스트림 SLR 성능을 보였다.
• 다운스트림 SLR 개선: IPN과 ELM을 추론 시 편향으로 통합하면 $WER_{Index}$가 96.2%에서 **59.6%**로, 전체 $WER_{All}$이 70.5%에서 **68.3%**로 감소한다. 결정적으로, 이러한 인덱싱 복구 성능의 향상은 어휘 성능을 저하시키지 않는다($WER_{Lex}$는 ~77.1%로 안정적임).
• 복구율: 전체 시스템은 ground-truth 인덱스 토큰의 복구율을 6.1%(기초 모델)에서 **71.2%**로 증가시키며, ELM이 탐지만을 사용할 때보다 일관된 이득을 제공한다.

의의 및 주장
본 논문은 공간 인덱싱이 단순히 어휘 모델의 규모를 키우는 것만으로는 해결할 수 없는, 현재의 어휘 중심 SLR 파이프라인의 구조적 결함이라고 주장한다. 인덱싱을 탐지와 담화 추적이라는 2단계 과정으로 명시적으로 모델링함으로써, 저자들은 **인덱스 인지형 수어 모델링(index-aware sign language modeling)**의 기준을 세운다. 이 연구는 담화 인지 구성 요소가 기존의 인식 시스템을 보완하는 "플러그 앤 플레이(plug-and-play)" 방식의 보조 전문가로서 기능할 수 있음을 입증하며, 백본의 공동 재학습 없이도 비어휘적 구조의 복구를 개선할 수 있음을 보여준다. 저자들은 이 접근 방식이 특정 구조적 한계를 다루고 있으며, 향후 연구에서 다른 생산적 구성(예: 묘사 기호, 역할 전환)으로 이 처리를 확장하고 담화 수준의 감독을 개선해야 한다고 언급한다.

인정된 한계점
저자들은 다음과 같은 한계점을 인정한다:

• 도메인 변화(Domain Shift): 데프(Deaf) 수어 사용자의 대화 데이터로 학습하고 통역 방송 데이터를 평가하는 과정에서 수어 사용자 스타일과 참조 패턴의 변화가 발생한다.
• 주석 품질: BOBSL과 같은 벤치마크의 ground-truth 레이블은 자동 세그멘테이션에 의존하며 불완전할 수 있어, 정량적 평가의 신뢰도를 제한할 수 있다.
• 평가 지표: 비참조적 지시 토큰($g_{GIS}$)에 대한 현재 지표는 참조 정확도가 아닌 토큰의 존재 여부를 측정하므로, 의미론적 오류의 하한선만을 나타낸다.
• 구조적 제약: 탐지 오류는 폐색(occlusion)과 공조음(coarticulation)에서 발생하며, 엔티티 연결은 시각적 신호 없이 LLM 생성 감독에 의존하므로 긴 문서에서 노이즈를 유발할 수 있다. 본 시스템은 추론 시에만 작동하므로, 백본이 직접적인 인덱스 인지 표현을 학습하는 데 한계가 있다.