기술 요약: SignVLA

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 자연어 지침을 통해 물리적 장면 내의 의미론적 목표를 로봇이 이해할 수 있도록 함으로써, 일반적인 로봇 조작을 위한 강력한 패러다임으로 부상했습니다. 그러나 현재의 VLA 인터페이스는 주로 음성이나 텍스트 입력에 의존합니다. 이러한 의존성은 농인, 난청인 및 언어 장애가 있는 사용자들에게 상당한 접근성 장벽을 형성합니다. 또한, 음성을 신뢰할 수 없거나 소음이 심한 환경, 또는 사회적으로 부적절한 상황에서도 이러한 시스템은 배포의 한계에 직면하게 됩니다.

수어(Sign Language)를 입력 모달리티로 통합하는 것은 독특한 기술적 과제를 안겨줍니다. 이산적인(discrete) 텍스트와 달리, 수어는 손의 모양, 분절, 위치 및 운동 궤적을 포함하는 연속적인 시공간적 시각 신호로 구성됩니다. 이는 시각적 수어 스트림과 VLA 정책이 기대하는 이산적인 토큰 기반 인터페이스 사이에 모달리티 불일치를 발생시킵니다. 또한, 로봇 실행은 인식의 불안정성에 매우 민감합니다. 수어 인식에서의 일시적인 프레임 단위 오류는 명령의 깜빡임(flickering), 잘못된 작업 선택 또는 안전하지 않은 다운스트림 동작으로 이어질 수 있습니다. 기존의 수어 인식(SLR) 시스템은 대규모 주석 데이터셋과 계산 집약적인 백본(예: Transformer)에 의ло하는 경우가 많아, 자원이 제한된 로봇 플랫폼에 실시간으로 배포하기 어렵습니다.

방법론

본 논문은 시각적 수어 제스처와 로봇 조작을 모듈형의 경량화된 파이프라인을 통해 연결하는 실시간 프레임워크인 SignVLA를 제안합니다. 시스템 아키텍처는 세 가지 주요 단계로 구성됩니다.

1. 수어 인지 및 인식

프런트엔드 모듈은 라이브 비디오 스트림을 처리하여 의미론적 지침을 추출합니다.

• 특징 추출(Feature Extraction): 원시 RGB 프레임을 직접 처리하는 대신, 시스템은 MediaPipe를 사용하여 실시간으로 544차원의 손 랜드마크 특징을 추출합니다. 이 특징에는 절대 좌표 및 손목 상대 좌표 3D 좌표, 손가락 방향 벡터, 그리고 프레임 간 속도 차이가 포함됩니다.
• 시간적 모델링(Temporal Modeling): 랜드마크 시퀀스는 Attention-Enhanced LSTM 네트워크로 입력됩니다.
  • LSTM은 수어 시퀀스 전반의 시간적 의존성을 모델링합니다.
  • **가산 주의 메커니즘(Additive Attention Mechanism)**이 통합되어 변별력 있는 시간적 세그먼트에 더 높은 가중치를 부여함으로써, 핵심적인 움직임 패턴에 집중하여 분류 정확도를 향상시킵니다.
• 학습 전략: 모델은 로봇 조작과 관련된 33가지 수어 어휘(예: "apple", "butter"와 같은 물체 이름 및 "pick", "place"와 같은 동작)로 구성된 Microsoft ASL Citizen 데이터셋의 필터링된 하위 집합을 통해 학습됩니다. 학습에는 클래스 불균형을 해결하고 일반화 성능을 높이기 위해 레이블 평활화(label smoothing)가 적용된 가중치 교차 엔트로피 손실(weighted cross-entropy loss)이 사용됩니다.

2. 시간적 안정화(Temporal Stabilization)

실시간 비디오 처리에서 발생하는 불안정성을 완화하기 위해 **시간적 안정화 버퍼(Temporal Stability Buffer)**가 구현되었습니다.

• 예측된 수어 레이블은 시간적 윈도우 동안 누적됩니다.
• 동일한 클래스가 3개 연속 프레임 동안 최댓값(argmax)을 유지하고 8프레임의 쿨다운(cooldown) 시간이 경과한 경우에만 명령을 확정합니다.
• 이 메커니즘은 반복되는 아티팩트를 방지하고, 다운스트림 VLA 정책이 노이즈가 섞인 깜빡이는 예측이 아닌 안정적이고 일관된 지침을 받을 수 있도록 보장합니다.

3. 언어 변환 및 로봇 실행

• 수어-텍스트 인터페이스: 확정된 글로스(gloss) 시퀀스는 사전 정의된 템플릿을 사용하여 자연어 지침으로 매핑됩니다 (예: "PICK" + "BUTTER" + "PLACE" + "BASKET"을 "pick up the butter and place it in the basket"으로 변환).
• VLA 정책: 생성된 자연어 지침은 다운스트림 GR00T N1 정책(Diffusion Transformer를 사용하는 VLA 모델)의 언어 조건으로 사용됩니다.
• 실행: 정책은 현재의 시각적 관측값($o_t$)과 확정된 수어 유래 지침($l$)을 조건으로 로봇 동작($a_t$)을 예측합니다: $a_t = \pi_{GR00T}(o_t, l)$. 지침은 새로운 수어 명령이 명시적으로 확정될 때까지 유지됩니다.

주요 기여

1. SignVLA 프레임워크: VLA 백본을 수정하지 않고도 물리적 로봇 조작을 위해 수어 인식을 VLA 백엔드에 직접 연결하는 최초의 시스템입니다.
2. 경량 실시간 인식: MediaPipe 랜드마크 특징을 처리하여 자원이 제한된 플랫폼에 적합한 낮은 지연 시간과 높은 정확도를 달al하는 혁신적인 Attention-LSTM 구조를 제안합니다.
3. 시간적 안정화 모듈: 노이즈가 있는 시각적 관측을 안정적인 의미론적 명령으로 변환하는 실용적인 필터링 메커니즘을 통해 실시간 로봇 제어에서의 명령 깜빡임 문제를 해결합니다.
4. 통합 평가: 시뮬레이션 환경에서 수어 유래 지침이 로봇 조작 작업을 효과적으로 수행할 수 있음을 입증하는 실험적 검증을 수행했습니다.

실험 결과

시스템은 물체-투-바스켓(object-to-basket), 물체-투-컨테이너(object-to-container), 장면 상호작용(scene interaction) 작업을 포함하는 LIBERO 벤치마크 제품군에서 평가되었습니다.

• 수어 인식 성능:

  • 조작 작업에 정렬된 33개 수어 어휘에 대해, 제안된 Attention-LSTM은 88.89%의 Top-1 정확도와 96.53%의 Top-5 정확도를 달성하였으며, 이는 바닐라 LSTM 베이스라인(34.72% Top-1)을 크게 상회하는 수치입니다.
  • 모델은 핵심 물체(예: "ball", "bowl", "butter", "cheese") 및 동작(예: "pick", "turn", "up")을 포함한 13개의 특정 수어에 대해 완벽한 인식(100%)을 달성했습니다.
  • 오류는 드물게 나타났으며 시각적 또는 시간적으로 유사한 수어(예: "bottle" vs "box" vs "bowl")에 집중되었는데, 이는 미세한 제스처 모호성에 대한 모델의 강건성을 나타냅니다.

• 로봇 조작 성공률:

  • 수어 유래 지침을 조건으로 했을 때, 사전 학습된 GR00T 정책은 LIBERO 작업 제품군 전반에서 높은 성공률을 기록했습니다:
    • LIBERO-Spatial: 97.50% (195/200)
    • LIBERO-Goal: 97.50% (195/200)
    • LIBERO-Object: 98.50% (197/200)
    • LIBERO-10 (Long-horizon): 94.50% (189/200)
  • 결과는 물체 중심의 조작 작업이 사용된 작업 제한적 수어 어휘와 매우 잘 호환됨을 시사합니다.

의의 및 주장

본 논문은 SignVLA가 경량화된 시간적 수어 인식이 멀티모달 체화된 지능(embodied intelligence)을 위한 효과적이고 실용적인 접근성 계층 역할을 할 수 있음을 보여준다고 주장합니다. 수어 인식 프런트엔드를 VLA 정책으로부터 분리함으로써, 시스템은 VLA 모델이 복잡한 비디오 스트림을 직접 해석할 필요 없이 농인 및 난청 사용자가 수어를 통해 로봇을 제어할 수 있게 합니다.

저자들은 본 시스템이 연속적인 시각적 제스처와 이산적인 로봇 지침 사이의 간극을 성공적으로 메웠음을 강조합니다. 현재 연구는 제한된 어휘와 시뮬레이션 기반 평가에 집중되어 있지만, 물리적인 Franka Emika Panda 로봇 설정과의 성공적인 통합은 실제 세계 배포를 향한 명확한 경로를 제시합니다. 결론적으로, 본 논문은 작업 제한적 수어 어휘가 체화된 AI를 위한 실행 가능한 인터페이스를 제공하며, 향-후 연구는 대규모 어휘의 연속적 수어 이해 및 완전한 실제 물리적 배포로 확장될 것임을 밝히고 있습니다.