Toward Signing Activity Projection in Sign Language Interaction

Resumen Técnico: Hacia la Proyección de la Actividad de Signación en la Interacción en Lengua de Señas

Planteamiento del Problema
Los robots sociales carecen actualmente de capacidades de interacción robustas con usuarios que dependen de modalidades de comunicación distintas al habla, como la lengua de señas. Existe una brecha crítica en la toma de turnos predictiva para las interacciones en lengua de señas. Si bien la Proyección de Actividad de Voz (VAP, por sus siglas en inglés) ha modelado con éxito la actividad de voz futura para apoyar tareas de toma de turnos (por ejemplo, determinar si un hablante mantendrá el turno o lo cederá a un interlocutor) en el diálogo hablado, aún no está claro si este marco se transfiere a la lengua de señas. Las interacciones en lengua de señas dependen de claves visuales específicas de la modalidad (movimientos de manos, mirada, expresiones faciales) en lugar de audio, y las definiciones de "actividad" y límites de turno derivadas del habla estándar pueden no ser directamente aplicables.

Metodología
Este estudio presenta un experimento de transferencia inicial adaptando la arquitectura VAP a la interacción diádica en lengua de señas utilizando el Corpus Public DGS.

• Datos y Etiquetas Proxy: Los autores utilizaron el subconjunto etiquetado de diálogos del Corpus Public DGS, que incluye puntos clave (keypoints) 2D basados en OpenPose y anotaciones manuales de segmentos léxicos de signación. En lugar de utilizar anotaciones complejas de unidades de enunciación, el estudio construyó "flujos de actividad de signación" binarios tomando la unión de todos los segmentos de signos léxicos anotados. Un fotograma se etiquetó como activo si caía dentro de cualquier segmento anotado.
• Características de Entrada: El modelo utilizó características visuales derivadas de la pose extraídas para cada signante, específicamente:
  • Puntos clave de las manos.
  • Puntos clave de la región ocular.
  • Puntos clave de la región bucal.
    Los valores faltantes se reemplazaron con ceros y los datos se remuestrearon a 30 fps.
• Arquitectura del Modelo: Los autores adoptaron la formulación original de VAP, reemplazando el codificador de audio por un codificador de pose. La arquitectura consta de:
  • Codificadores de Puntos Clave: Proyecciones lineales específicas de la modalidad que mapean las características brutas a embeddings de 256 dimensiones.
  • Transformer de Auto-Atención: Una capa que modela el flujo de pose de cada signante por separado.
  • Transformer de Atención Cruzada: Tres capas que realizan atención cruzada sobre los flujos codificados de ambos signantes.
  • Cabezales de Predicción: Un cabezal para el estado de actividad futura de 256 clases (prediciendo el estado conjunto de dos signantes a lo largo de cuatro intervalos de tiempo futuros) y un cabezal para la detección de actividad por signante.
• Tareas: El estudio formuló dos tareas proxy basadas en los flujos de actividad binaria:
  1. SHIFT/HOLD (CAMBIO/MANTENIMIENTO): Predecir si, tras una inactividad mutua, el mismo signante reanuda la actividad (HOLD) o si el turno cambia al otro (SHIFT).
  2. SHIFT-prediction (PREDICCIÓN DE CAMBIO): Predecir si una actividad en curso es probable que sea seguida por un cambio de turno dentro de los próximos 600 ms.
• Entrenamiento y Evaluación: Los modelos fueron entrenados con ventanas de 20 segundos utilizando AdamW. El rendimiento se evaluó utilizando precisión equilibrada (balanced accuracy) y puntuaciones macro-F1, con resultados promediados sobre 20 semillas aleatorias.

Resultos Clave
Los experimentos arrojaron los siguientes hallazgos respecto a las contribuciones de la modalidad y la dificultad de la tarea:

• Predicción SHIFT/HOLD: Los modelos que incorporan claves manuales superaron consistentemente a la línea base constante (que siempre predice HOLD). Las configuraciones de solo manos alcanzaron la mayor precisión equilibrada media (0.646) y macro-F1 (0.501). Añadir claves oculares o bucales a las claves de las manos no mejoró consistentemente el rendimiento sobre las entradas de solo manos.
• SHIFT-prediction: Todos los modelos aprendidos superaron a la línea base constante. Curiosamente, la configuración de solo ojos logró los puntajes medios más altos (precisión equilibrada 0.558), aunque el margen sobre otras configuraciones fue pequeño.
• Fusión de Modalidades: Combinar múltiples modalidades (manos, ojos, boca) no produjo consistentemente mejores resultados que las entradas de una sola modalidad, lo que sugiere posibles problemas de ruido en los puntos clave no manuales o un desajuste entre las etiquetas proxy y los eventos interaccionales granulares.

Significancia y Reivindicaciones
El artículo afirma proporcionar evidencia inicial sobre tanto la promesa como las limitaciones actuales de la transferencia de modelos predictivos de toma de turnos de la interacción hablada a la de lengua de señas.

• Promesa: El estudio demuestra que el modelado predictivo de la toma de turnos es factible para la lengua de señas cuando se utilizan claves de pose derivadas de la visión, particularmente los movimientos de las manos, para la estimación local del estado del turno (SHIFT/HOLD).
• Limitaciones: Los autores enfatizan que el éxito actual está limitado por el uso de etiquetas "proxy" derivadas de anotaciones léxicas de signación. Estas etiquetas se alinean naturalmente con la actividad manual, pero pueden no capturar comportos no manuales (por ejemplo, la mirada, el movimiento de la cabeza) que son cruciales para la toma de turnos en la lengua de señas. Consecuentemente, la dificultad en la SHIFT-prediction sugiere que las definiciones actuales de eventos derivadas del habla y los flujos de actividad binaria son insuficientes para capturar la complejidad total de la toma de turnos en la lengua de señas.
• Conclusión: Los autores concluyen que, si bien el marco VAP puede transferirse parcialmente, un modelado predictivo efectivo para la interacción en lengua de señas requiere definiciones de eventos específicas de la lengua de señas que vayan más allá de las categorías derivadas del habla e incorporen representaciones interaccionales multimodales más ricas.