What's the Point? Spatial Grammar & Index Resolution for Sign Language Processing

Resumen Técnico: ¿Cuál es el punto? Gramática Espacial y Resolución de Índices para el Reconocimiento de la Lengua de Señas

Planteamiento del Problema
Los procesos actuales de Reconocimiento de Lengua de Señas (SLR) y Traducción de Lengua de Señas (SLT) dependen predominantemente de la supervisión de secuencias de glosas o de texto. Este enfoque asume una correspondencia lineal entre las señas y un léxico finito y discreto, modelando el lenguaje como una secuencia de tokens léxicos. Sin embargo, este marco submodela las construcciones no léxicas y productivas, que constituyen aproximadamente el 40% del discurso espontáneo en lengua de señas. Un caso crítico de esta brecha es el indexado espacial (gestos de señalar), donde los signantes asignan entidades del discurso a loci espaciales para establecer una referencia. A pesar de comprender el 10–15% del contenido de la lengua de señas, el indexado es pobremente recuperado por los modelos de vanguardia entrenados en objetivos léxicos. Estos modelos fallan en (i) distinguir de manera fiable el indexado de señas léxicamente similares y (ii) mantener la consistencia referencial a través de las frases, ya que el indexado depende del estado del discurso y del contexto espacial en lugar de formas léxicas fijas.

Metodología
Los autores proponen un marco modular de dos etapas para descomponer la resolución de la referencia espacial en detección de índices y vinculación de entidades del discurso, tratando el indexado como una tarea de predicción estructurada en lugar de un subproducto del reconocimiento de glosas.

1. Representación de Pose: Los documentos de entrada se representan como segmentos localizados temporalmente alineados con los límites de las glosas, codificados mediante poses corporales y manuales (SMPL y WiLoR) utilizando un codificador SL-GCN.
2. Red de Propuesta de Índice (IPN): Una cabeza de clasificación ligera predice si un segmento realiza una seña de indexación. La IPN se entrena con corpus lingüísticamente curados (BSLCP, MDGS) con anotaciones de indexación a nivel de glosa. Para mitigar los falsos positivos que se propagan hacia la vinculación de entidades, el modelo se optimiza para una alta precisión utilizando una pérdida ponderada por clase y un umbral de alta confianza ($\tau = 0.90$).
3. Memoria de Vinculación de Entidades (ELM): Las menciones de índices detectadas se procesan secuencialmente. La ELM mantiene una memoria de entidades del discurso que crece dinámicamente. Proyecta las incrustaciones (embeddings) de los segmentos en un espacio de vinculación, aumentado con características geométricas (dirección de señalización, locus espacial, trayectoria). El modelo calcula puntuaciones de compatibilidad entre la mención actual y los espacios de entidades existentes (o un espacio nulo para nuevas entidades) utilizando un Perceptrón Multicapa (MLP). Las representaciones de las entidades se actualizan mediante interpolación con compuertas (gated interpolation). La supervisión para la vinculación de entidades se genera automáticamente utilizando un flujo de trabajo de Modelo de Lenguaje Grande (LLM) que asigna IDs de clúster a las transcripciones basándose en restricciones estructurales.
4. Integración en Tiempo de Inferencia: La IPN y la ELM sirven como expertos auxiliares para un modelo de SLR congelado (CSLR2). Durante la inferencia, se inyectan dos sesgos:
   • Impulso de Detección ($w_{IPN}$): Aumenta el peso del logit de los tokens relacionados con la señalización para los segmentos identificados como indexación.
   • Prior de Vinculación de Entidades ($w_{ELM}$): Sesga las predicciones basándose en el consenso del token de señalización de la entidad asignada, promoviendo la consistencia en las menciones repetidas.

Contribuciones Clave

1. Demostración Empírica de Submodelado: Los autores demuestran que, a pesar de comprender una parte significativa del discurso, el indexado espacial es pobremente recuperado por los modelos de SLR centrados en el léxico (el IoU de Índice cae al 6.1% en los modelos base).
2. Marco de Entrenamiento y Evaluación: Un marco curado para la conciencia de índices utilizando corpora de señalización anotados manualmente y un protocolo de evaluación específico que aísla el rendimiento de indexación del rendimiento léxico general.
3. Enfoque de Modelado de Dos Etapas: Un nuevo flujo de trabajo que separa la detección local de índices (IPN) del seguimiento de entidades a nivel de discurso (ELM), permitiendo la anotación automática y el modelado de estructuras no léxicas.
4. Integración de Expertos Auxiliares: Un método para aumentar los modelos de SLR congelados en el tiempo de inferencia, mejorando la recuperación de la indexación sin reentrenar la arquitectura base (backbone).

Resultados

• Rendimiento Base: En el conjunto de prueba BOBSL-CSLR, el modelo base CSLR2 logra una Tasa de Error de Palabra (WER) del 69.5% en general, pero falla en recuperar los tokens de indexación, con un $WER_{Index}$ que alcanza el 98.4% y un IoU de Índice de 6.1%.
• Detección de Índices: La IPN se generaliza bien entre conjuntos de datos (BSLCP y MDGS), siendo el entrenamiento conjunto lo que mejora la robustez. El ajuste de alta precisión reduce la filtración léxica (clasificar erróneamente señas no indexadas como señalización).
• Vinculación de Entidades: La ELM logra una Precisión de Clúster de Entidad (ECA) de 0.65 en los datos de prueba. Aunque el entrenamiento conjunto mejora la estructura del clúster, el entrenamiento exclusivo con BSLCP produjo un mejor rendimiento de SLR downstream debido a un mejor alineamiento de etiquetas.
• Mejora del SLR Downstream: La integración de la IPN y la ELM como sesgos en tiempo de inferencia reduce el $WER_{Index}$ de 96.2% a 59.6% y el $WER_{All}$ de 70.5% a 68.3%. Crucialmente, esta mejora en la recuperación de la indexación no degrada el rendimiento léxico ($WER_{Lex}$ se mantiene estable en ~77.1%).
• Tasas de Recuperación: El sistema completo aumenta la recuperación de los tokens de índice de la verdad de campo (ground-truth) del 6.1% (base) al 71.2%, con la ELM proporcionando ganancias consistentes sobre la detección por sí sola.

Significancia y Reivindicaciones
El artículo sostiene que el indexado espacial es una brecha estructural en los procesos actuales de SLR centrados en el léxico que no puede resolverse simplemente escalando los modelos léxicos. Al modelar explícitamente el indexado como un proceso de dos etapas de detección y seguimiento de discurso, los autores establecen una base para el modelado de la lengua de señas consciente de los índices. El trabajo demuestra que los componentes conscientes del discurso pueden complementar los sistemas de reconocimiento existentes como expertos auxiliares de "conectar y usar", mejorando la recuperación de estructuras no léxicas sin requerir el reentrenamiento conjunto de la arquitectura de reconocimiento. Los autores señalan que este enfoque aborda una limitación estructural específica y que el trabajo futuro debería extender este tratamiento a otras construcciones productivas (por ejemplo, señas de representación o cambios de rol) y mejorar la supervisión a nivel de discurso.

Limitaciones Reconocidas
Los autores reconocen las siguientes limitaciones:

• Cambio de Dominio: Entrenar con datos conversacionales de personas sordas y evaluar con transmisiones interpretadas introduce cambios en el estilo del signante y en los patrones referenciales.
• Calidad de la Anotación: Las etiquetas de verdad de campo en benchmarks como BOBSL dependen de la segmentación automática y pueden estar incompletas, lo que limita la fiabilidad de la evaluación cuantitativa.
• Métricas de Evaluación: Las métricas actuales para los tokens de señalización no referenciales ($g_{GIS}$) miden la presencia del token en lugar de la precisión referencial, sirviendo como un límite inferior del error semántico.
• Restricciones Arquitectónicas: Los errores de detección surgen de la oclusión y la coarticulación, mientras que la vinculación de entidades depende de la supervisión generada por LLM sin señales visuales, lo que puede introducir ruido en documentos largos. El sistema opera únicamente en tiempo de inferencia, lo que limita la capacidad de la arquitectura base para aprender representaciones directas conscientes de los índices.