How Pragmatics Shape Articulation: A Computational Case Study in STEM ASL Discourse

Resumen Técnico: Cómo la pragmática moldea la articulación en el discurso de las STEM en ASL

Planteamiento del problema
Los modelos de lenguaje de señas de vanguardia actuales están entrenados predominantemente con datos producidos por intérpretes o videos de vocabulario aislado. Estos conjuntos de datos capturan producciones claras y estandarizadas, pero no logran dar cuenta de la variabilidad inherente al diálogo natural. La comunicación humana es intrínsecamente adaptativa, caracterizada por el entrenamiento (ajuste de los comportamientos lingüísticos hacia un interlocutor) y la reducción de esfuerzo (simplificación de la articulación mediante la repetición). En las lenguas de señas, estos procesos adaptativos se manifiestan como cambios espaciotemporales, tales como el descenso de la seña, la caída débil (weak drop) y el subdimensionamiento de la localización (location undershooting). Sin embargo, los modelos computacionales existentes suelen pasar por alto estos cambios articulatorios dependientes del contexto, lo que genera una brecha en la comprensión de cómo la pragmática moldea la articulación de las señas y cómo las tecnologías actuales representan estas variaciones. Específicamente, existe una falta de datos cuantitativos que comparen la comunicación de señas diádica e interactiva frente a las producciones aisladas y los contextos monológicos dentro de dominios especializados como las STEM (Ciencia, Tecnología, Ingeniería y Matemáticas), donde la fluidez del vocabulario es alta.

Metodología
Para abordar esta brecha, los autores construyeron un conjunto de datos multimodal y un marco computacional para analizar el discurso de ASL (Lengua de Señas Americana) en el ámbito de las STEM.

• Recolección de datos: El estudio utilizó captura de movimiento (sistema Vicon, 120 fps, 73 marcadores) para registrar a dos usuarios fluidos de lengua de señas (un instructor de biología y un estudiante) en dos condiciones primarias:
  1. Vocabulario aislado: El estudiante produjo 77 señas de STEM individualmente para establecer una línea base de las propiedades espaciales y temporales.
  2. Diálogo diádico: Una conversación espontánea de 8.52 minutos entre el instructor y el estudiante cubriendo temas de biología (por ejemplo, estructura celular, genética).
  • Datos suplementarios: Para desentrañar la reducción de esfuerzo individual del entrenamiento específico del diálogo, los autores incluyeron:
    • Lección monológica: Una lección individual por parte del mismo instructor sobre los mismos temas.
    • Datos de intérpretes: Artículos de Wikipedia firmados por intérpretes (ASL STEM Wiki) y contenido firmado por intérpretes, que representan las distribuciones típicas de los datos de entrenamiento.
• Anotación: Los datos de video fueron anotados utilizando ELAN siguiendo los principios de glosa SLAASH, centrándose en la traducción a nivel de oración y la identificación de señas específicas de STEM.
• Métricas cinemáticas: Los autores adaptaron métricas de estudios de gestos para cuantificar la variabilidad articulatoria:
  • Reducción espacial: Medida a través de la Extensión Espacial (diagonal de la caja delimitadora 3D) y la Longitud de la Trayectoria (distancia acumulada recorrida).
  • Reducción temporal: Medida a través de la Velocidad Promedio y la Duración de la Articulación.
  • Descenso de la seña: Medido como el desplazamiento vertical medio de la mano dominante.
• Análisis computacional:
  • Entrenamiento vs. Reducción de esfuerzo: Los autores compararon las reducciones en el diálogo frente al monólogo. Las reducciones presentes en ambos se atribuyeron al esfuerzo individual; las reducciones únicas al diálogo se atribuyeron al entrenamiento (entrainment).
  • Evaluación del modelo: Se evaluaron dos codificadores preentrenados, SignCLIP (puntos clave esqueléticos, aprendizaje contrastivo) e I3D (video RGB, reconocimiento de acciones).
  • Tareas:
    1. Incrustación basada en el entrenamiento (Embedding-based Entrainment): Analizó los cambios en la similitud de coseno entre las incrustaciones de los signantes a lo largo de menciones repetidas.
    2. Detección de señas (Sign Spotting): Una tarea de recuperación donde las señas aisladas sirvieron como consultas para buscar secuencias continuas de diálogo/monólogo, midiendo el Recíproco Medio (MRR) y el Recall@k.
  • Renderizado de Avatar: Para mitigar el ruido visual de los trajes de captura de movimiento, se renderizaron avatares 3D a partir de los datos de movimiento para probar la robustez del modelo ante entradas fuera de la distribución.

Contribuciones clave

1. Marco para el desentrañamiento: Introdujo un método para aislar el entrenamiento específico del diálogo de la reducción de esfuerzo individual en ASL utilizando métricas continuas de movimiento espacial, temporal y vertical.
2. Evidencia cuantitativa de adaptación: Demostró que la comunicación de señas en el diálogo exhibe una reducción espacial y temporal significativa en comparación con el vocabulario aislado, lo que refleja los cambios adaptativos característicos de la comunicación interactiva.
3. Reducción específica al contexto: Mostró una reducción espacial y temporal estadísticamente significativa en las señas de STEM a través de menciones repetidas en el diálogo, un patrón ausente en los contextos de monólogo, lo que indica que tal adaptación refleja el entrenamiento más que la eficiencia general.
4. Limitaciones del modelo: Evaluó los modelos de incrustación de señas existentes y demostró su incapacidad para generalizar a estas diferencias articulatorias pragmáticas, particularmente en entornos interactivos.

Resultos

• Reducción articulatoria: En promedio, las señas en el diálogo fueron un 24.6% más cortas (instructor) y un 44.6% más cortas (estudiante) en duración en comparación con las señas de vocabulario aislado. Las longitudes de trayectoria también mostraron una tendencia constante a la baja en el diálogo.
• Entrenamiento vs. Esfuerzo:
  • Diálogo: Mostró una reducción sistemática espacial y temporal a través de menciones repetidas, particularmente en la mano izquierda y el brazo (sugiriendo una "caída débil").
  • Monólogo: El mismo instructor mostró poca o ninguna reducción espacial e tendencias temporales inconsistentes en las lecciones individuales, lo que sugiere que la compresión observada en el diálogo es impulsada por la adaptación de la interacción en lugar de la eficiencia individual.
  • Descenso de la seña: No se encontraron diferencias significativas en la posición vertical de la mano, lo que indica que el descenso de la seña es altamente dependiente del contexto y no es una característica primaria de esta reducción de diálogo específica.
• Desempeño del modelo:
  • Detección de señas (Sign Spotting): El desempeño fue más alto en la condición de monólogo del instructor (más cercana a los datos de preentrenamiento) y más bajo en las condiciones de diálogo. SignCLIP no logró recuperar ningún elemento correcto dentro de los 50 primeros rangos en contextos de diálogo.
  • Métricas de entrenamiento: Aunque la similitud de las incrustaciones aumentó ligeramente entre los signantes con el tiempo (sugiriendo cierto entrenamiento), los modelos lucharon por mantener representaciones estables de la misma seña a través de diferentes contextos pragmáticos.
  • Renderizado de Avatar: El renderizado de los datos de captura de movimiento como avatares no mejoró consistentemente el desempeño y, en algunos casos, lo redujo, resaltando que el problema no es meramente el ruido visual, sino un desajuste fundamental en la representación articulatoria.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera evidencia cuantitativa de que la adaptación pragmática en la lengua de señas sigue principios articulatorios medibles comparables al diálogo hablado. Los autores argumentan que las tecnologías actuales de la lengua de señas conceptualizan la variación incorrectamente; están entrenadas para reconocer qué se produce, pero no cómo o por qué varía en contextos interactivos.

El estudio enfatiza que la comunicación de señas es un sistema adaptativo e interactivo, en lugar de una secuencia de elementos léxicos estáticos. Los hallazgos sugieren que los modelos entrenados predominantemente en datos de intérpretes o aislados fallan al capturar la variabilidad articulatoria gradual del mundo real, particularmente en dominios especializados como las STEM donde el vocabulario es fluido. Los autores concluyen que el desarrollo de tecnologías educativas robustas y modelos de lengua de señas requiere marcos que tengan en cuenta la variabilidad continua y dependiente del discurso, así como las presiones específicas de la adaptación pragmática.

Nota: Los autores enmarcan modestamente estos hallazgos como un estudio de caso debido al pequeño tamaño de la muestra (un par instructor-estudiante) y la naturaleza específica del dominio de las STEM, advirtiendo contra la generalización amplia sin más investigación en diversos signantes y contextos discursivos.