La lengua de señas es una conversación rica y visual que depende del movimiento preciso de las manos, la forma de los dedos y la orientación del cuerpo. Para que las computadoras entiendan este lenguaje, deben actuar como un segundo par de ojos, observando a una persona hacer señas y traduciendo esos gestos en palabras. Durante años, los investigadores han intentado enseñar esta habilidad a las máquinas utilizando cámaras de video estándar. Estas cámaras capturan la escena visual, pero tienen dificultades cuando la vista es imperfecta. Si una mano se mueve demasiado rápido, se desenfoca; si pasa por delante de otro objeto, desaparece; si la iluminación cambia o el fondo está muy cargado, la computadora pierde el rastro de los detalles importantes. Esto hace que sea difícil para una máquina distinguir entre dos señas que se ven similares pero que significan cosas diferentes.

Para resolver esto, los científicos también han observado los sensores corporales, pequeños dispositivos que se usan en el cuerpo y que miden el movimiento directamente. Estos sensores pueden sentir la flexión de un dedo o la rotación de una muñeca, proporcionando un registro claro del movimiento incluso cuando una cámara no puede verlo con claridad. Sin embargo, los sensores por sí solos pierden el contexto visual, como hacia dónde apunta la mano en relación con el cuerpo del signante. El desafío ha sido combinar estas dos formas de ver —el ojo visual de una cámara y el sentido físico de un sensor— en un solo sistema que sea más confiable que cualquiera de los dos por separado. Un equipo de investigadores de la Universidad de Tecnología de Tianjin y la Universidad de Tecnología de Hebei ha construido ahora tal sistema, creando un método que fusiona datos de video y de sensores corporales para reconocer palabras aisladas de la lengua de señas con una precisión notable, incluso cuando la calidad del video es deficiente.

Los investigadores comenzaron construyendo un nuevo conjunto de datos diseñado específicamente para probar qué tan bien puede una computadora reconocer señas cuando las condiciones visuales son difíciles. Reclutaron a cinco voluntarios y les pidieron realizar cien señas aisladas diferentes, como palabras sueltas o frases cortas. Cada voluntario repitió cada seña diez veces, creando un total de cinco mil muestras. Durante la grabación, los voluntarios usaban una configuración especial que incluía pequeños sensores en la parte superior del brazo, el antebrazo y la mano. Estos sensores medían el movimiento inercial de las extremidades y la flexión de los dedos. Al mismo tiempo, una cámara USB estándar grababa el video. El equipo se aseguró de que el video y los datos de los sensores estuvieran perfectamente sincronizados, lo que significa que cada fotograma de video coincidía exactamente con el momento correspondiente de los datos del sensor. El entorno de grabación se configuró para incluir problemas visuales comunes, como cambios de luz, desenfoque por movimiento y partes de la mano ocultas, para simular los desafíos del mundo real.

Para enseñar a la computadora a entender estos datos, los investigadores desarrollaron un sistema con dos "cerebros" separados que trabajaban juntos. El primer cerebro se enfocaba enteramente en el video. Utilizaba un modelo visual sofisticado para observar treinta y dos fotogramas del video de cada seña, analizando cómo las manos se movían a través del espacio y cómo cambiaba la postura del cuerpo. Este modelo fue diseñado para extraer la historia visual de la seña, buscando patrones en el movimiento y la forma. El segundo cerebro se enfocaba enteramente en los sensores corporales. Procesaba los datos brutos de los sensores de flexión y de los rastreadores de movimiento, que registraban exactamente cómo se doblaban los dedos y cómo se movían los brazos. Para ayudar a este cerebro a entender el flujo del tiempo, el sistema calculaba la diferencia entre un momento de movimiento y el siguiente, permitiéndole sentir la velocidad y la dirección del gesto. Esta rama de sensores fue construida para ser ligera y eficiente, capaz de aprender los complejos patrones del movimiento humano a partir de los números brutos.

Una vez que ambos cerebros habían hecho su propia suposición sobre qué se estaba realizando, el sistema tenía que decidir a qué suposición confiar. Los investigadores encontraron que las dos fuentes de información a menudo discrepaban. A veces, la cámara veía una seña claramente, pero los sensores se confundían con un movimiento similar. Otras veces, los sensores sabían exactamente qué estaba sucediendo porque el movimiento era distinto, incluso si el video estaba borroso o la mano estaba parcialmente oculta. Para manejar esto, el equipo creó un método para mezclar las dos suposiciones. No simplemente promediaron las dos respuestas. En su lugar, ajustaron la confianza de cada suposición basándose en qué tan seguro se sentía el sistema sobre ese tipo específico de datos. Luego combinaron las probabilidades ajustadas usando un peso específico que fue elegido para obtener el mejor resultado posible. Este proceso permitió que el sistema final dependiera más de los datos de los sensores cuando el video no era claro, y más del video cuando los datos de movimiento eran ambiguos.

Los resultados de este enfoque fueron impactantes. Cuando los investigadores probaron el sistema con personas nuevas que no habían formado parte del grupo de entrenamiento, el sistema de solo video acertó aproximadamente el sesenta y ocho por ciento de las veces. El sistema de solo sensores funcionó mucho mejor, acertando aproximadamente el noventa y cinco por ciento de las veces. Esto confirmó que los sensores corporales proporcionaban una señal mucho más estable para reconocer estas señas específicas que el video, especialmente bajo las difíciles condiciones visuales que el equipo había creado. Sin embargo, el sistema fusionado, que combinaba ambas fuentes, funcionó aún mejor. Logró una precisión del noventa y siete por ciento, identificando correctamente la seña en casi todos los casos. Esta mejora significó que el sistema cometía muchos menos errores que la versión de solo sensores, corrigiendo errores que los sensores por sí solos no podían resolver.

El equipo también examinó de cerca los errores que el sistema fusionado todavía cometía. Encontraron que los errores restantes ocurrían principalmente entre pares de señas que son naturalmente muy similares, como señas que usan la misma forma de mano pero apuntan en direcciones ligeramente diferentes, o señas que dependen de diferencias sutiles en la flexión de los dedos. Estos son el tipo de distinciones que son difíciles de hacer para cualquier humano sin una atención cuidadosa, y mucho más para una máquina. El análisis mostró que cuando el video y los sensores estaban de acuerdo, el sistema casi siempre era correcto. Cuando discrepaban, el método de fusión utilizaba con éxito la fuente más confiable para corregir el error. Esto demostró que los dos tipos de datos eran verdaderamente complementarios: los sensores proporcionaban una base robusta de movimiento, mientras que el video añadía los detalles visuales necesarios para distinguir entre las señas más similares.

Este trabajo sugiere que el futuro del reconocimiento de la lengua de señas puede no depender de un solo tipo de tecnología. En su lugar, combinar la perspectiva visual de una cámara con las mediciones físicas directas de los sensores corporales crea un sistema que es resistente a las imperfecciones de la grabación en el mundo real. Aunque el estudio actual se limitó a un pequeño grupo de voluntarios y un conjunto específico de señas, el método demostró que es posible construir una herramienta de reconocimiento que funcione bien incluso cuando la transmisión de video se degrada. Los investigadores señalaron que para que esta tecnología sea útil para todos, el trabajo futuro deberá incluir a más personas con diferentes estilos de señado y probar el sistema en una variedad más amplia de entornos. Por ahora, el estudio proporciona un camino claro a seguir, mostrando que cuando las máquinas reciben tanto los ojos como un sentido del tacto, pueden entender la comunicación humana con un nivel de precisión que ninguno de los dos sentidos podría lograr por sí solo.