A HamNoSys-Guided Dataset and Baselines for Fine-Grained Isolated Handshape Recognition in Sign Language
Este artículo presenta un conjunto de datos a gran escala, basado en HamNoSys, de 144.000 imágenes RGB de 15 participantes para 160 clases de formas de las manos y establece el rendimiento base utilizando diversos modelos de aprendizaje profundo y de aprendizaje automático bajo protocolos de evaluación tanto dependientes del sujeto como de exclusión de un sujeto, con el fin de avanzar en el reconocimiento de la lengua de señas de grano fino.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Las lenguas de señas son lenguas completas y complejas con su propia gramática y estructura, utilizadas por millones de personas en todo el mundo. Así como las lenguas habladas se construyen a partir de sonidos, las lenguas de señas se construyen a partir de movimientos físicos de las manos, la cara y el cuerpo. Uno de los componentes fundamentales más críticos es la forma que hace la mano. Una ligera curvatura en un dedo o una posición diferente del pulgar pueden cambiar el significado de una seña por completo, de forma muy similar a cómo el cambio de una sola letra puede convertir una palabra en otra. Para que las computadoras puedan entender o traducir estas lenguas, primero deben aprender a reconocer estas formas de las manos con alta precisión. Sin embargo, crear un sistema informático que pueda hacer esto es difícil porque las manos humanas varían enormemente de una persona a otra, y las diferencias entre formas de manos similares pueden ser increíblemente sutiles.
Los investigadores han buscado durante mucho tiempo una forma de describir estas formas de las manos en un lenguaje universal que no pertenezca solo a un país o cultura. Uno de estos sistemas, conocido como el Sistema de Notación de Hamburgo, actúa como un mapa detallado para las configuraciones de las manos, descomponiéndolas en partes específicas como la selección de los dedos y la posición del pulgar. Si bien este sistema proporciona una definición clara de cómo debería verse una forma de la mano, ha habido una falta de datos del mundo real para enseñar a las computadoras cómo reconocer estas formas cuando son realizadas por personas reales. Sin una gran colección de imágenes reales que muestren estas formas específicas, los programas informáticos tienen dificultades para generalizar, fallando a menudo cuando encuentran a una persona nueva o un ángulo ligeramente diferente.
Para abordar esta brecha, un equipo de investigadores creó un nuevo y masivo conjunto de datos diseñado para enseñar a las computadoras cómo reconocer 160 formas de manos distintas. No dependieron de imágenes generadas por computadora o dibujos simples; en su lugar, grabaron a personas reales. Quince voluntarios, todos estudiantes universitarios, fueron invitados a formar cada una de las 160 formas de manos específicas definidas por la tabla oficial. Los investigadores establecieron un entorno controlado con un fondo blanco liso y una cámara de alta definición. Cada participante mantuvo su mano en la forma requerida y la rotó lentamente, permitiendo que la cámara capturara el movimiento desde diferentes ángulos. Este proceso generó 144,000 imágenes a color individuales, creando una rica biblioteca donde cada una de las imágenes está etiquetada con la forma de mano exacta que representa.
Los investigadores luego probaron qué tan bien diferentes modelos informáticos podían aprender de esta nueva biblioteca. Probaron dos enfoques principales. El primer enfoque observaba las imágenes como un todo, de forma muy similar a un humano, centrándose en la apariencia general de la mano, el tono de la piel y la iluminación. El segundo enfoque ignoraba la imagen por completo y se centraba únicamente en las coordenadas matemáticas de veintiún puntos específicos de la mano, como las puntas de los dedos y las articulaciones. Probaron estos modelos de dos maneras diferentes. En la primera prueba, la computadora fue mostrada imágenes de personas que ya había visto durante su entrenamiento, simulando un escenario donde el sistema conoce al usuario. En la segunda prueba, mucho más difícil, la computadora fue mostrada imágenes de personas que nunca había conocido, obligándola a confiar en lo que aprendió sobre las formas mismas en lugar de la persona específica que las realiza.
Los resultados revelaron una distinción clara entre conocer a una persona y conocer una forma. Cuando la computadora fue probada con personas que ya había visto, funcionó muy bien, identificando correctamente la forma de la mano en más del 86 por ciento de los casos utilizando el mejor modelo basado en imágenes. Sin embargo, cuando la computadora se enfrentó a una persona nueva que nunca había encontrado, su precisión disminuyó significamente, cayendo aproximadamente al 45 por ciento. Este marcado descenso muestra que, si bien las computadoras son buenas reconociendo patrones en rostros familiares, todavía luchan por separar la forma universal de una seña de la manera única en que un individuo específico la realiza. El estudio también encontró que los modelos cometían la mayoría de sus errores con formas de manos que se ven casi idénticas, diferenciándose solo por un detalle minúsculo como la curvatura de un solo dedo o la posición del pulgar.
Este trabajo proporciona una base sólida para la tecnología futura. Al ofrecer una colección grande y equilibrada de imágenes reales y probar cómo las computadoras manejan a nuevos usuarios, los investigadores han creado una herramienta estándar para el campo. El conjunto de datos permite a los científicos construir mejores sistemas que eventualmente puedan ayudar a traducir la lengua de señas a texto o voz para aquellos que no pueden oír, o ayudar a las personas sordas a comunicarse más fácilmente con las personas oyentes. Aunque los modelos actuales todavía encuentran difícil reconocer las señas de extraños, el nuevo recurso ofrece a los investigadores un camino claro hacia adelante para mejorar estos sistemas, asegurando que la tecnología futura pueda entender la sutil y hermosa complejidad de las manos humanas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.