A HamNoSys-Guided Dataset and Baselines for Fine-Grained Isolated Handshape Recognition in Sign Language

Resumen Técnico: Un conjunto de datos y líneas base guiados por HamNoSys para el reconocimiento de formas de la mano aisladas y de grano fino en la lengua de señas

Planteamiento del problema
El reconocimiento de formas de la mano de grano fino es un componente crítico para la transcripción, el reconocimiento y la traducción computacional de la lengua de señas. Sin embargo, el campo carece de inventarios visuales amplios, definidos fonéticamente, que incluyan una evaluación consciente del signante. Los recursos existentes suelen centrarse en el deletreo manual (alfabetos restringidos), signos continuos (etiquetas débiles) o datos sintéticos, dejando un vacío para un referente de imágenes reales que combine un inventario de formas de la mano, definido por la transcripción y de forma independiente al idioma, con una evaluación sistemática en participantes no vistos. Además, aunque el sistema de notación de Hamburgo (HamNoSys) se utiliza ampliamente para la anotación lingüística, no se ha utilizado previamente para definir un inventario de clases visualmente reproducible y acotado para conjuntos de datos de reconocimiento de formas de la mano aisladas.

Metodología
Los autores construyeron un nuevo conjunto de datos y establecieron modelos de referencia para abordar este vacío.

• Construcción del conjunto de datos:

  • Inventario de clases: El estudio utilizó la tabla oficial de formas de la mano de HamNoSys 4, no exhaustiva, para definir 160 clases distintas de formas de la mano. Cada modelo de mano ilustrado en la tabla fue tratado como una clase única, excluyendo las celdas vacías o aquellas que solo contenían símbolos. Las clases se categorizaron en diez filas pobladas (p. ej., puño, un dedo, dos dedos, oposición del pulgar).
  • Adquisición de datos: Se recolectó un conjunto de datos equilibrado de 144,000 imágenes RGB de 15 participantes universitarios. Para cada una de las 160 clases, los participantes reprodujeron la forma de la mano objetivo mientras rotaban lentamente sus manos para introducir variaciones de punto de vista, superposición y oclusión propia.
  • Procesamiento: Los videos se grabaron a 30 fps (resolución de 640 × 480). Para reducir la redundancia temporal manteniendo la variación, se seleccionó cada quinta imagen, lo que produjo 60 imágenes por clip de 10 segundos. Se utilizó MediaPipe Hands para localizar la mano dominante en 139,199 imágenes, formando un subconjunto de modelado común.
  • Organización: El conjunto de datos está organizado jerárquicamente por participante y categoría de HamNoSys, con una convención de nomenclatura que vincula las imágenes con las clases específicas definidas por la tabla.

• Protocolos de evaluación:
  Se definieron dos protocolos complementarios sobre el subconjunto de modelado de 139,199 imágenes:

  1. Dependiente del sujeto: Una división a nivel de fotograma estratificada por clase de 70:15:15 (Entrenamiento:Validación:Prueba) donde todos los participantes aparecen en cada partición. Esto sirve como referencia para el reconocimiento bajo condiciones de participantes conocidos.
  2. Independiente del sujeto (LOSO): Una validación cruzada de dejar un sujeto fuera (Leave-One-Subject-Out) de 15 pliegues, donde se reserva un participante para las pruebas mientras el modelo se entrena y valida con los 14 restantes. Esto evalúa la generalización a individuos no vistos.

• Modelos de referencia (Baselines):
  Se evaluaron cuatro modelos para caracterizar el referente:

  • Basado en la apariencia (RGB): ResNet-18 y ViT-B/16, ambos ajustados finamente en recortes de mano de 224 × 224.
  • Basado en puntos de referencia (Landmarks): Una Red Neuronal Convolucional de Grafos (GCN) y XGBoost, ambos operando sobre 21 puntos clave de la mano (x, y, z y ángulos articulares) extraídos mediante MediaPipe.

Contribuciones clave

1. Conjunto de datos fundamentado en HamNoSys: La introducción de un conjunto de datos de imágenes reales equilibrado de 144,000 imágenes que cubre 160 clases de formas de la mano de grano fino definidas por la tabla HamNoSys 4. Esto proporciona un recurso reproducible para la investigación basada en la fonología.
2. Marco de evaluación integral: El establecimiento de protocolos tanto dependientes del sujeto como independientes del sujeto (LOSO) para distinguir entre el rendimiento de reconocimiento intra-participante y la generalización a signantes no vistos.
3. Rendimiento de referencia: La provisión de un rendimiento de referencia reproducible para cuatro familias de modelos distintas (ResNet-18, ViT-B/16, GCN, XGBoost) sobre este inventario específico de 160 clases.
4. Contexto externo: Evaluaciones de modelos emparejados en LSWH100 (sintético) y ASL Fingerspelling Dataset A (real, 24 clases) para proporcionar contexto comparativo, aunque los autores señalan que estos no son rankings de calidad directos debido a las diferentes condiciones de adquisición y conteos de clases.

Resultados

• Rendimiento dependiente del sujeto: En el conjunto de datos de 160 clases, ViT-B/16 logró la mayor precisión top-1 (86.20%), seguido de cerca por ResNet-18 (84.72%). Los modelos basados en puntos de referencia tuvieron un rendimiento inferior, con GCN en 72.44% y XGBoost en 69.57%. Los autores señalan que los modelos basados en la apariencia se benefician de detalles visuales que no son capturados totalmente por los 21 puntos de referencia.
• Rendimiento independiente del sujeto (LOSO): La generalización a participantes no vistos resultó en una caída significativa del rendimiento. Las precisiones top-1 de ViT-B/16 y ResNet-18 cayeron aproximadamente a 45.22% y 45.38%, respectivamente. GCN logró las precisiones top-3 (69.23%) y top-5 (78.58%) más altas en este entorno, lo que sugiere que retiene la clase correcta dentro de sus predicciones superiores incluso cuando la predicción top-1 falla.
• Análisis de confusión: El análisis visual reveló que los errores más frecuentes ocurrieron entre formas de la mano que difieren en propiedades articulatorias sutiles (p. ej., selección de dedos, flexión, posición del pulgar). Las categorías amplias estuvieron generalmente bien separadas, pero las distinciones de grano fino siguen siendo un desafío.
• Conjuntos de datos externos: En el ASL Fingerspelling Dataset A de 24 clases, todos los modelos alcanzaron un rendimiento cercano al techo (>97%), lo que resalta la dificultad de la tarea de grano fino de 160 clases propuesta en comparación con los alfabetos restringidos.

Significancia y afirmaciones
El artículo posiciona este trabajo como un recurso reproducible para la investigación de formas de la mano aisladas de grano fino. Los autores afirman que el conjunto de datos y las líneas base apoyan el desarrollo de tecnologías de la lengua de señas más accesibles, particularmente para la transcripción, el reconocimiento y la traducción a través de diversas lenguas de señas. El trabajo aborda un vacío de recursos específico al combinar un inventario amplio, definido fonéticamente, con una evaluación rigurosa independiente del participante.

Los autores reconocen modestamente las limitaciones: los datos fueron recolectados en un entorno interior controlado con una sola cámara y un grupo demográfico específico (estudiantes universitarios); el inventario se restringe a formas estáticas de una sola mano de la tabla HamNoSys (excluyendo transiciones dinámicas, signos de dos manos y componentes no manuales); y solo se evaluaron cuatro familias de modelos de referencia. Sugieren que el trabajo futuro debería investigar participantes más diversos, entornos de adquisición menos controlados y modelos de grano fino más avanzados.