🤖 AI

Dynamic LIBRAS Gesture Recognition via CNN over Spatiotemporal Matrix Representation

Este artículo propone un sistema de reconocimiento de gestos dinámicos en LIBRAS para el control de domótica que combina el rastreo de puntos clave de la mano con MediaPipe y una red neuronal convolucional (CNN) entrenada sobre una representación matricial espacio-temporal, logrando una precisión del 95% en condiciones de baja iluminación sin necesidad de redes recurrentes.

Autores originales: Jasmine Moreira

Publicado 2026-03-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jasmine Moreira

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tu mano es un pintor invisible y la cámara de tu computadora es un lienzo digital. El objetivo de este trabajo es enseñarle a la computadora a "leer" los dibujos que haces con las manos para que pueda encender luces, abrir cortinas o ajustar el aire acondicionado, todo sin tocar un solo botón.

Aquí te explico cómo funciona este sistema, usando analogías sencillas:

1. El "Esqueleto Mágico" (MediaPipe)

Primero, la computadora necesita ver tu mano, pero no le importa si tienes la piel clara, oscura o si estás en una habitación oscura. Para lograrlo, usa una herramienta llamada MediaPipe.

La analogía: Imagina que MediaPipe es como un rayo láser invisible que pasa por tu mano y dibuja un "esqueleto" de 21 puntos (como las articulaciones de los dedos y la palma).
En lugar de guardar una foto completa de tu mano (que pesa mucho y depende de la luz), la computadora solo guarda la posición de esos 21 puntos. Es como si solo guardara las coordenadas de un mapa del tesoro en lugar de la foto del tesoro entero.

2. El "Libro de Historias" (La Matriz Espaciotemporal)

El reto más grande es entender los gestos que se mueven (como la letra "J" en el alfabeto de señas, que requiere girar la mano). Una foto estática no sirve para esto.

La analogía: Imagina que tomas 30 fotos rápidas de tu movimiento. En lugar de tener 30 fotos separadas, el sistema las apila y las convierte en un único "libro" o mapa gigante (una matriz de 90 filas por 21 columnas).
- Las filas representan el tiempo (cómo se mueven los puntos de arriba a abajo).
- Las columnas representan los puntos de la mano (los 21 huesos).
Si haces un gesto estático (como la letra "A"), el dibujo en este "libro" se ve como líneas rectas y uniformes. Si haces un gesto dinámico (como abrir y cerrar la mano), el dibujo se ve como ondas o patrones complejos.

3. El "Detective Inteligente" (La Red Neuronal CNN)

Ahora, la computadora necesita alguien que lea ese "libro" y diga: "¡Ah! Esto significa 'encender la luz'". Aquí entra la Red Neuronal Convolucional (CNN).

La analogía: Piensa en esta red neuronal como un detective muy entrenado que ha visto miles de estos "libros". No necesita ser un genio matemático; solo necesita reconocer patrones visuales, igual que tú reconoces la letra "A" en un libro de texto sin tener que medir cada línea.
Este detective es muy ligero (tiene solo 25.000 "células" o parámetros), lo que significa que puede trabajar rápido en una computadora normal sin necesitar supercomputadoras.

4. El "Deslizamiento Mágico" (La Ventana Corrediza)

¿Qué pasa si haces el movimiento muy rápido y la computadora se pierde? Para evitar esto, usan una técnica llamada ventana deslizante con triplicación de cuadros.

La analogía: Imagina que estás viendo una película en cámara lenta. Si el sistema toma una foto nueva, en lugar de borrar la anterior, la copia tres veces en su memoria temporal.
Esto crea una "ventana" que siempre tiene suficiente información para ver el movimiento completo, incluso si lo haces rápido. Es como si el sistema dijera: "No te preocupes por la velocidad, voy a repetir tu movimiento mentalmente tres veces para asegurarme de entenderlo".
Además, solo actúa si está 98% seguro de lo que ve, para evitar encender la luz por accidente si solo pasaste la mano.

5. Los Resultados: ¿Funciona?

El sistema fue probado en un entorno de "casa inteligente" con 11 comandos diferentes (luces, cortinas, aire acondicionado).

En la oscuridad: Funcionó increíblemente bien (95% de aciertos), gracias a que la cámara usada es muy sensible a la luz.
Con luz normal: También funcionó muy bien (92% de aciertos).
El único problema: A veces confundió la letra "C" con una mano relajada (como si no estuvieras haciendo nada). Esto sugiere que el sistema necesita ver más tipos de manos y movimientos para ser perfecto con todas las personas.

En Resumen

Este trabajo es como enseñarle a tu casa a leer el lenguaje de las manos sin necesidad de cables ni botones. Convierte el movimiento de tus dedos en un "dibujo matemático", lo pasa por un "detective" rápido y, si está seguro, ejecuta la orden.

Es un gran paso hacia casas que entienden lo que queremos hacer solo con una señal de la mano, aunque todavía necesita practicar un poco más con más personas para ser perfecto para todos.

Resumen Técnico: Reconocimiento de Gestos Dinámicos en LIBRAS mediante CNN sobre Representación Matricial Espaciotemporal

1. Planteamiento del Problema
El reconocimiento automático de gestos de la mano es fundamental para las interfaces humano-máquina, especialmente en el control de dispositivos y la interpretación de lenguas de señas. Sin embargo, el reconocimiento de gestos dinámicos (aquellos que implican movimiento a lo largo del tiempo) sigue siendo un desafío debido a la complejidad anatómica de la mano y la variabilidad entre usuarios (diferencias en proporciones, ritmo de ejecución y estilo).
Los enfoques basados en píxeles brutos de imágenes sufren de alta dimensionalidad y sensibilidad a factores como la iluminación y el tono de piel. Además, muchos sistemas existentes dependen de redes recurrentes (RNN/LSTM) o máquinas de estados finitos, lo que puede aumentar la complejidad computacional y dificultar la implementación en hardware de propósito general o embebido.

2. Metodología Propuesta
El trabajo propone un sistema híbrido compuesto por dos modelos principales para el reconocimiento de gestos de la LIBRAS (Lengua de Señas Brasileña) aplicados al control de domótica:

Extracción de Características (MediaPipe): Se utiliza el modelo preentrenado MediaPipe Hand Landmarker para detectar y localizar 21 puntos clave (landmarks) de las articulaciones de la mano en cada fotograma del video. Esto abstrae la apariencia visual y retiene solo la estructura geométrica relevante.
Representación Matricial Espaciotemporal:
- Se capturan secuencias de 30 fotogramas por gesto.
- Las coordenadas $(x, y, z)$ $(x, y, z)$ de los 21 puntos clave se organizan en una matriz de 90 filas por 21 columnas.
  - Filas 1-30: Valores del eje X.
  - Filas 31-60: Valores del eje Y.
  - Filas 61-90: Valores del eje Z.
- Esta matriz se normaliza (escala min-max a [0, 255]) y se convierte en una imagen en escala de grises, permitiendo visualizar patrones estáticos y dinámicos.
Clasificación (CNN 2D): Una Red Neuronal Convolucional (CNN) de 2D clasifica estas matrices como si fueran imágenes. La arquitectura es ligera (~25,000 parámetros), compuesta por tres capas convolucionales y dos capas densas, utilizando funciones de activación ReLU y Softmax.
Inferencia en Tiempo Real (Ventana Deslizante): Para evitar el uso de redes recurrentes y manejar la continuidad de los gestos, se implementa una estrategia de ventana deslizante con triplicación temporal. Cada nuevo fotograma capturado se inserta 3 veces en un búfer. Cuando el búfer alcanza 30 entradas (equivalente a ~10 fotogramas reales), se ensambla la matriz y se envía al modelo. Solo se aceptan predicciones con una confianza superior al 98%.

3. Contribuciones Clave

Representación Matricial (90x21): Una nueva forma de organizar puntos clave esqueléticos para ser procesados por una CNN 2D estándar, facilitando la inspección visual de los patrones de movimiento.
Estrategia de Ventana Deslizante sin RNN: Logra inferencia continua en tiempo real mediante la triplicación de fotogramas en el búfer, eliminando la necesidad de modelos secuenciales complejos (como LSTM) y reduciendo la carga computacional.
Validación en Escenario de Domótica: El sistema fue validado con 11 clases de gestos (estáticos y dinámicos) para controlar dispositivos específicos (aire acondicionado, cortinas, ventanas, luces, cambios de intensidad y color).

4. Resultados Experimentales
Los experimentos se realizaron en un PC con procesador Intel Core i7 y cámara Logitech Brio, sin GPU dedicada para la inferencia. Se probaron dos condiciones de iluminación:

Baja iluminación: 95% de precisión (95/100 reconocimientos correctos).
Iluminación normal: 92% de precisión (92/100 reconocimientos correctos).
Errores principales: La confusión más frecuente fue entre el gesto de la letra "C" y posiciones relajadas de la mano (neutral).
Rendimiento del Modelo: La precisión de entrenamiento y validación alcanzó el 100% y 99.55% respectivamente durante el entrenamiento, aunque el autor advierte que esto se debe a la homogeneidad de los datos (un solo usuario).

5. Significado y Conclusión
El estudio demuestra que es posible lograr un reconocimiento de gestos dinámicos robusto y en tiempo real utilizando una arquitectura CNN 2D ligera sobre una representación esquelética, sin depender de redes recurrentes costosas.

Ventajas: El sistema es compatible con hardware de propósito general, es tolerante a variaciones de ritmo y posición, y funciona bien en condiciones de poca luz gracias a la calidad del sensor de la cámara y la abstracción de puntos clave.
Limitaciones y Futuro: Los resultados actuales provienen de un solo usuario, lo que limita la evaluación de la generalización. Se requiere expandir el conjunto de datos con múltiples usuarios, variaciones anatómicas y condiciones de iluminación controladas para validar la robustez del sistema en entornos reales diversos. El trabajo futuro apunta a probar el sistema en hardware embebido de bajo costo y ampliar el vocabulario de gestos.