Bidirectional Deaf-Hearing Communication: a Modular Service- Oriented System Combining Multi-Purpose Artificial Intelligence and 3D Avatar Rendering
Este artículo presenta un sistema modular y orientado a servicios que integra visión computacional, aprendizaje profundo y renderizado de avatares en 3D para permitir una comunicación bidireccional efectiva y casi en tiempo real entre personas sordas y oyentes utilizando la lengua de señas portuguesa.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Durante siglos, la barrera fundamental entre las personas sordas y oyentes ha sido un simple desajuste de los sentidos: un grupo se comunica a través del lenguaje visual de las manos y los rostros, mientras que el otro depende del sonido de las voces. Si bien la tecnología ha permitido durante mucho tiempo traducir las palabras habladas a texto para los sordos, y el texto a voz para los oyentes, cerrar la brecha en una conversación en tiempo real ha seguido siendo obstinadamente difícil. El desafío no es solo convertir un lenguaje en otro, sino gestionar dos formas de experimentar el mundo enteramente diferentes. Las personas sordas utilizan la lengua de señas, un sistema complejo donde el significado se transmite mediante la forma de una mano, el movimiento de un brazo, la posición del cuerpo y la expresión de un rostro. Las personas oyentes, por el contrario, hablan con sonidos que viajan a través del aire. Cuando una persona sorda hace una oración en señas, una computadora debe observar el video, comprender los movimientos específicos y convertirlos en palabras. Cuando una persona oyente habla, una computadora debe tomar esas palabras, descomponerlas en la secuencia correcta de señas y luego mostrárselas a la persona sorda. Hacer ambas cosas instantáneamente, sin un retraso que rompa el flujo de la conversación, requiere un sistema que sea increíblemente rápido e increíblemente inteligente.
Un equipo de investigadores en Portugal ha construido un nuevo sistema diseñado para resolver exactamente este problema, creando un puente digital que permite a las personas sordas y oyentes hablar entre sí de la manera más natural posible. Llaman a su creación SLaDIS, una plataforma modular que actúa como un traductor universal para la conversación bidireccional. En lugar de intentar forzar todo en un único y masivo programa, los investigadores dividieron el sistema en tres partes distintas que trabajan juntas como una carrera de relevos bien organizada. La primera parte observa las manos y el rostro de la persona sorda, la segunda parte escucha las palabras de la persona oyente y las convierte en señas, y la tercera parte es la pantalla donde ocurre la conversación. Al mantener estas partes separadas pero conectadas, el sistema puede realizar el trabajo pesado de la visión computacional y la inteligencia artificial sin ralentizar la conversación.
El viaje comienza cuando una persona sorda quiere hablar. Realiza su mensaje en señas ante una cámara en un teléfono móvil o computadora. El sistema no intenta memorizar cada píxel individual del video, lo cual sería demasiado lento y requeriría demasiados datos. En su lugar, utiliza una herramienta especializada para encontrar los puntos clave en el cuerpo de la persona: las articulaciones de los dedos, los codos, los hombros y las comisuras de la boca. Rastrea estos puntos a medida que se mueven, creando un mapa simplificado del gesto. Este mapa se introduce luego en un modelo de aprendizaje profundo, un tipo de inteligencia artificial entrenada con miles de ejemplos de la Lengua de Señas Portuguesa. El modelo observa la secuencia de movimientos e identifica las señas específicas que se están realizando, convirtiendo el movimiento visual en una lista de palabras. Debido a que la lengua de señas a menudo omite pequeñas palabras conectoras o utiliza una estructura de oración diferente a la del lenguaje hablado, el sistema pasa entonces esta lista de palabras a un modelo de lenguaje extenso. Esta segunda capa de inteligencia actúa como un editor útil, reordenando las palabras, añadiendo la gramática necesaria y suavizando la oración para que tenga perfecto sentido para un oyente. El resultado es una oración clara y natural que aparece en la pantalla para que el participante oyente la lea o la escuche.
El proceso funciona a la inversa cuando la persona oyente quiere responder. Escriben o dicen su mensaje, y el sistema lo traduce inmediatamente a los glosados, o bloques de construcción, de la Lengua de Señas Portuguesa. Esto no es un simple intercambio palabra por palabra; el sistema entiende que la lengua de señas tiene sus propias reglas de orden de palabras y gramática. Una vez que la oración se convierte en la secuencia correcta de señas, el sistema se prepara para mostrársela al usuario sordo. En lugar de enviar un video pregrabado de un signante humano, lo que tomaría tiempo descargar y podría no coincidir con las palabras exactas, el sistema utiliza un avatar digital en 3D. Este avatar es un humano virtual que vive dentro de la aplicación. El sistema recupera la animación específica para cada seña de una biblioteca y las encadena, creando una actuación fluida y continua. El avatar mueve sus manos, brazos y rostro para imitar a un signante real, mostrando el mensaje directamente en la pantalla del usuario sordo.
Los investigadores probaron este sistema extensamente para ver si podía mantener el ritmo de una conversación real. Encontraron que la parte del sistema que reconoce las señas era altamente precisa, identificando correctamente el 95.6 por ciento de las señas en las que fue probada. Cuando el sistema convirtió esas señas en oraciones completas, el significado coincidió con el mensaje pretendido con un alto grado de similitud, puntuando 0.81 en una escala donde 1.0 es una coincidencia perfecta. La velocidad del sistema fue igualmente impresionante. El tiempo que tomó reconocer una seña y convertirla en una oración fue de menos de una décima de segundo, y el tiempo que tomó para que el avatar comenzara a moverse después de que una persona oyente enviara un mensaje fue de poco más de un segundo. Estas velocidades son lo suficientemente rápidas como para sentirse como una conversación natural y fluida en lugar de un intercambio estancado de mensajes.
Para asegurar que el sistema fuera realmente útil, los investigadores contaron con expertos de la Asociación Portuguesa de Sordos para evaluar al avatar. Dos evaluadores independientes observaron al avatar realizar las señas y calificaron qué tan bien podían entender el mensaje. Un experto entendió el 90 por ciento de las señas, mientras que el otro entendió el 78 por ciento. El estudio señaló que cuando la calidad de la animación era alta, la comprensión era perfecta, sugiriendo que la claridad del movimiento es tan importante como la precisión de las palabras. El sistema también demostró ser flexible, capaz de manejar conversaciones en diferentes entornos como compras, turismo y atención médica, mostrando que puede adaptarse al vocabulario variado necesario en la vida diaria.
La verdadera innovación de este trabajo reside en cómo encajan las piezas. Al diseñar el sistema como una colección de servicios independientes que se comunican entre sí, los investigadores crearon una plataforma que puede crecer. Si se desarrollan mejores modelos de IA en el futuro, pueden ser sustituidos sin reconstruir todo el sistema. Si se necesitan añadir más señas a la biblioteca, pueden ser grabadas y añadidas sin interrumpir el proceso de traducción. Este enfoque significa que el sistema no es solo un experimento de una sola vez, sino una base que puede evolucionar. Los investigadores reconocen que el vocabulario es todavía limitado en comparación con la plenitud de la lengua, y que la traducción de texto a señas podría ser aún más fluida con más datos de entrenamiento. Sin embargo, los resultados demuestran que un puente bidireccional plenamente funcional entre los mundos sordo y oyente no es solo una posibilidad teórica, sino una realidad operativa que funciona con la velocidad y la fiabilidad necesarias para una conexión humana genuina.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.