💬 NLP

Target-Side Paraphrase Augmentation for Sign Language Translation with Large Language Models

Este artículo propone un método de aumentación de paráfrasis en el lado del objetivo utilizando GPT-4o para generar variantes controladas de oraciones de referencia para entrenar modelos de traducción de lengua de señas, demostrando una mejora en las puntuaciones BLEU y la fidelidad semántica en el conjunto de datos PHOENIX14T, al tiempo que destaca las limitaciones del enfoque en datos altamente repetitivos o extremadamente dispersos.

Autores originales: Pedro Dal Bianco, Jean Paul Nunes Reinhold, Oscar Stanchi, Facundo Quiroga, Franco Ronchetti, Ulisses Brisolara Corrêa

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pedro Dal Bianco, Jean Paul Nunes Reinhold, Oscar Stanchi, Facundo Quiroga, Franco Ronchetti, Ulisses Brisolara Corrêa

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo traducir los gestos de las manos de una persona (Lengua de Señas) a palabras habladas. El mayor problema es que el robot no tiene suficientes libros de práctica. Ve las mismas pocas frases una y otra vez, o ve palabras que nunca ha encontrado antes.

Este artículo es como un profesor ingenioso que se da cuenta de: "Si el robot solo aprende una forma de decir 'El clima es lluvioso', podría confundirse si la seña significa 'La lluvia está cayendo' o 'Está húmedo afuera'".

Aquí explicamos cómo lo arreglaron los investigadores, usando analogías sencores:

1. El Problema: La "Mente de un Solo Carril" del Robot

La Lengua de Señas es compleja. Para enseñarle a una computadora a entenderla, necesitas miles de ejemplos de videos emparejados con texto. Pero estos ejemplos son escasos.

El Problema de la "Cola Larga": Imagina una biblioteca donde el 50% de los libros solo tienen una copia. Si el robot necesita traducir una palabra que aparece solo una vez en sus datos de entrenamiento, es como pedirle a un estudiante que escriba un informe sobre un libro que nunca ha leído.
El Probleoma de la "Repetición": Por otro lado, algunos conjuntos de datos son como un disco rayado. Repiten exactamente las mismas frases de forma tan perfecta que el robot simplemente memoriza las respuestas sin entender realmente el significado.

2. La Solución: La "Máquina de Reescribir"

En lugar de intentar filmar más videos (que es difícil y costoso), los investigadores usaron una IA superinteligente (GPT-4o) para actuar como un entrenador de escritura creativa.

El Truco: Mantuvieron el video de la lengua de señas exactamente igual. Pero para la parte del texto, le pidieron a la IA que reescribiera la oración de tres maneras diferentes.
- Original: "Las áreas de baja presión determinan nuestro clima".
- Reescritura 1: "Nuestro clima está determinado por áreas de baja presión".
- Reescritura 2: "Las áreas de baja presión son las que controlan nuestro clima".
El Objetivo: Esto le enseña al robot que el mismo movimiento de manos puede resultar en diferentes elecciones de palabras. Evita que el robot memorice una sola frase y lo obliga a aprender el significado real detrás de las señas.

3. El Método de Entrenamiento: "Ampliar luego Enfocar"

No lanzaron todas estas nuevas oraciones al robot a la vez. Utilizaron un programa de entrenamiento de dos pasos, como un músico aprendiendo una nueva canción:

Fase 1 (La Sesión de Improvisación): El robot practica con la oración original más todas las variaciones generadas por la IA. Esto le ayuda a entender que hay muchas formas de expresar la misma idea.
Fase 2 (El Ensayo Final): El robot vuelve a practicar solo con las oraciones originales y perfectas. Esto asegura que, cuando tome el examen final, todavía conozca la respuesta "estándar", pero ahora entiende mejor el concepto.

4. Los Resultados: Depende de la "Receta"

Los investigadores probaron este método en tres "cocinas" (conjuntos de datos) diferentes, y los resultados fueron muy distintos:

Cocina A (Lengua de Señas Alemana - PHOENIX14T): Esta era una cocina normal con una buena mezcla de ingredientes. ¡El nuevo método funcionó de maravilla! Las puntuaciones de traducción del robot subieron. Aprendió a ser más flexible y preciso.
Cocina B (Lengua de Señas Griega - GSL): Esta cocina ya era perfecta. El robot ya acertaba un 94% porque las frases eran tan simples y repetitivas. Añadir más variaciones lo confundió ligeramente porque la prueba solo buscaba una respuesta específica. Era como intentar enseñarle a un maestro chef una nueva forma de hervir agua cuando ya lo sabe perfectamente.
Cocina C (Lengua de Señas Argentina - LSA-T): A esta cocina le faltaba la mitad de sus ingredientes. El robot estaba tan confundido por la falta de datos que añadir más variaciones de oraciones no ayudó. No puedes arreglar una receta rota si no tienes los ingredientes principales (los datos de video) para empezar.

5. La Victoria "Oculta": La Puntuación del Juez

Los investigadores notaron algo interesante. El sistema de puntuación estándar (BLEU) es como un profesor que solo da puntos si usas las mismas palabras exactas que la clave de respuestas.

Si el robot decía "Está lloviendo" y la clave decía "La lluvia está cayendo", el profesor estándar le daba cero puntos.
Pero los investigadores usaron un Súper-Juez de IA para leer las respuestas. El Súper-Juez dijo: "¡Oye, eso significa lo mismo! ¡Dale puntos!".
El Resultado: Incluso cuando la puntuación estándar no subió mucho, el Súper-Juez confirmó que el robot en realidad estaba entendiendo mucho mejor el significado.

Resumen

El artículo muestra que usar una IA para reescribir el texto (sin cambiar el video) ayuda a la traducción de la Lengua de Señas, pero solo si los datos están en el "punto ideal".

Si los datos son demasiado simples, no ayuda.
Si los datos son demasiado desordenados (faltan demasiados), no ayuda.
Pero si los datos son los adecuados, enseña al robot a entender el significado de las señas, no solo a memorizar las palabras.

Los investigadores también señalaron que esta es la primera vez que se intenta este truco específico de "reescritura por IA" para la Lengua de Señas, y pusieron todo su código y datos a disposición de los demás para que puedan probarlos.

Resumen Técnico: Aumento de Parafraseo en el Lado del Objetivo para la Traducción de Lengua de Señas con Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

La Traducción de Lengua de Señas (SLT, por sus siglas en inglés) enfrenta cuellos de botella significativos debido a la escasez de corpus paralelos de gran escala entre video de señas/texto y la presencia de vocabularios de objetivo con distribuciones de cola pesada, donde muchas palabras aparecen solo unas pocas veces. Aunque se han logrado avances recientes, la traducción robusta sigue siendo difícil debido a la complejidad multimodal de las expresiones signadas y la escasez de datos. Las estrategias de aumento de datos existentes en SLT se han centrado predominantemente en el lado de la seña (por ejemplo, mediante modelos de producción o generativos), dejando infrautilizado el lado del texto de objetivo. Además, las métricas estándar de solapamiento léxico como BLEU a menudo no logran capturar las mejoras semánticas cuando los modelos generan paráfrasis válidas pero léxicamente distintas de las oraciones de referencia.

Metodología

Los autores proponen un enfoque de aumento en el lado del objetivo donde la entrada de la seña permanece fija, pero el texto de referencia es reescrito en variantes semánticamente fieles utilizando un Modelo de Lenguaje de Gran Escala (LLM).

Arquitectura del Modelo: El estudio emplea un Transformer basado en poses estilo Signformer. En lugar de fotogramas de video crudos, el modelo utiliza puntos clave (keypoints) de esqueleto 2D extraídos mediante MediaPipe Holistic (que cubre 33 puntos de referencia corporal, 21 por mano y subconjuntos faciales). Esta representación enfatiza el movimiento articulatorio mientras suprime las variaciones de fondo e iluminación, lo que permite una evaluación eficiente de recursos sobre los efectos del aumento.
Aumento de Datos Basado en LLM:
- Para cada par video–oración $(V, T)$ , GPT-4o genera $N=3$ paráfrasis ( $T'_1, T'_2, T'_3$ ).
- Los prompts están estructurados para forzar una salida en formato JSON, preservando explícitamente el tiempo verbal, el registro y el contenido proposicional, permitiendo al mismo tiempo una variación léxica y sintáctica controlada.
- Filtrado: Para prevenir la deriva semántica, las paráfrasis se filtran utilizando una puntuación de similitud media ( $\bar{s}$ ) derivada de cuatro medidas de forma superficial (Jaccard a nivel de carácter, Jaccard a nivel de palabra, Levenshtein normalizado y solapamiento de trigramas). Las variantes se conservan solo si $0.3 \leq \bar{s}(T, T'_i) \leq 0.95$ , descartando duplicados exactos y variantes que alteren el significado.
Cronograma de Entrenamiento: Los autores utilizan un cronograma de entrenamiento de dos etapas:
- Etapa 1 (Pre-entrenamiento): El modelo se pre-entrena en el corpus aumentado (originales más tres paráfrasis por instancia).
- Etapa 2 (Ajuste fino/Fine-tuning): El modelo se ajusta finamente exclusivamente en las referencias originales para realinear el decodificador con la fraseología específica de la referencia.
- Este cronograma tiene como objetivo ampliar la distribución del decodificador durante el pre-entrenamiento y recentrarlo en el estilo de la referencia durante el ajuste fino.

Contribuciones Clave

Estrategia de Aumento Novedosa: Este es el primer estudio que aplica el aumento de paráfrasis en el lado del objetivo generado por LLM específicamente para SLT. Los autores lanzan tres conjuntos de datos aumentados que cubren las lenguas de señas alemana (DGS), griega (GSL) y argentina (LSA).
Evaluación Exhaustiva de Datasets: El estudio evalúa el enfoque a través de tres datasets con características distintas:
- PHOENIX14T (DGS): Diversidad léxica moderada con condiciones de grabación naturales.
- GSL: Grabaciones altamente controladas y repetitivas con baja variabilidad.
- LSA-T: Videos del mundo real con una severa escasez de cola larga (50% de palabras de un solo ejemplar/singleton).
Protocolo de Evaluación Semántica: Los autores introducen una evaluación de LLM-como-juez (usando GPT-5.2) para medir la fidelidad semántica, abordando las limitaciones de las métricas de solapamiento léxico como BLEU.

Resultados

El impacto del aumento varía significativamente según las características del corpus:

PHOENIX14T: El aumento mejoró el BLEU-4 de 9.56 a 10.33. Más importante aún, la puntuación de fidelidad semántica de LLM-como-juez aumentó un 45.0% (de 2.51 a 3.65). El análisis indica que la exposición parafrástica ayuda al decodificador a generalizar más allá de las plantillas memorizadas.
GSL: El baseline estaba casi saturado (94.38 BLEU). El aumento redujo ligeramente el BLEU a 92.22, ya que el modelo produjo salidas semánticamente válidas que diferían léxicamente de la única referencia. Sin embargo, la fidelidad semántica mejoró un 13.6% (de 7.72 a 8.77), confirmando que las métricas léxicas subestiman las ganancias en escenarios de alto baseline.
LSA-T: El rendimiento se mantuvo estancado (BLEU-4 ~1.18–1.19). Los autores señalan que la reescritura en el lado del texto no puede abordar la escasez de datos en el lado de la seña inherente a este dataset.

Significancia y Reivindicaciones

El artículo sostiene que el aumento por LLM en el lado del objetivo no es uniformemente beneficioso; su eficacia depende de la posición del corpus a lo largo del espectro desde lo formulaico hasta la escasez de cola larga.

Para diversidad moderada (PHOENIX14T): El enfoque mejora con éxito tanto las métricas léxicas como la fidelidad semántica.
Para alta saturación (GSL): El enfoque revela ganancias que las métricas estándar pasan por alto, aunque no puede mejorar sobre baselines casi perfectos.
Para escasez extrema (LSA-T): El enfoque resalta los límites del aumento en el lado del texto cuando el cuello de botella principal es la escasez de datos de la seña.

Los autores concluyen que, si bien el método es prometedor, el trabajo futuro debería explorar la combinación del aumento de texto de objetivo con el aumento del lado de la seña, utilizar múltiples referencias para la evaluación y probar LLMs de código abierto para aislar los beneficios del principio de aumento del generador específico utilizado.