SignAgent: Agentic LLMs for Linguistically-Grounded Sign Language Annotation and Dataset Curation

Este artículo presenta SignAgent, un nuevo marco de agentes basado en modelos de lenguaje grande que automatiza la anotación lingüística y la curación de datos de la lengua de señas, superando las limitaciones de los métodos tradicionales al coordinar herramientas especializadas para generar conjuntos de datos a gran escala y fonológicamente conscientes.

Lo esencial

Imagina que el lenguaje de señas es como una orquesta visual. No solo se trata de mover las manos; es una mezcla compleja de la forma de la mano, el movimiento, la ubicación en el cuerpo, la dirección y hasta las expresiones faciales. Hasta ahora, intentar enseñar a una computadora a entender esta "orquesta" ha sido como intentar arreglar un reloj suizo con un martillo: los métodos antiguos eran demasiado rudos, perdían los detalles finos y requerían que humanos expertos pasaran horas (¡más de una hora por cada minuto de video!) etiquetando cada movimiento manualmente.

Aquí es donde entra SignAgent, el nuevo "director de orquesta" inteligente que presenta este paper.

¿Qué es SignAgent?

Piensa en SignAgent no como un simple robot, sino como un detective lingüístico con un equipo de especialistas. En lugar de intentar adivinar todo de una sola vez, este sistema utiliza una Inteligencia Artificial avanzada (un "Agente") que actúa como el cerebro central.

Este cerebro tiene dos ayudantes principales:

1. El Orquestador (SignAgent Orchestrator): Es el detective jefe. Tiene un razonamiento lógico y decide qué herramientas usar y en qué orden.
2. La Biblioteca Viva (SignGraph): Es una enciclopedia gigante que conoce todas las reglas del lenguaje de señas (como qué forma de mano corresponde a qué palabra).

¿Cómo funciona? (La analogía del equipo de construcción)

Imagina que quieres construir una casa (crear un dataset de lenguaje de señas) a partir de planos borrosos (videos).

1. Los Herramientas Básicas (Los albañiles): Primero, el sistema usa herramientas automáticas para medir cosas simples: "¿Qué forma tiene la mano?", "¿Se movió hacia arriba o hacia abajo?", "¿Dónde estaba la mano?". Esto es como medir las paredes y el suelo.
2. Las Herramientas Mejoradas (Los arquitectos): Luego, el Agente toma esas medidas y las combina con la "Biblioteca Viva". Si la herramienta básica dice "movimiento rápido", el Agente consulta la biblioteca y dice: "Ah, en el lenguaje de señas, ese movimiento rápido con esa forma de mano significa 'pelota'".
3. El Razonamiento (El jefe de obra): Aquí está la magia. A veces, el video es confuso. El Agente no solo sigue reglas fijas; piensa. Se pregunta: "¿Es esto una 'pelota' o una 'naranja'? La forma de la mano es similar, pero el movimiento es diferente. Además, la persona usó la mano derecha, y en este dialecto, eso cambia el significado". El Agente decide la mejor etiqueta basándose en toda la evidencia.

Los dos grandes retos que resolvió

El equipo probó a SignAgent en dos tareas difíciles:

1. Etiquetado de "Glosas" (Traducción rápida):
Imagina que tienes un video de alguien firmando y una frase escrita en inglés. El Agente debe decir: "¿Qué palabra de señas corresponde a cada parte del video?".

• El problema anterior: Las computadoras viejas a veces ponían las palabras en el orden incorrecto o inventaban palabras que no existían.
• La solución de SignAgent: Actúa como un editor de texto muy estricto. Mira el video, consulta su diccionario y reordena las palabras para que coincidan perfectamente con el ritmo y la forma de las manos, sin inventar nada nuevo. Funcionó mucho mejor que los métodos anteriores, especialmente en frases difíciles.

2. Agrupación de Variantes (ID Glossing):
A veces, la misma palabra (por ejemplo, "baloncesto") se puede hacer de dos formas ligeramente diferentes (con una mano o con dos).

• El problema anterior: Las computadoras veían las dos formas como palabras totalmente distintas porque se veían diferente en la pantalla.
• La solución de SignAgent: El Agente actúa como un lingüista experto. Ve que, aunque la imagen es distinta, la "esencia" (la forma de la mano, el lugar, el movimiento) es la misma. Agrupa estas variantes bajo el mismo concepto, limpiando el desorden y creando grupos más coherentes.

¿Por qué es importante?

Antes, crear bases de datos grandes para el lenguaje de señas era lento, caro y propenso a errores. SignAgent cambia las reglas del juego:

• Es escalable: Puede trabajar en grandes cantidades de datos mucho más rápido que un humano.
• Es auditable: No es una "caja negra". Si el Agente decide que dos videos son la misma palabra, puedes ver exactamente por qué (ej: "porque comparten la misma forma de mano y movimiento").
• Es un colaborador: No reemplaza a los expertos humanos, sino que les da superpoderes. Les permite hacer el trabajo pesado y dejar que los humanos se enfoquen en los detalles más finos.

En resumen: SignAgent es como un traductor y organizador inteligente que entiende que el lenguaje de señas es un arte visual complejo. Utiliza la inteligencia artificial no para adivinar, sino para razonar con lógica y consultar un diccionario experto, haciendo que la tecnología del lenguaje de señas sea más precisa, rápida y accesible para todos.

Resumen técnico

Resumen Técnico: SignAgent

1. El Problema

Las Lenguas de Señas (LS) son idiomas visuales-gestuales complejos cuya estructura se basa en componentes fonológicos coordinados (forma de la mano, movimiento, ubicación, orientación y señales no manuales). El desarrollo de recursos a gran escala para LS enfrenta dos barreras críticas:

• Falta de razonamiento lingüístico: Los métodos computacionales actuales suelen operar a nivel de "glosa" (etiquetas superficiales), ignorando matices lingüísticos cruciales y la estructura fonológica subyacente.
• Cuello de botella en la anotación manual: La creación de anotaciones lingüísticas detalladas es extremadamente costosa y lenta (se estima que se requiere más de una hora para anotar un minuto de datos de LS). Esto impide la creación de conjuntos de datos grandes y fonológicamente conscientes necesarios para entrenar modelos de IA avanzados.

2. Metodología: El Marco SignAgent

El artículo presenta SignAgent, un marco de trabajo basado en agentes que utiliza Modelos de Lenguaje Grandes (LLMs) para realizar anotación y curación de datos de LS de manera escalable y fundamentada lingüísticamente. La arquitectura se compone de tres elementos centrales:

• SignAgent Orchestrator (Orquestador): Un LLM de razonamiento (modelo decoder-only) que actúa como el controlador central. Utiliza un ciclo de razonamiento tipo ReAct (Reason-Act) para descomponer tareas complejas, coordinar herramientas y tomar decisiones multietapa. No inventa datos, sino que razona sobre la evidencia multimodal proporcionada.
• SignGraph: Un agente de recuperación aumentada por generación (RAG) basado en conocimiento. Accede a dos grafos de conocimiento dirigidos:
  • LexicalKnowledgeGraph: Contiene entradas de diccionario y componentes fonológicos.
  • LinguisticKnowledgeGraph: Representa conceptos lingüísticos extraídos de literatura de referencia.
• Herramientas (Toolset): Un conjunto jerárquico de módulos que procesan video y datos de pose:
  • Base Tools (Herramientas Base): Realizan análisis de bajo nivel (clasificadores de forma de mano, movimiento y ubicación; segmentación temporal; extracción de glosas visuales; detección de mano dominante).
  • Enhanced Tools (Herramientas Mejoradas): Fusionan las salidas de las herramientas base con conocimiento de dominio para generar evidencia estructurada (ej. recolectores de evidencia de glosas, análisis fonológico agrupado por clústeres).

Flujo de Trabajo: El Orquestador recibe una entrada (video o texto), consulta SignGraph y las Herramientas Mejoradas, genera un rastro de razonamiento (JSON) y toma decisiones fundamentadas (asignación de glosas, fusión de clústeres) basándose en la convergencia de evidencia visual, fonológica y semántica.

3. Contribuciones Clave

1. Primera aplicación de razonamiento agéntico en LS: Introducen un marco que combina evidencia multimodal aumentada por herramientas con recuperación basada en conocimiento (SignGraph) para la anotación y curación de datos.
2. Evaluación en dos tareas complementarias:
   • Anotación de Pseudo-glosas: El agente asigna y ordena etiquetas de glosas candidatas a segmentos de video, utilizando evidencia multimodal para resolver ambigüedades sin alucinar nuevas etiquetas.
   • ID-Glossing (Identificación de Variantes Léxicas): El agente detecta y refina clústeres visuales de variantes del mismo signo (ej. "baloncesto" con una o dos manos), razonando sobre similitud visual y superposición fonológica para agrupar correctamente las variantes léxicas.
3. Datos Curados Públicos: Hacen disponible el conjunto de datos curado resultante para apoyar la investigación en LS fundamentada lingüísticamente.
4. Mejora sobre enfoques fijos: Demuestran mediante ablativos incrementales que el razonamiento agéntico supera a los pipelines fijos y basados en características estáticas.

4. Resultados Experimentales

• Tarea 1: Alineación de Pseudo-glosas (Dataset: BSLCorpus)

  • Se comparó SignAgent contra baselines como Sign2GPT (lematización) y un clasificador GBDT + fuzzy.
  • Resultados: SignAgent logró el mejor rendimiento en todas las métricas.
    • LCS (Longest Common Subsequence): 60.85% (en datos "Fair") y 47.02% (en datos "Poor"), superando al baseline anterior en más de 4 puntos porcentuales en el caso difícil.
    • Correlación de Kendall ($\tau$): 0.374 (Fair) y 0.083 (Poor), eliminando la correlación negativa observada en métodos anteriores para oraciones complejas.
  • Conclusión: El razonamiento agéntico resuelve mejor los problemas de reordenamiento y asignación en casos difíciles donde los métodos basados en características fijas fallan.

• Tarea 2: ID-Glossing (Dataset: ASLCitizen)

  • Se evaluó la calidad de los clústeres de variantes léxicas comparando con el codificador visual SignRep.
  • Resultados: SignAgent redujo significativamente la fragmentación de los clústeres.
    • IDs por glosa: Reducción de 4.81 (SignRep) a 2.30 (SignAgent), indicando una estructura menos fragmentada.
    • Calidad del clúster: Mejora en el coeficiente de Silueta (-0.04 $\to$ 0.06) y en la relación Calinski-Harabasz (6.75 $\to$ 7.58).
  • Caso de estudio: En el signo "Basketball", SignAgent logró agrupar correctamente variantes visuales distintas que ShareRep separó, basándose en la coincidencia fonológica (misma forma de mano, movimiento, ubicación).

5. Significancia y Limitaciones

• Significancia: SignAgent demuestra que los LLMs, cuando se estructuran como agentes con acceso a herramientas especializadas y bases de conocimiento lingüístico, pueden actuar como colaboradores escalables y auditables para lingüistas y curadores de datos. Esto permite crear conjuntos de datos masivos que respetan la estructura fonológica y léxica de las lenguas de señas, algo que los métodos puramente visuales o manuales no logran eficientemente.
• Limitaciones:
  • Depende de recursos léxicos y herramientas existentes (no es totalmente autónomo en la creación de conocimiento nuevo).
  • Captura solo parcialmente la estructura no manual y prosódica.
  • Actualmente enfocado en LS con recursos (BSL, ASL), requiriendo adaptación para lenguas de señas de bajos recursos.

En resumen, el trabajo propone un cambio de paradigma: pasar de la anotación puramente visual o manual a un proceso de razonamiento agéntico fundamentado, donde la IA actúa como un asistente experto que integra evidencia visual, fonológica y semántica para curar datos de alta calidad lingüística.