Resumen Técnico: ¿Anclaje o Conjetura? Señales Visuales para la Detección de Alucinaciones en la Traducción de Lengua de Señas

1. Planteamiento del Problema

La Traducción de Lengua de Señas (SLT, por sus siglas en inglés) es una tarea de video a texto única donde la modalidad visual constituye el propio lenguaje de origen, en lugar de ser un contexto auxiliar. Un modo de fallo crítico en los sistemas modernos de SLT, particularmente en aquellos que utilizan arquitecturas libres de glosas (gloss-free) y arquitectos de Modelos de Lenguaje de Gran Escala (LLM), es la alucinación. En este contexto, la alucinación se define como la generación de tokens de contenido que no están respaldados por la evidencia del video firmado.

Si bien los modelos recientes libres de glosas han resuelto problemas de escalabilidad al eliminar la necesidad de costosas anotaciones de glosas intermedias, introducen una nueva vulnerabilidad: el decodificador tiende a depender fuertmente de los preceptos lingüísticos (language priors) en lugar de la entrada visual cuando las representaciones visuales son ambiguas o de baja calidad. Esto resulta en traducciones fluidas pero fácticamente incorrectas. Los métodos de detección de alucinaciones existentes, que dependen de señales intrínsecas del texto (por ejemplo, confianza, entropía, perplejidad), no logran distinguir entre un token predicho con confianza basado en patrones lingüísticos frente a uno predicho con confianza basado en evidencia visual real.

2. Metodología

Los autores proponen una medida de fiabilidad novedosa basada en el uso del anclaje (grounding usage), que cuantifica la medida en que los tokens generados dependen de la evidencia del video frente a los preceptos del lenguaje. El método opera a nivel de token y se agrega a nivel de oración mediante análisis contrafáctico.

2.1 Intuición Central

En cada paso de la decodificación, un modelo o bien ancla el siguiente token en la señal de video o lo conjetura a partir de los preceptos del lenguaje. El método propuesto mide esta dependencia comparando el comportamiento del modelo bajo la entrada de video real frente a escenarios contrafácticos donde la entrada visual es alterada.

2.2 Componentes de la Señal

La puntuación de fiabilidad se deriva de dos clases de evidencia:

1. Sensibilidad Basada en Características (Dependencia Interna):

   • Sensibilidad del Estado Oculto: Mide el cambio direccional (distancia angular normalizada) en los estados ocultos del decodificador cuando la entrada de video es eliminada (enmascarada) frente a cuando está presente. Un ángulo mayor indica una dependencia más fuerte del video.
   • Uso de la Atención Cruzada: Agrega la masa de atención dirigida desde los tokens del decodificador hacia las posiciones del codificador de video. La diferencia entre la atención bajo un video limpio y un video enmascarado indica el grado de anclaje visual.

2. Señales Contrafácticas (Evidencia Externa):

   • El sistema ejecuta tres pasadas de decodificación paralelas condicionadas al mismo prefijo:
     1. Limpia (Clean): Con el video real ($x$).
     2. Sin Video (No-Video): Con el codificador visual deshabilitado ($\emptyset$).
     3. Desajustada (Mismatched): Con un video mezclado o no relacionado ($x'$).
   • Márgenes de Probabilidad: El método calcula las diferencias de log-probabilidad y de logits entre la pasada limpia y la contrafáctica más fuerte (la máxima probabilidad de las pasadas de sin video o desajustada).
   • Ventajas: Calcula las ganancias de probabilidad absoluta ($\Delta_{clean}$ y $\Delta_{mis}$) para determinar si el video correcto mejora activamente la predicción en comparación con las alternativas.

2.3 Fusión y Agregación

• Nivel de Token: Una fusión lineal de las señales basadas en características y las señales contrafácticas, pasada a través de una activación sigmoide, produce una puntuación de fiabilidad a nivel de token ($r_t$).
• Nivel de Oración: Las puntuaciones de los tokens se agregan mediante agrupación de cola-10 (tail-10 pooling, promediando el 10% más bajo de las fiabilidades de los tokens). Esto se enfoca en las partes menos fiables de la oración, que son las más indicativas del riesgo de alucinación.
• Integración: La fiabilidad basada en el anclaje se combina con los puntos de referencia estándar de solo texto (confianza, perplejidad, entropía) en una variante "META" para crear un estimador de riesgo de alucinación integral.

3. Contribuciones Clave

• Primera Investigación de Alucinaciones en SLT: Este trabajo es el primero en investigar y caracterizar explícitamente las alucinaciones específicamente dentro del dominio de la Traducción de Lengua de Señas.
• Métrica de Uso de Anclaje: Introducción de una medida de fiabilidad novedosa que cuantifica el anclaje visual, distinguiendo entre tokens generados mediante evidencia visual y aquellos conjeturados mediante preceptos del lenguaje.
• Marco Contrafáctico: Diseño de un marco de puntuación utilizando perturbaciones contrafácticas (enmascaramiento y desajuste de video) para capturar tanto los cambios en el estado interno del modelo como los cambios de probabilidad externos.
• Validación Empírica: Demostración de que las señales basadas en el anclaje superan a los puntos de referencia de solo texto (confianza, perplejidad, entropía) en la detección de alucinaciones y proporcionan información complementaria cuando se combinan con medidas de incertidumbre lingüística.

4. Resultados Experimentales

El método fue evaluado en dos bancos de pruebas: PHOENIX-2014T (Lengua de Señas Alemana) y CSL-Daily (Lengua de Señas China), utilizando tanto modelos basados en glosas (TwoStream-SLT) como modelos libres de glosas (SpaMo).

• Correlación con la Alucinación: Existe una fuerte correlación negativa entre la puntuación de fiabilidad propuesta y la métrica CHAIR (Caption Hallucination Assessment with Image Relevance). A medida que aumenta el uso del anclaje, las tasas de alucinación disminuyen.
• Desempeño de Detección: La fiabilidad basada en el anclaje supera significativamente a los puntos de referencia de solo texto (confianza, perplejidad, entropía) en la detección binaria de alucinaciones.
  • En CSL-Daily (Libre de Glosas), el método de anclaje logró un AUC de 0.951 y una Precisión de 0.970, en comparación con ~0.953 de AUC y 0.868 de Precisión para el mejor punto de referencia de solo texto (Confianza).
  • La variante combinada META alcanzó el mayor desempeño, llegando a un AUC de 0.963 y una Precisión de 0.883 en CSL-Daily (Libre de Glosas).
• Desempeño de Regresión: La puntuación de fiabilidad predice eficazmente la tasa continua de CHAIR, logrando una correlación de Spearman de $\rho = -0.680$ en CSL-Daily (Libre de Glosas).
• Generalización: Los pesos de fiabilidad entrenados en un conjunto de datos/familia de modelos se transfieren de forma robusta a otros, aunque el desempeño disminuye ligeramente al transferir de modelos basados en glosas a modelos libres de glosas debido a las diferencias en la granularidad de la tokenización y la prevalencia de alucinaciones.
• Pruebas de Estrés: Bajo degradaciones visuales (ruido gaussiano, caída de fotogramas), la puntuación de fiabilidad disminuye, confirmando su sensibilidad a la calidad de la información visual.
• Libre de Glosas vs. Basado en Glosas: El análisis revela que los modelos libres de glosas alucinan con más frecuencia porque subutilizan sistemáticamente la información visual, recurriendo a los preceptos lingüísticos. Las distribuciones a nivel de token muestran que los modelos libres de glosas tienen márgenes de log menor y ángulos de sensibilidad de estado oculto más pequeños en comparación con los modelos basados en glosas.

5. Significado y Reivindicaciones

El artículo sostiene que la detección de alucinaciones en la generación multimodal no puede explicarse completamente mediante señales intrínsecas del texto por sí solas. En la SLT, donde la entrada visual es el propio lenguaje de origen, distinguir entre "conjeturar" (depender de los preceptos del lenguaje) y "anclar" (depender de la evidencia visual) es crítico.

Los autores establecen que:

1. La Fiabilidad es una Herramienta Práctica: La medida propuesta proporciona una herramienta reutilizable e interpretable para diagnosticar alucinaciones en SLT sin requerir traducciones de referencia.
2. Complementariedad: Las señales de anclaje visual proporcionan información complementaria a las medidas de incertidumbre basadas en texto. Su combinación genera el marco de detección más robusto.
3. Causa Raíz de los Errores en Modelos Libres de Glosas: La dependencia sistemática excesiva de los preceptos del lenguaje en los modelos libres de glosas es el principal motor de sus mayores tasas de alucinación. La falta de supervisión de glosas intermedias permite que el decodificador se desvíe de la evidencia visual.
4. Trabajo Fundacional: Esta investigación sienta las bases para una detección de alucinaciones más robusta en la generación multimodal al desentrañar explícitamente la contribución del anclaje visual de la fluidez lingüística.

El artículo concluye que un modelo multimodal robusto debe lograr un equilibrio entre la conjetura (para la fluidez) y el anclaje (para la exactitud fáctica), y que medir explícitamente este equilibrio es esencial para sistemas de SLT fiables.