Resumen Técnico: Hablar en Lenguas de Autoevaluación

Planteamiento del Problema

La rápida adopción de los Modelos de Lenguaje de Gran Escala (LLM) para la Traducción Automática (MT) ha puesto de relieve un problema crítico de fiabilidad: los LLM están mal autocalibrados para las tareas de traducción. A diferencia de las tareas de clasificación, donde existe una única respuesta correcta, la traducción implica una "competencia de formas superficiales", donde compiten múltiples realizaciones sintácticas o semánticas válidas. En consecuencia, las señales internas, como las probabilidades de los tokens o la entropía, a menudo reflejan la incertidumbre entre alternativas válidas en competencia en lugar de la corrección de la salida seleccionada. Además, la dependencia de las señales internas requiere el acceso a las entrañas del modelo, lo cual es a menudo inaccesible para los modelos de código cerrado. Existe la necesidad de métodos no supervisados y robustos para estimar la confianza por token que no sufran estas limitaciones.

Metodología

Los autores proponen y evalúan cinco métodos verbalizados para extraer la confianza por token directamente del texto generado por el modelo, evitando la necesidad de acceso interno. Estos métodos se comparan con dos medidas de incertidumbre interna estándar: la probabilidad del token y la entropía.

Configuración Experimental

• Conjuntos de Datos: El estudio utiliza datos de Traducción Automática General de WMT2024 (Inglés a Chino, Checo, Hindi, Japonés y Ruso) emparejados con Anotaciones de Intervalos de Error (ESA) de Kocmi et al. (2024a) como verdad de terreno.
• Modelos: Se seleccionaron dos LLM de código abierto: Aya23 y Llama3-70B.
• Enfoques Verbalizados:
  1. Lista (List): El modelo devuelve una lista de los intervalos sobre los que no tiene confianza.
  2. Palabra_Numérica (Word_Numeric): El modelo asigna una puntuación de confianza numérica $[0, 1]$ a cada palabra mediante prompts separados.
  3. Palabra_Likert (Word_Likert): El modelo asigna etiquetas cualitativas (por ejemplo, "muy seguro" a "muy inseguro") convertidas a valores numéricos.
  4. Token_Numérico (Token_Numeric): Similar a Word_Numeric pero aplicado al nivel de token.
  5. Token_Likert (Token_Likert): Similar a Word_Likert pero aplicado al nivel de token.
• Métricas de Evaluación:
  • Detección de Errores Binaria: Medida mediante la puntuación F1 (específicamente para la clase incorrecta), AUROC y AUPRC.
  • Calibración: Medida mediante el Error de Calibración Esperado (ECE) y diagramas de fiabilidad.
  • Alineación: Se utilizó la correlación de rango de Spearman para medir la relación entre la confianza verbalizada y las señales internas.

Resultados Clave

1. Rendimiento de la Detección de Errores

• Rendimiento General: Todos los métodos arrojaron puntuaciones F1 bajas (que oscilan entre 0.02 y 0.23), lo que indica la dificultad inherente de la tarea, aunque todos funcionaron mejor que las líneas base aleatorias.
• Dependencia del Modelo: Ningún método fue consistentemente superior a otros en todos los entornos. El rendimiento varió significamente según el par de idiomas y el modelo.
  • Para Aya23, las medidas internas (Entropía) y Word_Numeric funcionaron mejor en promedio.
  • Para Llama3-70B, Word_Likert logró el mejor rendimiento en 4 de los 5 pares de idiomas.
• Comparación: Los métodos verbalizados generalmente funcionaron de manera comparable o mejor que los métodos internos para Llama3-70B, pero los resultados fueron mixtos para Aya23. Notablemente, en la traducción de inglés a japonés con Llama3-70B, los métodos verbalizados superaron a los métodos internos por un 0.09 en F1.

2. Calibración

• Superioridad Interna: Para la calibración (ECE), la Entropía normalizada fue consistentemente la que mejores resultados arrojó para ambos modelos.
• Rendimiento Verbalizado: Los métodos verbalizados funcionaron de manera similar a la probabilidad del modelo, pero quedaron por detrás de la entropía del modelo.
• Likert vs. Numérico: Los métodos basados en Likert superaron consistentemente a sus contrapartes numéricas en la calibración. Los autores atribuyen el mal rendimiento de los métodos numéricos a problemas conocidos donde los LLM tienen dificultades con los contextos numéricos.

3. Alineación Entre Métodos

• Baja Correlación: Un hallazgo principal es la falta de correlación significativa entre la confianza verbalizada y las medidas de incertidumbre interna (probabilidad y entropía). Esto sugiere que las dos estrategias (cálculo interno vs. autoevaluación verbal) operan bajo principios diferentes o capturan distintos aspectos del estado del modelo.
• Granularidad: A pesar de la capacidad de devolver valores arbitrarios, los métodos numéricos exhibieron una granularidad limitada, con salidas a menudo restringidas a múltiplos de 0.1 o 0.2, comportándose efectivamente de forma similar a las escalas Likert.

4. Granularidad y Sintaxis

• Token vs. Palabra: Los métodos a nivel de token mostraron comportamientos diferentes en comparación con los métodos a nivel de palabra, particularmente respecto a los compromisos entre precisión y exhaustividad (recall/precision).
• Categorías Sintácticas: Los métodos verbalizados mostraron una mayor exhaustividad (recall) para palabras de clase abierta (sustantivos, verbos) en comparación con las palabras de clase cerrada para Llama3-70B, un patrón que no se observó en los métodos internos.

Significación y Reivindicaciones

El artículo sostiene que la confianza verbalizada es una alternativa viable y accesible a las señales de incertidumbre interna para la detección de errores en MT, particularmente para usuarios sin acceso a las entrañas del modelo.

• Accesibilidad: Los métodos verbalizados proporcionan una solución de "caja negra" para la estimación de la confianza, requiriendo únicamente el texto de salida del modelo.
• Complementariedad: El hallazgo de poca o ninguna correlación entre los métodos internos y los verbalizados implica que no son redundantes; pueden capturar señales distintas del comportamiento del modelo.
• Limitaciones: Los autores señalan modestamente que el rendimiento absoluto de todos los métodos sigue siendo relativamente bajo, debido en parte a la alta calidad de las traducciones en lenguas de altos recursos y a la dificultad de la tarea. Enfatizan que estos métodos no supervisados no son reemplazos para la anotación humana, sino que sirven como un mecanismo suplementario de control de calidad.
• Direcciones Futuras: Los autores sugieren que el trabajo futuro debería investigar los factores que impulsan la alineación (o la falta de ella) entre las señales internas y las verbalizadas, y explorar la generalizabilidad de estos hallazgos a escenarios de lenguas de bajos recursos donde la anotación humana es escasa.