Resumen Técnico: STEEREVAL – Intervenciones en el tiempo de inferencia para métricas de resumen neuronal multilingüe

Planteamiento del problema

La evaluación de las tareas de Generación de Lenguaje Natural (NLG), particularmente del resumen, enfrenta un cuello de botella significativo en entornos multilingües. Si bien métricas como BLEU y ROUGE establecieron la evaluación automática, las tendencias recientes favorecen las métricas basadas en modelos (por ejemplo, BERTScore, COMET) y los Modelos de Lenguaje Extensos (LLMs) como jueces debido a su mayor correlación con los juicios humanos. Sin embargo, estudios empíricos indican que estas métricas multilingües a menudo no logran correlacionarse bien con los jucios humanos en diversos idiomas.

Los autores hipotetizan que esta brecha de rendimiento se debe a la arquitectura interna de los LLMs multilingües, que frecuentemente utilizan el inglés como un "idioma pivote" para el procesamiento. Cuando un modelo procesa un idioma de bajos recursos, las representaciones internas pueden desalinearse con este pivote en inglés, lo que conduce a un rendimiento degradado en las tareas posteriores. Esta desalineación, previamente vinculada a problemas en la traducción automática, se propone aquí como una causa raíz para el pobre desempeño de las métricas en la evaluación de resúmenes no ingleses.

Metodología

El artículo propone STEEREVAL, un marco que aplica intervenciones en el tiempo de inferencia para "dirigir" (steer) las activaciones internas de las métricas neuronales hacia un pivote en inglés. Este enfoque no requiere el reentrenamiento del modelo. La metodología involucra dos técnicas primarias de intervención aplicadas en el momento de la inferencia:

1. Intervención basada en vectores: Basándose en la hipótesis de la representación lineal, los autores computan un vector de dirección que representa la dirección desde un idioma de origen ($h_s$) hacia el inglés ($h_t$) utilizando datos paralelos (dataset FLORES).

   • El vector se calcula como la diferencia entre las representaciones medias de los idiomas de destino y origen: $\bar{h}_v = \bar{h}_t - \bar{h}_s$.
   • En la inferencia, este vector se añade a las activaciones del modelo: $h^{mix}_{q,l} = h_s + \rho \bar{h}_v$, donde $\rho$ controla la fuerza de la dirección.

2. Intervención basada en mapas: Inspirado en trabajos recientes sobre generación translingüe, este método aprende una matriz de mapeo lineal $W_l$ que proyecta las representaciones del idioma de origen al espacio del idioma de destino.

   • El mapeo se aprende minimizando la distancia entre las representaciones de origen y destino en datos paralelos.
   • En la inferencia, la representación de origen es proyectada y mezclada con la original: $h^{mix}_{q,l} = (1 - \sigma)h_s + \sigma \hat{h}_t$, donde $\sigma$ controla el grado de desviación.

Los autores evalúan estas intervenciones en dos tipos de métricas:

• LLM-como-Juez (LLM-as-a-Judge): Prompting directo (calificación 1–5) y GPTScore (utilizando probabilidades de generación condicional). Los modelos probados incluyen Llama-3-8B, Bloom-7B y Aya-Expanse (8B y 32B).
• Métrica basada en codificador (Encoder-based Metric): COMET (específicamente el modelo wmt22-comet-da), que típicamente se utiliza para la traducción automática pero se adapta aquí para el resumen.

La evaluación se realiza en un conjunto de datos de meta-evaluación que cubre ocho idiomas tipológicamente diversos (árabe, español, hebreo, japonés, turco, ucraniano, yoruba, chino) con juicios humanos sobre coherencia y completitud.

Resultados Clave

El estudio demuestra que dirigir las activaciones hacia un pivote en inglés mejora consistentemente la correlación entre las métricas neuronales y los juicios humanos:

• Mejora General: Los métodos de dirección (tanto Vector como Map) casi siempre mejoran la correlación respecto a los baselines sin dirección. En muchos casos, particularmente donde el desempeño del baseline era bajo, la mejora relativa ($\Delta\%$) superó el 100%, duplicando efectivamente la correlación.
• Impacto en Idiomas de Bajos Recursos: Los idiomas con un desempeño de baseline más débil (por ejemplo, hebreo, turco, yoruba) se beneficiaron más de la dirección. Por ejemplo, el prompting directo de Bloom-7B sobre la coherencia en japonés mejoró de una correlación cercana a cero a 0.18 tras la dirección.
• Especificidad de la Métrica:
  • COMET: Mostró una alta capacidad de respuesta a la dirección, con grandes mejoras en casi todos los idiomas y dimensiones.
  • Prompting Directo: Exhibió un comportamiento altamente variable. Aunque las ganancias relativas fueron a menudo dramáticas, estas ocurrieron frecuentemente cuando las correlaciones del baseline estaban cerca de cero, resultando en correlaciones absolutas modestas.
  • GPTScore: Se benefició moderadamente de la dirección, observándose rendimientos decrecientes cuando la correlación del baseline ya era fuerte.
• Vector vs. Map: La dirección por vector generalmente produjo mayores ganancias que la dirección basada en Map, particularmente para COMET y pares de idioma-métrica de bajo desempeño. Sin embargo, la fuerza de dirección óptima ($\rho$ o $\sigma$) varió significativamente según el idioma, lo que sugiere que un parámetro global único es subóptimo.
• Idioma Pivote: Los experimentos utilizando el francés como un pivote alternativo también resultaron en mejoras significativas, lo que respalda la hipótesis de que dirigir hacia un idioma de altos recursos y bien alineado mejora el desempeño.

Contribuciones Clave

1. Dirección de Activación para Métricas: El artículo introduce y valida la aplicación de técnicas de dirección de activación a las métricas de resumen multilingüe. Es la primera exploración de la dirección para métricas basadas en codificadores (como COMET) y muestra mejoras consistentes para los evaluadores basados en LLM.
2. Meta-análisis Multilingüe: Los autores proporcionan un meta-análisis exhaustivo de las métricas de resumen basadas en modelos a través de ocho idiomas diversos, resaltando la inconsistencia de los enfoques actuales de LLM-como-juez en entornos no ingleses.
3. Similitud de Vectores Translingües: El estudio mide empíricamente la similitud de los vectores de dirección de idioma-a-inglés a través de las capas. Encuentra que estos vectores son ampliamente similares entre idiomas (excepto por valores atípicos como el yoruba), corroborando trabajos previos sobre la geometría compartida de las representaciones lingüísticas.

Significado y Afirmaciones

El artículo afirma que la dependencia interna de los LLMs multilingües del inglés como pivote es un factor crítico que limita la fiabilidad de la evaluación automática en otros idiomas. Al corregir explícitamente esta desalineación en el tiempo de inferencia, STEEREVAL ofrece un método práctico y sin necesidad de entrenamiento para mejorar el desempeño de las métricas.

Los autores posicionan este trabajo como un paso hacia el aprovechamiento de los conocimientos internos de los modelos para escenarios de evaluación práctica. Señalan que, aunque su enfoque es el resumen, los hallazgos sugieren que la dirección podría ser una estrategia generalizable para mejorar la generalización multilingüe en métricas neuronales. El artículo mantiene la modestia respecto a implicaciones futuras, sugiriendo que trabajos futuros podrían investigar la combinación de intervenciones específicas de idioma y de dimensión, pero no propone nuevas aplicaciones específicas más allá del alcance de la evaluación de métricas.