Shared Doubt: Zero-shot Cross-Lingual Confidence Estimation for Language Models

Resumen Técnico: Duda Compartida: Estimación de Confianza Multilingüe Zero-shot para Modelos de Lenguaje

Planteamiento del Problema
La estimación de la confianza (CE, por sus siglas en inglés) en los Grandes Modelos de Lenguaje (LLMs) tiene como objetivo cuantificar la fiabilidad de la predicción de un modelo, una capacidad crítica para mitigar las alucinaciones y mantener la confianza del usuario. Si bien la CE ha captado una atención significativa, la gran mayoría de la investigación existente se centra exclusivamente en el inglés. Esta omisión es problemática porque los LLMs suelen exhibir una fiabilidad reducida en idiomas con menos recursos de entrenamiento, lo que hace que la estimación de la confianza precisa sea aún más vital en esos contextos. Además, muchos métodos de CE existentes degradan su rendimiento o requieren reentrenamiento cuando se aplican a idiomas no vistos, fallando al abordar la realidad multilingüe del despliegue de los LLMs. La pregunta de investigación central es si los LLMs multilingües codifican características de confianza compartidas y transferibles entre idiomas que puedan ser explotadas sin supervisión del idioma de destino.

Metodología
Los autores proponen una sonda lineal ligera diseñada para predecir la corrección de la respuesta directamente a partir de las representaciones ocultas intermedias de un LLM. La metodología se basa en la hipótesis de que los LLMs multilingües poseen un subespacio compartido y agnóstico al idioma donde se codifican las señales de confianza.

• Representaciones: El estudio utiliza LLMs basados en transformadores de solo decodificador. Extrae estados ocultos de dos pasos temporales específicos: el último token del prompt de entrada (que sirve como proxy para toda la entrada) y el último token de la respuesta generada (que representa el estado final).
• Arquitectura de la Sonda: La sonda aprende un promedio ponderado de las representaciones ocultas de las capas. Introduce un vector de parámetros aprendibles $w$ para calcular los pesos de las capas $\alpha_\ell$ mediante una función softmax, creando una representación agrupada $\bar{h}_t$. Esta representación agrupada se pasa luego a través de una capa lineal con una activación sigmoide para producir una puntuación de confianza.
• Configuración de Entrenamiento y Evaluación: La sonda se entrena monolí de forma monolingüe en un idioma de origen (francés en los experimentos principales, con el inglés como segundo origen) utilizando los conjuntos de datos MKQA (QA de respuesta abierta) y Global-MMLU (convertido a respuesta abierta). Posteriormente, se evalúa en un entorno zero-shot en idiomas de destino tipológicamente diversos (inglés, español, polaco, ruso, japonés) sin ninguna supervisión del idioma de destino.
• Líneas Base: El enfoque se compara con las líneas base de clase mayoritaria y probabilidad previa, así como con otros métodos de CE, incluyendo la verosimilitud de la secuencia normalizada por longitud, P(Verdadero), la confianza verbalizada y la sonda de media de masa (mass-mean probe).

Resultados Clave

• Transferencia Zero-Shot: La sonda, entrenada únicamente en francés, se generaliza con éxito a idiomas no vistos a través de diferentes familias lingüísticas y alfabetos. Si bien las métricas de discriminación (AUROC, AUPR) se degradan a medida que aumenta la distancia tipológica del idioma de origen, las métricas de calibración (Brier score, ECE) a menudo se mantienen estables o incluso superan a las sondas oráculo entrenadas en el idioma de destino en instancias específicas.
• Importancia de las Capas: El análisis de los pesos aprendidos de las capas y los estudios de ablación revelan que las características de confianza están concentradas en las capas superiores-medias de la red. Esto concuerda con hallazgos previos de que estas capas mapean las entradas hacia un espacio representacional compartido. Eliminar estas capas medias impacta significamente el rendimiento, particularmente para la calibración zero-shot.
• Temporalidad de los Tokens: El estudio encuentra una distinción entre la utilidad del último token de la consulta y el último token de la respuesta. El último token de la consulta ofrece una mejor calibración entre idiomas, mientras que el último token de la respuesta proporciona una discriminación superior entre respuestas correctas e incorrectas.
• Comparación: La sonda translingüe supera a varias líneas base populares de CE (como P(Verdadero) y la confianza verbalizada) en entornos zero-shot, particularmente en discriminación, aunque a veces queda por detrás de la sonda de media de masa en calibración para idiomas altamente disímiles.

Significancia y Contribuciones
El artículo afirma ser el primero en demostrar la transferencia de estimación de confianza zero-shot translingüe mediante el sondeo de las representaciones ocultas intermedias de los LLMs. Sus contribuciones primarias son:

1. Demostración de un Subespacio Compartido: Proporciona evidencia empírica de que las señales de confianza aprendidas en un idioma de altos recursos pueden transferirse a idiomas de bajos recursos o tipológicamente distantes sin reentrenamiento, sugiriendo la existencia de un subespacio de confianza compartido en los LLMs multilingües.
2. Localización de Capas: Identifica que la información más relevante para la predicción de confianza zero-shot se localiza en las capas medias-superiores, reforzando la teoría de que estas capas contienen representaciones agnósticas al idioma.
3. Línea Base Práctica: El método propuesto ofrece una línea base sólida y sin necesidad de reentrenamiento para la estimación de la confianza multilingüe, lo cual es particularmente valioso para idiomas desatendidos donde los datos etiquetados son escasos.

Los autores mantienen un tono modesto, reconociendo que el rendimiento se degrada con el aumento de la distancia tipológica y que el enfoque actualmente se centra en QA de formato corto. Sugieren que el trabajo futuro podría involucrar el entrenamiento en múltiples idiomas de origen, la identificación más precisa de las representaciones latentes críticas y la aplicación de técnicas de calibración post-hoc para mejorar aún más la robustez.