Cross-Lingual Consensus: Aligning Multilingual Cultural Knowledge via Multilingual Self-Consistency

Resumen Técnico: Consenso Translingüístico

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) exhiben disparidades significativas en el rendimiento entre idiomas, logrando a menudo sus mejores resultados cuando se les solicita en inglés. Esta enrutamiento centrado en el inglés introduce un sesgo occidental, obstaculizando la capacidad de los modelos para reflejar con precisión conocimientos culturales diversos. Aunque los LLM pueden poseer un rico conocimiento cultural incrustado en representaciones de idiomas locales, frecuentemente fallan al recuperar o transferir este conocimiento cuando se les solicita en inglés. Los enfoques existentes para mitigar esto, como la inyección basada en prompts o el entrenamiento en conjuntos de datos culturales curados, a menudo sufren de una comprensión superficial, altos costos o dependencia de modelos externos más potentes para la síntesis de datos.

Metodología
Los autores proponen un marco de autoaprendizaje que aprovecha la autoconsistencia multilingüe para alinear el conocimiento cultural entre idiomas sin anotación humana ni modelos docentes más potentes. La tubería consta de dos etapas principales:

1. Generación de Preguntas Bilingües:

   • Las afirmaciones asertivas de conjuntos de datos existentes (CANDLE, CultureAtlas) se convierten en párrafos de conocimiento.
   • El modelo genera preguntas fundamentadas culturalmente en idiomas locales.
   • Estas preguntas se traducen al inglés (y viceversa) para formar pares bilingües, filtrando las preguntas no en inglés respaldadas por herramientas de traducción.

2. Generación de Verdad Terrena Autoaprendida:

   • Muestreo de Respuestas: Para cada pregunta bilingüe, el modelo genera $N$ respuestas independientes tanto en inglés como en el idioma local.
   • Consistencia Intralenguaje: El modelo evalúa el acuerdo interno de las respuestas dentro de cada idioma utilizando la similitud coseno por pares de las incrustaciones (mediante Qwen3-Embedding-0.6B).
   • Selección de Idioma: El idioma que produce una mayor consistencia se designa como el idioma "más fuerte" ($\lambda^+$), mientras que el otro es el idioma "más débil" ($\lambda^-$).
   • Construcción de la Verdad Terrena: La respuesta más consistente del idioma más fuerte se selecciona como la verdad terrena. Esta se traduce al idioma más débil para servir como objetivo para el entrenamiento.
   • Entrenamiento Aumentado con Crítica: El marco emplea un mecanismo de autocrítica donde el modelo genera una crítica de una respuesta muestreada en el idioma más débil frente a la verdad terrena traducida. Los datos finales de entrenamiento consisten en tuplas que contienen la pregunta, una respuesta muestreada, la crítica y la verdad terrena.
   • Ajuste Fino: El modelo base (Llama 3.1 8B Instruct) se ajusta fino utilizando LoRA en este conjunto de datos sintetizado, aumentado con el Conjunto de Datos Aya para prevenir el olvido catastrófico, manteniendo una relación de 3:1 entre ejemplos culturales y generales.

Contribuciones Clave

• Marco de Autoaprendizaje: Los autores introducen un método para generar señales de entrenamiento confiables para la alineación cultural enteramente a partir de las propias respuestas del modelo, eliminando la necesidad de anotaciones humanas externas.
• Transferencia de Conocimiento Translingüístico: Se propone un mecanismo para identificar y transferir conocimiento de representaciones de idioma "más fuertes" (más consistentes) a las "más débiles", haciendo efectivamente visible el conocimiento cultural latente.
• Integración de la Autocrítica: El enfoque combina la autoconsistencia con la autocrítica para mejorar la calidad de la alineación en la generación abierta sin depender de modelos externos más potentes.

Resultados
La evaluación en la pauta BLEnD (que cubre 16 regiones y 13 idiomas) demuestra lo siguiente:

• Alineación Cultural: El método mejora significativamente el rendimiento en consultas en inglés a través de las 16 regiones, logrando un aumento promedio del 5.03%.
• Rendimiento en Idioma Local: Si bien el rendimiento en inglés mejoró, el método enfrentó desafíos con idiomas de recursos bajos (por ejemplo, hausa, asamés, sundanés) debido a la escasez severa de datos (<1% del total de datos culturales), lo que llevó a un olvido catastrófico en estas regiones específicas.
• Preservación del Razonamiento General: Las capacidades generales permanecieron mayormente intactas, observándose solo disminuciones menores en Multilingual HellaSwag (-0.85%) y Global MMLU (-1.42%).
• Estudios de Ablación: Eliminar el módulo de autoconsistencia (sustituyéndolo por selección aleatoria) resultó en una caída sustancial del rendimiento, confirmando que la selección basada en la consistencia es crítica. Sin embargo, el formato aumentado con crítica por sí solo aún proporcionó ganancias sobre el modelo base no alineado.

Significado y Afirmaciones
El artículo afirma que existe un conocimiento cultural latente dentro de los LLM, pero que a menudo es inaccesible cuando se les solicita en idiomas dominantes. Al aprovechar la autoconsistencia multilingüe, los autores demuestran que este conocimiento puede hacerse visible y propagarse con éxito entre idiomas. El trabajo destaca el potencial para lograr LLMs más equitativos y consistentes culturalmente mediante medios de autoaprendizaje. Sin embargo, los autores reconocen modestamente que, aunque efectivo, el enfoque sigue siendo sensible a la disponibilidad y el equilibrio de los datos multilingües, particularmente para idiomas de recursos bajos donde la escasez de datos puede conducir a una degradación del rendimiento.