Evaluating Cross-lingual Knowledge Consistency in Code-Mixed vis-a-vis Indian Languages using IndicKLAR

Resumen Técnico: Evaluación de la Consistencia del Conocimiento Translingüístico en Lenguas Indias Code-Mixed utilizando IndicKLAR

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) exhiben una significativa "brecha de consistencia translingüística", donde recuerdan de manera fiable conocimientos fácticos en lenguas de altos recursos como el inglés, pero fallan frecuentemente cuando la misma consulta se plantea en lenguas de bajos recursos. Esta disparidad constituye una barrera crítica para la implementación equitativa de la IA en regiones lingüísticamente diversas como la India, que reconoce 22 lenguas programadas. Las evaluaciones existentes se centran predominantemente en entradas monolingües limpias o pares de lenguas de altos recursos, ignorando en gran medida la realidad de la comunicación code-mixed (intercalando inglés y lenguas indias) común en las interacciones digitales cotidianas. Además, las evaluaciones previas a menudo dependen de traducir las salidas del modelo de vuelta al inglés mediante sistemas externos, lo que puede ocultar si la salida de bajo recurso era inherentemente fiel.

Metodología
Para abordar estas brechas, los autores introducen INDIKLAR, una extensión india del benchmark KLAR-CLC. La metodología implica tres componentes centrales:

1. Construcción del Benchmark (INDIKLAR):

   • Alcance: Cubre 18 de las 22 lenguas programadas de la India.
   • Variantes: Para 11 de estas lenguas (donde estaba disponible la cobertura de lingüistas), los autores construyeron variantes code-mixed intercalando palabras de contenido en inglés dentro de la estructura gramatical de la lengua nativa.
   • Alineación: El conjunto de datos proporciona una alineación triple para 11 lenguas: (1) India Nativa (monolingüe), (2) Code-Mixed y (3) Inglés. Las 7 lenguas restantes tienen alineación doble (Nativa e Inglés).
   • Verificación: Tanto las variantes monolingües como las code-mixed pasaron por una verificación de calidad humana realizada por hablantes nativos o casi nativos para asegurar la fluidez y naturalidad.
   • Escala: Cada configuración de lengua contiene 2.619 instancias que abarcan 20 categorías fácticas.

2. Configuración Experimental:

   • Modelos: La evaluación se realizó en nueve modelos de pesos abiertos de tres familias (Llama 3.1/3.2, Gemma 3, Qwen 2.5), que van desde 1B hasta 14B parámetros.
   • Métricas: El estudio mide la Precisión (corrección de las predicciones) y la Consistencia Translingüística (CLC) (solapamiento de predicciones correctas entre pares de lenguas).
   • Estrategias de Prompting: Los autores compararon sistemáticamente varias estrategias para cerrar la brecha de rendimiento:
     • Línea Base: Prompting directo en la lengua de origen.
     • Estrategias de 2 Pasos: Llamadas de inferencia separadas para la conversión (a code-mixed, inglés o script romano transliterado) seguidas de la respuesta.
     • Estrategias de 1 Paso: Generación conjunta de la conversión y la respuesta.
     • Translate-in-Thought (TinT): Una estrategia novedosa de un solo paso donde se instruye al modelo para que convierta internamente la entrada (ya sea a inglés o code-mixed) y emita solo la respuesta final, sin generar texto intermedio.

3. Análisis:

   • El estudio analiza las trayectorias de rendimiento desde Nativo $\to$ Code-Mixed $\to$ Inglés.
   • Incluye un estudio de caso de interpretabilidad utilizando análisis de rango por capas para observar cómo evoluciona la representación interna del modelo del token de respuesta correcta a través de las capas.

Contribuciones Clave

• Benchmark INDIKLAR: El primer benchmark que empareja consultas fácticas indias monolingües con contrapartes code-mixed bajo verificación de hablantes nativos a esta escala, permitiendo una evaluación alineada en entradas en inglés, nativas y code-mixed.
• Translate-in-Thought (TinT): Introducción de una estrategia de prompting implícito de un solo paso que elicita la traducción interna sin salidas intermedias explícitas, ofreciendo ganancias de rendimiento con menor latencia de inferencia en comparación con métodos de múltiples pasos.
• Identificación del "Punto de Inversión": El descubrimiento de que el umbral entre la predicción incorrecta y la correcta (el "punto de inversión") reside consistentemente entre la configuración nativa de bajo recurso y la configuración code-mixed, en lugar de estar entre code-mixed e inglés.

Resultados

• La Brecha Nativo-Inglés: Las brechas de precisión en lengua nativa en relación con el inglés pueden alcanzar aproximadamente 0.50, particularmente para modelos más pequeños y lenguas como el asamés y el telugu.
• Eficacia del Code-Mixed: Las entradas code-mixed cierran significativamente esta brecha, llevando el rendimiento a ~0.05 de la precisión a nivel de inglés sin ninguna intervención a nivel de modelo (reentrenamiento).
• Rendimiento del Prompting:
  • TinT muestra ganancias estadísticamente significativas sobre la línea base a través de lenguas y familias de modelos.
  • Eficiencia: Las variantes de TinT logran estas ganancias con un tiempo de inferencia significativamente menor (por ejemplo, ~0.09s por muestra para Llama-3.1-8B) en comparación con estrategias de múltiples pasos.
  • Escalado: La efectividad de TinT escala con el tamaño del modelo; los modelos más grandes (por ejemplo, 8B–14B) demuestran capacidades de traducción latente más fuertes. Los modelos más pequeños (<1.5B) a veces luchan con la reformulación, aunque Gemma-3-1B mostró una mejora consistente.
• Familias Lingüísticas: Las lenguas indoarias generalmente vieron mayores ganancias de TinT (+18% de precisión) en comparación con las lenguas drávidas (+14%), aunque TinT mejoró el rendimiento en la mayoría de las categorías.
• Ubicación del Punto de Inversión: Ya sea inducido por la forma superficial de la entrada (Nativo vs. Code-Mixed) o por la conversión interna (Nativo vs. TinT), la transición de predicción incorrecta a correcta ocurre entre las configuraciones nativa y code-mixed.
• Ablación: Las variantes code-mixed superaron a las variantes de romanización pura (transliteración), lo que sugiere que las pistas léxicas bilingües significativas (anclas en inglés) son más críticas que la uniformidad del script por sí sola.

Significado y Afirmaciones
El artículo afirma que el code-mixing actúa como un puente poderoso para la consistencia del conocimiento translingüístico, permitiendo a los modelos aprovechar capacidades de razonamiento en inglés más fuertes mientras preservan la semántica de bajo recurso. La introducción de Translate-in-Thought (TinT) demuestra que los modelos poseen una capacidad de traducción latente que puede ser elicita mediante prompting únicamente, sin la necesidad de un reentrenamiento costoso o sistemas de traducción externos.

Los autores enfatizan que el hallazgo del "punto de inversión" sugiere que el modo de fallo principal para el recuerdo de conocimientos de bajo recurso no es una falta de conocimiento, sino la dificultad de acceder a ese conocimiento a través del script nativo. Al desplazar la entrada a un estado code-mixed o internamente traducido, los modelos pueden acceder al mismo conocimiento que poseen para el inglés.

Limitaciones
Los autores señalan varias limitaciones:

• Generación Sintética: Las variantes code-mixed fueron generadas mediante APIs de GPT y verificadas por humanos, pero podrían no capturar completamente la diversidad dialectal del code-mixing del mundo real.
• Cobertura: Cuatro lenguas programadas (Bodo, Kashmiri, Manipuri/Meitei, Santali) fueron excluidas debido a la calidad limitada de los sistemas de traducción y al acceso de los anotadores.
• Generalización: Los hallazgos se basan en un benchmark específico de recuerdo fáctico (KLAR-CLC) y podrían no generalizarse a otras tareas de PNL como el razonamiento o la generación abierta.
• Escala del Modelo: Los experimentos se limitaron a modelos de hasta 14B parámetros; las tendencias para modelos más grandes siguen siendo una pregunta abierta.
• Interpretabilidad: El análisis mecánico (rango por capas) se realizó en un solo modelo (Llama-3.1-8B-Instruct) y debe considerarse como ilustrativo en lugar de exhaustivo.