Resumen Técnico: MIDI – Un conjunto de datos de modismos multilingües para lenguas de altos, medios y bajos recursos

1. Planteamiento del problema

Las expresiones idiomáticas presentan un desafío significativo para los Modelos de Lenguaje Multilingües (mLLM) debido a la ambigüedad semántica entre los significados literales y figurados. Si bien investigaciones previas han abordado la comprensión de modismos, los benchmarks existentes sufren limitaciones críticas:

• Sesgo lingüístico: La mayoría de los conjuntos de datos se centran en lenguas de altos recursos (p. ej., inglés, chino), descuidando las lenguas de bajos recursos donde los datos de entrenamiento son escasos y el arraigo cultural es esencial.
• Deficiencia contextual: Las evaluaciones previas suelen depender de oraciones aisladas o tareas de emparejamiento de definiciones, fallando al capturar las pistas pragmáticas presentes en el discurso realista (p. ej., diálogos de múltiples turnos).
• Opacidad del mecanismo: No está claro si los modelos tienen éxito mediante la memorización de definiciones de modismos o mediante el razonamiento a través del contexto para desambiguar el uso.

El artículo postula que los modelos actuales tienen dificultades para generalizar la comprensión de modismos a través de diversos paisajes lingüísticos, particularmente en entornos de bajos recursos y al distinguir entre lecturas literales y figuradas.

2. Metodología

Construcción del conjunto de datos: MIDI

Los autores presentan MIDI (Multilingual Idiom Dataset), un benchmark exhaustivo curado por hablantes nativos en 18 lenguas y dialectos. Las lenguas se categorizan en tres niveles de recursos basados en su disponibilidad digital:

• Altos recursos (3): Chino, japonés, ruso.
• Medios recursos (3): Indonesio, vietnamita y el dialecto árabe de los EAU.
• Bajos recursos (12): Javanés, persa, kannada, telugu, tamil, minangkabau, sundanés, kazajo, yoruba y dialectos árabes (sirio, egipcio, marroquí).

Características clave de MIDI:

• Escala: Contiene 2.278 modismos con 8.378 contextos de uso.
• Contextos duales: Cada modismo está embebido en dos entornos de discurso realistas:
  1. Nivel de oración: Elaborado tanto en sentidos literales como figurados.
  2. Nivel de diálogo: Conversaciones cortas de múltiples turnos donde las pistas pragmáticas y las intenciones del hablante influyen en la interpretación.
• Anotación: Los modismos están anotados con propiedades psicolingüísticas (familiaridad, descomponibilidad, plausibilidad literal) y validados por al menos dos hablantes nativos.
• Formato de evaluación: Cada instancia se empareja con una pregunta de opción múltiple (MCQ) que solicita el significado, con opciones que incluyen el significado figurado correcto, el significado literal correcto y dos distractores.

Configuración experimental

El estudio evalúa una gama de modelos propietarios (GPT-5.2, Gemini 2.5 Pro) y de código abierto (DeepSeek-R1, Gemma-3, Llama-3.1/3.3, Mixtral, Qwen-3) en un entorno de zero-shot. La evaluación descompone el rendimiento a lo largo de tres ejes:

1. Nivel de recurso: Alto vs. Medio vs. Bajo.
2. Tipo de contexto: Oración vs. Conversación.
3. Tipo de uso: Figurativo vs. Literal.

Análisis de mecanismos

Para desentrañar la memorización del razonamiento, los autores emplean tareas controladas:

• Tarea de memorización: Los modelos identifican el significado figurado sin ningún contexto.
• Tarea de razonamiento: Se proporciona a los modelos el contexto de uso y la definición en inglés del modismo, forzándolos a razonar sobre el uso específico en lugar de recordar una definición.
• Direccionamiento de activación (Activation Steering): Los autores aplican direccionamiento de activación lineal (usando vectores derivados de MIDI y MMLU-Pro) para sondear las representaciones latentes, probando si desplazar los modelos a lo largo de las dimensiones de "memorización" o "razonamiento" mejora el rendimiento.

3. Resultados clave

Tendencias de rendimiento

• Disparidad de recursos: El rendimiento se degrada a medida que los recursos lingüísticos disminuyen. Las lenguas de altos recursos alcanzan un promedio de ~59% de precisión, mientras que las de bajos recursos caen a ~50%. Los modelos de código abierto muestran un declive más pronunciado que los modelos propietarios.
• Figurativo vs. Literal: Los modelos desempeñan consistentemente mejor en interpretaciones figurativas (65% de promedio) que en las literales (48% de promedio). Esta brecha es más severa en las lenguas de altos recursos (33 puntos porcentuales), lo que sugiere que los modelos dependen fuertemente de las definiciones figurativas canónicas y luchan por reconocer las lecturas literales compositivas.
• Beneficio contextual: Los contextos conversacionales mejoran el rendimiento sobre los contextos de nivel de oración (59% vs. 54%), particularmente para las lenguas de bajos recursos (+7 puntos porcentuales), probablemente debido a las pistas pragmáticas adicionales. Sin embargo, el contexto no elimina las brechas de rendimiento entre los niveles de recursos.

Memorización vs. Razonamiento

• Memorización: Los modelos propietarios exhiben altas capacidades de memorización en todos los niveles de recursos. Los modelos de código abierto muestran una variación significativa, con los modelos más pequeños teniendo dificultades en entornos de bajos recursos.
• Razonamiento: Proporcionar definiciones explícitas y contexto aumenta significamente el rendimiento, especialmente para los modelos de código abierto en entornos de altos recursos. Sin embargo, incluso con ayudas de razonamiento, las brechas persisten en las lenguas de bajos recursos, indicando que el contexto ayuda a compensar el conocimiento limitado pero no resuelve totalmente el déficit.

Sesgo de interpretación

El análisis revela una fuerte correlación entre el sesgo de interpretación y el rendimiento. Los modelos con un fuerte sesgo hacia las interpretaciones figurativas (p. ej., Gemini 2.5 Pro) logran una alta precisión figurativa pero sufren en la comprensión literal. Por el contrario, los modelos con un sesgo casi neutral (p. ej., Mixtral) desempeñan mejor en tareas literales, sugiriendo que una dependencia excesiva de los priors figurativos impide la capacidad de detectar el uso literal.

Direccionamiento de activación (Activation Steering)

El direccionamiento de las activaciones a lo largo de las dimensiones de memorización y razonamiento produce ganancias de precisión modestas pero consistentes, particularmente en las lenguas de bajos recursos. Notablemente, los vectores de direccionamiento derivados del benchmark independiente MMLU-Pro se transfieren eficazmente a MIDI, lo que sugiere un mecanismo interno compartido que media el compromiso entre memorización y razonamiento en diversas tareas.

Brecha Humano-Modelo

Una evaluación humana en un subconjunto de los datos muestra que los hablantes nativos alcanzan un 94% de precisión. En contraste, los mejores modelos propietarios promedian un 81%, y los mejores modelos de código abierto un 72%. La brecha es más severa para los modelos de código abierto en lenguas de bajos recursos (p. ej., Yoruba: Humano 96% vs. Código Abierto 23%).

4. Contribuciones y significancia

El artículo afirma las siguientes contribuciones:

1. Conjunto de datos MIDI: Un banco de pruebas amplio y tipológicamente diverso que abarca 18 lenguas y dialectos, con contextos tanto de oración como de diálogo con usos literales y figurados.
2. Benchmarking sistemático: Una evaluación exhaustiva que revela que la comprensión de modismos sigue siendo un desafío para los mLLM de vanguardia, con déficits específicos en lenguas de bajos recursos e interpretaciones literales.
3. Perspectiva mecánica: Evidencia de que la comprensión de modismos es un proceso híbrido donde la memorización suministra los sentidos candidatos (priors) y el razonamiento aprovecha el contexto para la desambiguación. El estudio demuestra que estas capacidades están entrelazadas; un fuerte sesgo figurativo puede perjudicar la comprensión literal.
4. Efectividad del direccionamiento: La demostración de que el direccionamiento de la activación puede mejorar el rendimiento, particularmente para las lenguas de bajos recursos, y que este mecanismo se generaliza a través de los conjuntos de datos (MIDI y MMLU-Pro).

5. Limitaciones

Los autores reconocen varias limitaciones:

• Alcance del análisis: La separación de memorización y razonamiento se centra principalmente en las interpretaciones figurativas; la interacción para las lectiones literales (donde los modelos deben suprimir los significados idiomáticos) no se evalúa explícitamente.
• Desequilibrio del conjunto de datos: El conjunto de datos está desequilibrado entre los niveles de recursos y las lenguas, y algunas lenguas (p. ej., vietnamita) carecen de contrapartes literales, lo que limita las comparaciones controladas de forma estricta entre lenguas.
• Ruido de anotación: Aunque fueron revisados por hablantes nativos, no se reporta la concordancia entre anotadores para las calificaciones psicolingüísticas, lo que significa que estas calificaciones deben tratarse como informativas más que como estándares de oro definitivos.
• Naturalidad del diálogo: Los diálogos fueron generados por un LLM y revisados manualmente; aunque son coherentes, pueden no capturar plenamente la variabilidad estilística de las interacciones naturales.
• Restricciones de evaluación: El uso de preguntas de opción múltiple limita la evaluación de las capacidades de interpretación y generación abiertas.

En conclusión, el artículo establece que, si bien los mLLM han progresado, persisten brechas significativas en su capacidad para comprender modismos en diversos contextos lingüísticos, particularmente para las lenguas de bajos recursos y los usos literales. Los hallazgos sugieren que los modelos actuales dependen fuertemente de los priors memorizados y luchan para desambiguar el significado de manera flexible basándose únicamente en el contexto.