Resumen Técnico: VIVID – Un Benchmark Culturalmente Fundamentado que Expone la Brecha del Lenguaje Figurativo en el PLN del Vietnamita

1. Planteamiento del Problema

La comprensión del lenguaje figurativo sigue siendo un desafío crítico en el Procesamiento de Lenguaje Natural (PLN), lo que requiere que los modelos integren el conocimiento lingüístico, el contexto cultural y el razonamiento pragmático. Si bien se han logrado avances significativos en lenguas de altos recursos (p. ej., inglés, coreano) y en tareas específicas del vietnamita como el análisis de sentimiento o la inferencia de lenguaje natural, existe una ausencia de un marco de evaluación sistemático para el lenguaje figurativo culturalmente fundamentado en el vietnamita.

Los modismos y proverbios vietnamitas presentan dificultades de interpretación únicas debido a:

• Vocabulario sino-vietnamita arcaico que rara vez se utiliza en contextos contemporáneos.
• Matices pragmáticos sutiles, tales como el sarcasmo, la ironía y las connotaciones evaluativas.
• Conocimiento popular arraigado en las prácticas agrícolas tradicionales y la sabiduría consuetudinaria.

Los benchmarks existentes se centran principalmente en la detección de idiomaticidad binaria en lugar de una comprensión cultural profunda. Además, las métricas automáticas tradicionales (p. ej., BLEU) no logran capturar los matices semánticos de la interpretación figurativa, mientras que la evaluación humana suele ser costosa y no escalable. Esta brecha impide que los investigadores evalúen si los Modelos de Lenguaje de Gran Escala (LLM) especializados en vietnamita o multilingües pueden interpretar con precisión estas expresiones o identificar qué características lingüísticas plantean los mayores desafíos.

2. Metodología

2.1. Construcción del Conjunto de Datos: VIVID

Los autores presentan VIVID (Vietnamese Idioms for Validation and Interpretation Depth), un benchmark que comprende 1,636 modismos y proverbios vietnamitas validados. El conjunto de datos se construyó mediante un flujo de trabajo de tres etapas:

1. Recopilación de Datos: Obtenidos de dos diccionarios autorizados (Nguyen Lan, 2010; Vu Dung et al., 2000) para asegurar la autenticidad lingüística y capturar tanto formas estandarizadas como variantes regionales.
2. Categorización de Datos: Se desarrolló un esquema de anotación de doble capa:
   • Taxonomía de Complejidad Lingüística: Organiza las expresiones en tres aspectos con cinco rasgos distintos:
     • Significado: Expresiones literales (propensas a la sobreinterpretación) y matices pragmáticos (sarcasmo/ironía).
     • Léxico: Términos sino-vietnamitas y vocabulario poco común (palabras arcaicas).
     • Conocimiento Cultural: Expresiones basadas en el conocimiento popular (prácticas agrícolas/culturales).
   • Temas Semánticos: Categorización en siete temas que reflejan el discurso cultural vietnamita: Crítica, Lecciones de Vida, Trabajo y Naturaleza, Relaciones Sociales, Amor, Virtudes y Otros.
3. Validación de Datos: Un proceso riguroso de dos etapas que involucró la anotación automática (GPT-4.1) seguida de una revisión independiente y adjudicación basada en consenso por parte de dos expertos en lingüística nativos vietnamitas.

2.2. Marco de Evaluación

El estudio emplea un marco integral que combina tareas generativas y discriminativas, utilizando un enfoque de LLM-como-Juez validado frente al juicio humano.

• Tarea Generativa: Los modelos generan explicaciones para los modismos. Un LLM (GPT-4.1) actúa como juez para calificar estas explicaciones en una escala de 0 a 5 basándose en la exactitud fáctica, la completitud y la alineación con las interpretaciones de hablantes nativos.
  • Análisis de la Estrategia de Prompting: Se compararon cuatro estrategias: Zero-shot, Demostración (Few-shot), Cadena de Pensamiento (CoT) y Evaluación Basada en Aspectos.
  • Fiabilidad: La evaluación basada en aspectos logró la mayor correlación con el juicio humano ($\kappa$ de Cohen = 0.792), superando a las otras estrategias.
• Tarea Discriminativa: Los modelos realizan la clasificación de opción múltiple para:
  • Identificación de temas (7 temas semánticos).
  • Identificación de características lingüísticas (5 rasgos de complejidad).
  • La evaluación utiliza una puntuación de coincidencia exacta para asegurar la consistencia entre modelos de código abierto y de código cerrado.

2.3. Modelos del Benchmark

Se evaluaron ocho modelos de última generación, incluyendo:

• Especializados en Vietnamita: VinaLLaMA-7B, Vistral-7B-Chat, GreenMind-14B.
• Multilingües de Código Abierto: Llama-4-Scout, Llama-SEA-LION-v3, Qwen-3.
• De Código Cerrado: GPT-4o, Gemini Flash 2.5.

3. Resultados Clave

3.1. Brechas de Rendimiento

Incluso los modelos de última generación logran menos del 50% de corrección en promedio.

• Multilingüe vs. Especializado: Los modelos especializados en vietnamita rinden drásticamente por debajo de los sistemas multilingües. Por ejemplo, VinaLLaMA-7B obtuvo una puntuación de 0.13, mientras que GPT-4o obtuvo 2.46 (en una escala de 0 a 5).
• Escala del Modelo: Los modelos más grandes generalmente funcionan mejor. Entre modelos comparables de 14B, el especializado en vietnamita GreenMind-14B (1.09) funcionó de manera similar al multilingüe Qwen-3-14B (1.09), lo que sugiere que el entrenamiento actual específico del idioma no proporciona una ventaja clara para la comprensión cultural figurativa a escalas similares.

3.2. Robustez ante la Complejidad

Los modelos tienen dificultades significativas con rasgos de complejidad específicos:

• Los términos sino-vietnamitas fueron la categoría menos desafiante.
• Los matices pragmáticos y el conocimiento popular plantearon las mayores dificultades, con modelos fallando frecuentemente en captar el sarcasmo o el contexto agrícola.
• Modos de Fallo Sistemático: El análisis reveló sobreinterpretación literal (inferir metáforas donde no existen), brechas léxicas (maltraducción de palabras arcaicas), desconexión cultural y aplanamiento pragmático (reemplazar la ironía con tonos neutrales).

3.3. Efectos del Prompting

• Prompting de Pocos Ejemplos (Few-shot): Generalmente mejoró el rendimiento de la mayoría de los modelos al proporcionar ejemplos en contexto.
• Anomalía en GPT-4o: Notablemente, GPT-4o exhibió una degradación del rendimiento bajo el prompting de pocos ejemplos. El análisis sugiere que esto se debe al sobreajuste estilístico, donde el modelo imita el tono moralizante de los ejemplos en lugar de centrarse en la fidelidad semántica, lo que conduce a alucinaciones "didácticas" y deriva semántica.

4. Contribuciones

El artículo realiza tres contribuciones primarias:

1. Benchmark VIVID: El primer benchmark sistemático para el lenguaje figurativo del vietnamita, que presenta 1,636 pares de modismo-explicación validados con anotaciones de doble capa (rasgos de complejidad y temas semánticos).
2. Protocolos de Evaluación: Un marco novedoso que combina un enfoque de LLM-como-Juez para la evaluación generativa (validado con $\kappa$ = 0.792) y tareas de clasificación discriminativa.
3. Análisis Exhaustivo: Evidencia empírica que demuestra que la escala del modelo importa más que el entrenamiento específico del idioma para la comprensión cultural, al tiempo que expone las brechas persistentes en el manejo de matices pragmáticos y conocimiento popular.

5. Significado y Limitaciones

Significado:
VIVID proporciona una herramienta esencial para avanzar en la comprensión del lenguaje figurativo en contextos culturalmente ricos. Expone las limitaciones de los LLM actuales para lograr una competencia cultural genuina, yendo más allá del emparejamiento de patrones superficiales. Los hallazgos sugieren que el desarrollo de sistemas de PLN culturalmente conscientes requiere más que solo escalar parámetros o realizar ajustes finos en datos específicos del idioma; requiere abordar las brechas semánticas y pragmáticas profundas.

Limitaciones:

• Transparencia de la Evaluación: La dependencia de un modelo de código cerrado propietario (GPT-4.1) para el marco de LLM-como-Juez plantea preocupaciones respecto a la reproducibilidad y transparencia a largo plazo.
• Escala de Validación: El análisis de fiabilidad entre el juez LLM y los anotadores humanos se realizó en un subconjunto de 200 muestras debido al alto costo de la anotación manual, lo que podría no capturar completamente la diversidad de todas las formas lingüísticas en el conjunto de datos.

Los autores conclizan que VIVID establece una base sólida para la investigación futura destinada a desarrollar sistemas de PLN capaces de una interpretación figurativa matizada y culturalmente fundamentada.