Interpretable Chinese Metaphor Identification via LLM-Assisted MIPVU Rule Script Generation: A Comparative Protocol Study

Este estudio presenta un pipeline asistido por LLM que transforma cuatro protocolos de identificación de metáforas en scripts de reglas ejecutables y auditables para el chino, demostrando que la elección del protocolo es la fuente principal de variación en la identificación y que este enfoque logra un rendimiento competitivo con total transparencia e interpretabilidad.

Lo esencial

Imagina que el lenguaje es como una gran ciudad llena de edificios. La mayoría de los edificios son normales y rectos: son las palabras literales (como "mesa", "correr" o "azul"). Pero hay otros edificios que son extraños, torcidos o pintados de colores brillantes: son las metáforas (como decir "el tiempo es dinero" o "su voz era miel").

El problema es que, para una computadora, todos estos edificios parecen iguales. Las inteligencias artificiales actuales (como los modelos de lenguaje) pueden decirte: "¡Ese edificio es extraño! Es una metáfora". Pero si les preguntas "¿Por qué?", te miran fijamente y no saben explicarlo. Es como un detective que te dice "el culpable es Juan" pero no te muestra las pruebas, el rastro de huellas ni el motivo.

Este paper es como la construcción de un nuevo tipo de detective para el idioma chino, diseñado para que siempre pueda explicar sus decisiones.

1. El Problema: La "Caja Negra"

Antes, las computadoras funcionaban como una caja negra. Metías una frase adentro y salía una respuesta. No sabías qué pasaba dentro. Si la computadora se equivocaba, no podías arreglarla porque no entendías su lógica. Además, el chino es un idioma difícil para esto porque no tiene muchas "pistas" visuales (como cambios en la forma de las palabras) que ayuden a distinguir lo real de lo figurado.

2. La Solución: El "Manual de Instrucciones" (Scripts)

Los autores crearon un sistema que no es una "caja negra", sino un manual de instrucciones paso a paso. Imagina que en lugar de tener un detective mágico, tienes un equipo de cuatro inspectores, cada uno con un manual diferente para buscar metáforas:

• Inspector A (El Diccionario): Mira cada palabra y pregunta: "¿Significa esto lo que dice el diccionario, o se está usando de otra forma?". Si la palabra "cabeza" se usa para decir "jefe", este inspector lo marca.
• Inspector B (El Traductor de Ideas): Busca conexiones entre dos mundos. Si alguien dice "mi corazón es un tambor", este inspector dibuja un mapa: "Corazón = Tambor". Busca la conexión lógica entre los dos.
• Inspector C (El Psicólogo): Se fija en las emociones. Si una frase dice "el silencio gritó", este inspector nota que el silencio no puede gritar de verdad. Detecta la "incongruencia emocional".
• Inspector D (El Cazador de Comparaciones): Solo busca palabras clave como "como" o "parece". Si ve "ella es como un sol", lo marca inmediatamente.

3. La Gran Sorpresa: Depende de Cómo Busques

Aquí viene la parte más interesante del estudio. Los investigadores hicieron una prueba: tomaron la misma ciudad (el mismo conjunto de textos chinos) y enviaron a los cuatro inspectores a buscar metáforas.

El resultado fue chocante: Casi no se ponían de acuerdo.

• El Inspector A (el del diccionario) encontró muchísimas metáforas, incluso las muy comunes que la gente ya ni nota.
• El Inspector D (el cazador de comparaciones) fue muy estricto y solo encontró las metáforas que usaban la palabra "como".
• Lo más curioso: El Inspector B (conexiones) y el Inspector C (emociones) casi siempre encontraron exactamente las mismas metáforas. ¡Parecían gemelos!

La analogía: Imagina que buscas "frutas" en un mercado.

• Si usas una regla que dice "todo lo que es redondo y dulce", encontrarás manzanas, naranjas y hasta tomates (Inspector A).
• Si usas una regla que dice "solo lo que tiene hueso", solo encontrarás duraznos y ciruelas (Inspector D).
• Ambos están "correctos" según su propia regla, pero la lista de frutas que obtienes es totalmente diferente.

El estudio demuestra que la herramienta que eliges para buscar es más importante que el detective que la usa. Cambiar la regla de búsqueda cambia todo el resultado.

4. La Ventaja: Transparencia Total

¿Por qué es esto importante? Porque este nuevo sistema es transparente.

• Si el Inspector A se equivoca, puedes ver exactamente en qué paso falló: ¿No entendió la palabra? ¿El diccionario estaba mal?
• Puedes editar el manual. Si el Inspector D se confunde con una frase literal, puedes cambiar su regla para que no se equivoque la próxima vez.
• En cambio, con las "cajas negras" actuales, si fallan, tienes que volver a entrenar todo el sistema desde cero, como si tuvieras que reinventar al detective.

Conclusión: No hay una sola "Verdad"

El mensaje final de este paper es que identificar metáforas no es una tarea única. Depende de qué estés buscando.

• Si quieres encontrar todas las metáforas posibles (incluso las ocultas), usa el Inspector A.
• Si quieres encontrar solo las metáforas obvias y claras, usa el Inspector D.

Los autores nos dicen que, en el futuro, no deberíamos solo preguntar "¿Qué tan bien funciona tu computadora?", sino "¿Qué reglas está usando tu computadora para decidir qué es una metáfora?". Al hacer las reglas visibles y explicables, podemos entender mejor cómo pensamos y cómo usamos el lenguaje, no solo en chino, sino en cualquier idioma.

Es como pasar de tener un oráculo que da respuestas mágicas, a tener un equipo de científicos que te muestra sus notas, sus dudas y su lógica, permitiéndote aprender junto con ellos.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español:

Título: Identificación de Metáforas Chinas Interpretables Mediante la Generación de Scripts de Reglas Asistida por LLM: Un Estudio de Protocolo Comparativo

1. Planteamiento del Problema

La identificación de metáforas es una tarea fundamental en el procesamiento del lenguaje figurado, pero los enfoques computacionales actuales presentan dos deficiencias críticas:

• Falta de interpretabilidad: La mayoría de los clasificadores basados en modelos neuronales (LLM o BERT) funcionan como "cajas negras". Aunque pueden clasificar una expresión como metafórica con alta precisión, no ofrecen explicaciones estructuradas sobre por qué se tomó esa decisión (e.g., el mapeo conceptual, el contraste de significados o el mecanismo figurativo).
• Desafíos específicos del chino: La identificación de metáforas en chino es particularmente difícil debido a:
  • La ausencia de inflexiones morfológicas que sirvan como pistas superficiales (a diferencia de las lenguas indoeuropeas).
  • La naturaleza polisémica y dependiente del contexto de los caracteres chinos.
  • La escasez de recursos anotados y la fragmentación de los esquemas de anotación.
  • La diversidad de figuras retóricas chinas que no se alinean perfectamente con los marcos teóricos desarrollados para el inglés.

2. Metodología

Los autores proponen una arquitectura que separa el protocolo de identificación del modelo subyacente. En lugar de usar un LLM como un razonador monolítico, el sistema implementa cuatro protocolos lingüísticos distintos como scripts de reglas ejecutables y modulares, donde el LLM actúa como una subrutina restringida.

Los cuatro protocolos implementados son:

1. Protocolo A (MIP/MIPVU): Identificación a nivel léxico basada en el contraste entre el significado contextual y el significado básico (fundamental).
2. Protocolo B (CMDAG): Identificación a nivel de oración mediante la extracción de triples de mapeo conceptual (Tenor, Vehículo y Terreno).
3. Protocolo C (Emoción): Detección basada en la incongruencia afectiva (cuando la carga emocional de una expresión no coincide con su significado literal).
4. Protocolo D (Símil): Identificación orientada a comparaciones explícitas marcadas por conectores léxicos (como "像" - como).

Arquitectura del Sistema:
El sistema sigue un pipeline de cinco módulos deterministas:

1. Preprocesamiento: Segmentación y etiquetado de partes del discurso.
2. Selección de Candidatos: Filtrado de unidades lingüísticas según el protocolo.
3. Análisis Semántico: Llamadas controladas al LLM para recuperar significados, evaluar contrastes o extraer mapeos.
4. Clasificación: Aplicación de reglas deterministas sobre la salida estructurada del LLM.
5. Generación de Justificación: Creación de una explicación estructurada (rationale) para cada decisión.

Configuración Experimental:

• Modelo Base: GPT-4 (temperatura 0 para maximizar la determinismo).
• Datos: Evaluación en 7 conjuntos de datos chinos que cubren granularidades a nivel de token, oración y span (rango de texto).
• Evaluación: Se realiza una evaluación intra-protocolo (cada protocolo en su conjunto de datos nativo) y una evaluación inter-protocolo (todos los protocolos aplicados al mismo subconjunto de datos) para medir la variabilidad.

3. Contribuciones Clave

• Primera implementación ejecutable: Presentan el primer sistema que operacionaliza múltiples protocolos de identificación de metáforas como scripts de reglas ejecutables para el chino, logrando reproducibilidad determinista completa.
• Comparación transversal sin precedentes: Realizan la primera comparación exhaustiva entre diferentes protocolos teóricos para el chino, revelando que la elección del protocolo genera más variación que la elección del modelo.
• Marco de evaluación de interpretabilidad: Introducen una métrica de auditoría con tres dimensiones:
  1. Corrección de la justificación: ¿La explicación es lingüísticamente correcta?
  2. Determinismo: ¿El sistema produce el mismo resultado con la misma entrada?
  3. Editabilidad: ¿Es fácil modificar las reglas para corregir errores?
• Recursos abiertos: Liberan el código, las implementaciones de protocolos y los scripts de evaluación.

4. Resultados Principales

• Variabilidad por Protocolo: La elección del protocolo es la fuente más grande de variación.
  • En la comparación cruzada, el Protocolo A (MIP) obtuvo un F1 de 0.829 (alineado con la anotación de oro MIPVU).
  • Los Protocolos B y C mostraron un acuerdo casi perfecto entre sí (Kappa de Cohen = 0.986), sugiriendo que capturan un subconjunto similar de metáforas "prototípicas" (mapeo conceptual y emoción).
  • El acuerdo entre el Protocolo A y los Protocolos B/C/D fue extremadamente bajo (Kappa ≈ 0.001 - 0.06), indicando que identifican conjuntos fundamentalmente diferentes de expresiones.
• Rendimiento:
  • Protocolo A: F1 = 0.472 (nivel de token). Supera al zero-shot de GPT-4 (0.43) pero queda por debajo de modelos BERT ajustados (0.65).
  • Protocolo D (Símil): Alta precisión (0.909) pero recall casi nulo (0.009) en datos generales, debido a su alcance restringido a construcciones explícitas.
• Interpretabilidad:
  • 100% Determinismo: El sistema es totalmente reproducible.
  • Corrección de Justificación: Oscila entre 0.40 (Protocolo B, difícil por el "terreno" implícito) y 0.87 (Protocolo D).
  • Editabilidad: Alta (0.80 - 1.00), permitiendo a los humanos corregir errores modificando reglas específicas sin reentrenar el modelo.

5. Significado e Implicaciones

• El Protocolo es el Modelo: El estudio demuestra que en la identificación de metáforas, la definición teórica (el protocolo) es más influyente que la arquitectura del modelo. Un "sistema de identificación de metáforas" no es una tarea unitaria, sino una familia de tareas dependientes de la operacionalización teórica.
• Compensación Interpretabilidad-Rendimiento: Aunque los modelos neuronales ajustados pueden tener un F1 ligeramente superior, carecen de transparencia. La arquitectura basada en scripts de reglas ofrece una transparencia total y capacidad de auditoría, lo cual es crucial para aplicaciones educativas, lingüísticas y de control de calidad de anotación.
• Cambio de Paradigma: Los autores abogan por que la comunidad deje de perseguir únicamente puntuaciones F1 más altas en un solo benchmark y comience a especificar explícitamente el protocolo de identificación, evaluar bajo múltiples marcos teóricos y priorizar la interpretabilidad.

En conclusión, este trabajo establece que es posible lograr un rendimiento competitivo en la identificación de metáforas chinas manteniendo una transparencia total, mediante la separación de la lógica del protocolo de la capacidad de razonamiento del LLM.