Resumen Técnico: Una Línea Base Reproducible Multi-Arquitectura para la Identificación de Metáforas a Nivel de Token en Chino

Enunciado del Problema

Aunque la metáfora es omnipresente en el lenguaje, la identificación computacional a nivel de token de palabras relacionadas con metáforas en chino bajo el marco del Procedimiento de Identificación de Metáforas VU (MIPVU) sigue siendo poco explorada en comparación con el inglés. La investigación existente en inglés ha establecido líneas base sólidas utilizando etiquetadores de secuencia basados en Transformers y arquitecturas especializadas como MelBERT. Sin embargo, para el chino, el Corpus de Metáforas Chinas PSU (PSU CMC) —el único corpus anotado con MIPVU ampliamente disponible— no ha sido evaluado sistemáticamente con ajuste fino de codificadores modernos, fusión léxica al estilo MelBERT o Modelos de Lenguaje Grandes (LLM) ajustados por instrucción bajo un protocolo compartido y reproducible. Además, existe una brecha crítica de recursos: MelBERT depende de representaciones de significado básico (típicamente glosas de WordNet para inglés), pero no existía ningún recurso abierto equivalente en chino.

Metodología

El artículo establece una línea base reproducible comparando tres familias de modelos distintas en el PSU CMC, utilizando una partición fija a nivel de archivo de 70/10/20 para entrenamiento/desarrollo/prueba a través de cinco semillas aleatorias.

1. Construcción de Recursos: Incrustaciones de Significado Básico MCD7

Para permitir la adaptación de MelBERT al chino, los autores construyeron un recurso de significado básico a partir del Diccionario Chino Moderno, 7ª edición (MCD7).

• Proceso: Se analizaron 74.823 entradas del diccionario para extraer el sentido más concreto o primario (típicamente la primera definición). Las referencias cruzadas se resolvieron recursivamente.
• Codificación: Los textos de significado básico se codificaron en vectores de 1024 dimensiones utilizando Chinese RoBERTa-wwm-ext-large.
• Cobertura: El recurso cubre el 71,51 % de los tokens únicos en PSU CMC. Los tokens fuera del vocabulario reciben una caída a vector cero.
• Lanzamiento: Se publican las incrustaciones y los procesos; el texto original de las glosas no se redistribuye debido a derechos de autor.

2. Arquitecturas de Modelo

El estudio evalúa cuatro configuraciones en tres familias de modelos:

• Ajuste Fino de Codificador (RoBERTa): Clasificación estándar de tokens utilizando Chinese RoBERTa-wwm-ext-large con una cabeza lineal.
• Adaptación de MelBERT: Una extensión de RoBERTa que incorpora dos canales paralelos fundamentados en la teoría de la metáfora:
  • Canal MIP: Contrasta la representación contextual contra el vector de significado básico derivado de MCD7.
  • Canal SPV (Violación de Preferencia Selectiva): Contrasta el contexto local con la representación del token para señalar anomalías.
  • Variantes: Completo (MIP + SPV + Fusión), solo MIP y solo SPV.
• Generación Ajustada por Instrucción (Qwen): Qwen3.5-9B ajustado fino con QLoRA (cuantización de 4 bits + adaptadores de bajo rango). La tarea se plantea como un problema de generación donde el modelo produce una lista JSON estructurada de tokens de metáfora. Se probaron seis formulaciones de tarea, seleccionándose la "Extracción Generativa JSON" (Q2) como la mejor.

3. Protocolo Experimental

• Métrica: La F1 de la clase positiva (F1 pos de prueba) es la métrica principal debido al desequilibrio de clases (9,16 % de tokens positivos).
• Semillas: Se utilizan cinco semillas fijas ({42, 123, 2024, 7, 31415}) para todos los modelos para garantizar una comparación justa.
• Hardware: Una única NVIDIA RTX 5090.

Resultados Clave

Comparación de Rendimiento

• Mejor Desempeño: MelBERT (solo MIP) logró el rendimiento más alto con una F1 positiva de prueba de 0,7281 ± 0,0050.
• Comparación:
  • MelBERT Completo (MIP+SPV): 0,7270 ± 0,0069 (ligeramente inferior a solo MIP).
  • RoBERTa estándar: 0,7142 ± 0,0121.
  • Qwen3.5-9B (QLoRA): 0,6157 ± 0,0113.
• Brecha Generativa: La línea base generativa de Qwen se queda atrás de los modelos basados en codificadores en aproximadamente 11 puntos absolutos de F1.

Hallazgos Clave

1. Ineficacia del Canal SPV en Chino: Contrario a los resultados en inglés donde SPV ayuda al rendimiento, el canal SPV en chino no proporciona una señal positiva fiable. La configuración solo MIP supera a la configuración completa y exhibe una varianza de semillas significativamente menor (0,0050 frente a 0,0069). Los autores hipotetizan que esto se debe al dominio de las metáforas convencionales en chino, donde los pares metáfora-contexto son frecuentes y no desencadenan violaciones selectivas.
2. Asimetría Precisión-Recall en LLMs: La línea base de Qwen sufre principalmente de un recall bajo (0,5526) en comparación con los codificadores, manteniendo una precisión comparable. Esto sugiere que los modelos generativos toman compromisos discretos que los llevan a descartar casos ambiguos o limítrofes, una limitación exacerbada por la adaptación de bajo rango (QLoRA).
3. Sensibilidad al Formato: Varias formulaciones de tarea de Qwen fallaron debido al diseño y no a la capacidad. Específicamente, el etiquetado BIO (Q4) falló porque las metáforas chinas en PSU CMC son predominantemente de un solo token (haciendo inútil la etiqueta "I-"), y la generación estructurada con ventanas de contexto cortas (Q8 v1) falló debido a la truncación de tokens de supervisión.
4. Dificultad del Registro: El rendimiento varía según el registro, siendo la ficción la más difícil (F1 más baja, varianza más alta) y lo académico el más fácil. Esto se correlaciona con la densidad y novedad de la metáfora; la ficción contiene metáforas más novedosas y dependientes del contexto.

Contribuciones y Significado

El artículo reclama tres contribuciones principales:

1. Una Línea Base Reproducible: Proporciona la primera línea base sistemática y multi-arquitectura para la identificación de metáforas chinas a nivel de token en PSU CMC, incluyendo código completo, manifiestos de partición y salidas por semilla.
2. Recurso de Significado Básico MCD7: Introduce un recurso novedoso derivado del autoritativo Diccionario Chino Moderno, permitiendo por primera vez la fusión léxica al estilo MelBERT en chino.
3. Insights Empíricos:
   • Demuestra que el canal SPV no es beneficioso para la identificación de metáforas chinas bajo MIPVU.
   • Destaca las limitaciones específicas de los LLMs actuales ajustados por instrucción (específicamente Qwen adaptado con QLoRA) para tareas de token a nivel fino, notando un sesgo favorable a la precisión.
   • Identifica que los fallos en la formulación de tareas generativas a menudo se deben al diseño del formato (por ejemplo, etiquetas BIO para fenómenos de un solo token) y no a la capacidad del modelo.

Los autores posicionan este trabajo como un "punto de referencia común" para futuras investigaciones, instando a que los futuros sistemas se comparen contra estas configuraciones específicas y protocolos de semillas en lugar de estimaciones informales. Notan modestamente que, aunque no esperan que los LLMs ajustados con QLoRA cierren la brecha con los codificadores inmediatamente, el trabajo futuro podría explorar la integración de MelBERT de múltiples sentidos o paradigmas híbridos que combinen la precisión del codificador con el recall del LLM.