Operationalizing Linguistic Methods through Prompt-Engineering Skills: An Automatic Chinese Web Neologism Detection Pipeline

Resumen Técnico: Operacionalización de Métodos Lingüísticos mediante Habilidades de Ingeniería de Prompts

Planteamiento del Problema
Los neologismos web en chino —palabras y expresiones nuevas que emergen del uso del lenguaje en línea— presentan un desafío persistente para la lexicografía computacional. Si bien la lingüística china tradicional ofrece descripciones bien desarrolladas de los principios de formación de palabras (por ejemplo, modificación, estructuras verbo-objeto, sufijación) y de los límites entre los nuevos términos y el inventario léxico existente, estos relatos han permanecido mayoritariamente en el ámbito descriptivo. Son utilizados por lingüistas para la identificación manual en lugar de para la detección automática. Cerrar la brecha entre el conocimiento lingüístico descriptivo y los procedimientos de detección automática ha sido un objetivo de larga data en el PLN (Procesamiento de Lenguaje Natural) del chino. Además, aunque los Modelos de Lenguaje de Gran Escala (LLM) ofrecen nuevas posibilidades para la operacionalización del conocimiento lingüístico mediante prompts, el simple hecho de pedir a un LLM que "juzgue si esto es una palabra nueva" no equivale a codificar principios lingüísticos en una forma reproducible y estructurada.

Metodología
Los autores proponen un pipeline totalmente automático de cuatro etapas para la detección de neologismos web chinos a partir del corpus BAAI CCI 3.0 (267 millones de documentos). La innovación central es la operacionalización de los principios de identificación lingüística tradicional como habilidades de ingeniería de prompts. Una "habilidad" se define aquí como una interfaz de tarea de LLM estructurada que combina especificaciones de reglas explícitas, ejemplos representativos y restricciones de formato.

El pipeline procede de la siguiente manera:

1. Etapa 1: Generación de Candidatos Independiente del Tokenizador. Para evitar el sesgo léxico inherente a los pipelines dependientes de tokenizadores, el método extrae n-gramas de caracteres (longitudes 2, 3 y 4) directamente mediante el conteo de frecuencias, reteniendo los 400,000 candidatos superiores para cada longitud (1.2 millones en total).
2. Etapa 2: Anclaje en Diccionario y Pre-filtrado Estadístico. Los candidatos se filtran contra el Diccionario de Chino Moderno (5ª edición, 2005) para eliminar palabras preexistentes. Se aplica un pre-filtro de Información Mutua de Punto (PMI) (PMI > 2 para 2/3 caracteres; > 4 para 4 caracteres) para controlar los costos posteriores, aunque los autores reconocen que esto puede descartar algunos neologismos de baja cohesión.
3. Etapa 3: Habilidad de Bienformidad Estructural (LLM). Utilizando el modelo Qwen3.5-27B, los candidatos se clasifican como WELL_FORMED (bien formado) o FRAGMENT (fragmento). El prompt codifica principios de formación de palabras en chino (modificación, verbo-objeto, paralelo, plantillas tetrasilábicas, sufijación). Esta etapa asegura la validez estructural en lugar del reconocimiento basado en la memoria.
4. Etapa 4: Clasificación de Tres Vías.
   • 4A (Basada en Reglas): Una cadena de cinco reglas de posición de caracteres filtra palabras obviamente no válidas (por ejemplo, prefijos/sufijos de palabras funcionales).
   • 4B (Habilidad de LLM): Los candidatos restantes se someten a una clasificación de tres vías (NEOLOGISM [neologismo], ENTITY [entidad], NONE [ninguno]) mediante una habilidad de LLM. La habilidad incluye definiciones de clase, ejemplos y reglas de decisión (por ejemplo, la incertidumbre deriva en NONE).

Protocolo de Evaluación
En lugar de reportar un único puntaje de recall agregado, los autores desarrollan una descomposición de recall condicional por etapa. Al rastrear la supervivencia de las entradas del diccionario de Nuevas Palabras Chinas de Hou (2023) (4,193 entradas) a través de cada etapa, calculan el recall condicional ($R_k$) para cada etapa. El recall estricto general es matemáticamente el producto de estos recalls de etapa ($R_1 \times R_2 \times R_3 \times R_{4A} \times R_{4B}$). Esto permite una comparación diagnóstica a nivel de sub-pipeline.

Resultados Clave

• Output del Pipeline: Aplicado al corpus CCI 3.0, el pipeline produjo 226,959 candidatos clasificados, incluyendo 4,853 neologismos etiquetados, 21,119 entidades y 200,987 no-palabras.
• Análisis de Cuellos de Botella: La descomposición por etapa revela una estructura de cuello de botella bimodal.
  • Etapa 1 (Cobertura de Candidatos): $R = 41.5\%$
  • Etapa 4B (Clasificación Semántica): $R = 60.0\%$
  • Las etapas intermedias (2, 3, 4A) son casi sin pérdidas ($R > 97\%$).
  • Juntas, la Etapa 1 y la Etapa 4B representan el 83.7% de los falsos negativos.
• Diagnóstico Estratificado por Longitud: Un hallazgo crítico es la disociación entre las dos habilidades de LLM respecto a la longitud del candidato:
  • Bienformidad Estructural (Etapa 3): Invariante a la longitud, reteniendo ~97–100% de las entradas de 2, 3 y 4 caracteres.
  • Clasificación de Novedad Semántica (Etapa 4B): Dependiente de la longitud, con el recall cayendo significativamente a medida que aumenta la longitud (65.6% para 2 caracteres, 59.0% para 3 caracteres, 44.1% para 4 caracteres).
• Comparación Translingüística: El recall de la Etapa 4B (60.0%) coincide estrechamente con la tasa de verdadera novedad del 58.7% reportada por Rossini y van der Plas (2026) para la detección de neologismos en inglés, lo que sugiere un posible techo translingüístico para la clasificación actual basada en LLM.

Significancia y Reivindicaciones
El artículo realiza cuatro contribuciones metodológicas:

1. Operacionalización: Demuestra un método para convertir el conocimiento lingüístico descriptivo en procedimientos de detección automáticos y reproducibles mediante habilidades de ingeniería de prompts.
2. Evaluación Diagnóstica: Introduce un protocolo de evaluación de recall condicional por etapa que descompone el rendimiento del pipeline en factores multiplicativos, permitiendo una atribución de errores granular.
3. Liberación de Recursos: Libera un recurso público de 226,959 candidatos clasificados de un masivo corpus web chino.
4. Mapeo de Límites: Identifica un límite específico en la operacionalización lingüística basada en habilidades: mientras que los LLM pueden juzgar de manera confiable la formación estructural de palabras (invariante de longitud), su capacidad para juzgar la novedad semántica se degrada significativamente a medida que aumenta la longitud del candidato.

Los autores reivindican modestamente que este trabajo no introduce el concepto de "habilidades" (que es una práctica establecida), sino que investiga la fiabilidad y los límites de la operacionalización del conocimiento de identificación lingüística a través de este paradigma. Los resultados sugieren que, si bien el aspecto estructural de la detección de neologismos es bien manejado por los LLM actuales, el juicio de la novedad semántica sigue siendo un desafío significativo, particularmente para candidatos más largos.