Resumen Técnico: Una Pipeline a Gran Escala para la Detección Automática de Neologismos

Enunciado del Problema

La detección automática de neologismos (innovaciones léxicas) enfrenta un desafío fundamental de escalabilidad. Si bien los corpus masivos de redes sociales ofrecen fuentes ricas de cambio lingüístico, la gran mayoría de los tokens ausentes en los diccionarios estándar no son neologismos, sino errores tipográficos, faltas de ortografía, cadenas concatenadas, fragmentos de código o material en idiomas extranjeros. En un corpus de 527 millones de publicaciones en inglés de Reddit, se extrajeron 124,6 millones de tokens únicos. Clasificar cada uno de estos individualmente utilizando Modelos de Lenguaje Grandes (LLM) es computacionalmente inviable. Además, los sistemas de detección existentes a menudo dependen de diccionarios de exclusión estáticos y específicos de un idioma, que carecen de portabilidad y requieren una verificación manual extensa de grandes conjuntos de candidatos. El problema central es diseñar una pipeline que reduzca este vasto conjunto de candidatos a un tamaño manejable para la verificación por expertos, manteniendo al mismo tiempo una alta recuperación de innovaciones léxicas genuinas.

Metodología

Los autores presentan una pipeline escalable y modular que combina un filtrado determinista basado en reglas con una clasificación mediante LLM de múltiples modelos. El sistema se fundamenta en dos marcos complementarios de formación de palabras:

1. Formación Gramatical de Palabras: Basada en la teoría onomasiológica de Štekauer, que abarca procesos regidos por reglas como la afijación y la composición.
2. Formación Extra-Gramatical de Palabras: Basada en el marco de Mattiello, que abarca procesos no regidos por reglas como la fusión (blending), el recorte (clipping) y la morfología expresiva (por ejemplo, doggo).

La pipeline opera mediante una cascada de filtrado multietapa:

1. Tokenización y Preprocesamiento: Utilizando spaCy, el sistema elimina contenido no léxico (URLs, menciones, emojis) y normaliza el texto.
2. Filtrado de Vocabulario: Se excluyen los tokens presentes en vocabularios de referencia compilados exclusivamente a partir de fuentes anteriores a 2015 (16,3 millones de formas superficiales de fuentes como WordNet, Wikcionario y Urban Dictionary).
3. Limpieza Basada en Patrones: Reglas independientes del idioma y específicas del idioma eliminan ruido, como la repetición excesiva de caracteres, cadenas de baja entropía y clusters fonotácticos poco probables.
4. Detección de Errores Tipográficos y Concatenación: Utilizando SymSpell, el sistema marca los tokens que probablemente sean errores ortográficos o concatenaciones sin espacios de palabras existentes, basándose en la distancia de edición y la segmentación frente a un diccionario de frecuencias.
5. Umbral de Frecuencia y Reintegración: Los tokens marcados como errores se reconsideran si aparecen con frecuencia (umbral ≥100 ocurrencias) en el corpus. Este mecanismo evita el descarte prematuro de neologismos genuinos de alta frecuencia que podrían parecerse a errores tipográficos (por ejemplo, vtuber).
6. Detección de Idioma Extranjero: Un detector de idiomas (Lingua) filtra los tokens identificados como no ingleses, aunque un umbral de confianza permite que los casos ambiguos procedan a la clasificación.
7. Clasificación con LLM: Los candidatos restantes se clasifican en cuatro categorías: Neologismo (palabras nuevas/jerga), Entidad (nombres propios), Extranjero (palabras no en inglés) y Ninguno (ruido residual).
   • Votación por Ensamble: Tres modelos de código abierto (Qwen 2.5 72B, LLaMA 3.3 70B, Mistral Large 2 123B) clasifican los tokens de forma independiente. Una votación mayoritaria determina la etiqueta.
   • Verificación: Un cuarto modelo (Claude 4.5 Haiku) actúa como un filtro de verificación estricto, reevaluando los candidatos de neologismo de la votación mayoritaria para reducir los falsos positivos.

Contribuciones Clave

1. Arquitectura de Pipeline Escalable: Un sistema modular capaz de procesar cientos de millones de tokens, reduciendo un conjunto de 124,6 millones de tokens a 1.021 candidatos (una relación de compresión de 122.031:1) adecuado para la verificación manual por expertos.
2. Fundamentación Teórica: El esquema de clasificación se deriva explícitamente de teorías de formación de palabras gramaticales y extra-gramaticales, asegurando que la etiqueta "neologismo" capture tanto innovaciones basadas en reglas como analógicas.
3. Evaluación Comparativa de LLM: Una evaluación sistemática de múltiples LLM en una tarea de clasificación de neologismos de cuatro clases, revelando un desacuerdo significativo entre modelos y demostrando el valor de los métodos de ensamblaje.
4. Conjunto de Datos Anotado: La publicación de una lista manualmente anotada de 1.021 candidatos de salida de la pipeline, que incluye etiquetas de oro, análisis de errores y clasificación por proceso de formación de palabras.

Resultados

Aplicada a las 527 millones de publicaciones de Reddit (2005–2024), la pipeline arrojó los siguientes resultados:

• Eficiencia de Filtrado: Las etapas basadas en reglas redujeron los 124,6 millones de tokens únicos iniciales en un 99,86%, dejando 174.973 candidatos para la clasificación con LLM.
• Desacuerdo entre Modelos: Hubo un desacuerdo sustancial entre los tres modelos de código abierto. LLaMA fue el más agresivo al predecir neologismos (12,2%), mientras que Mistral fue el más conservador (asignando un 59,9% a "ninguno"). El acuerdo unánime ocurrió solo en el 45,8% de los casos.
• Impacto de la Verificación: La votación mayoritaria produjo 10.499 candidatos de neologismo. El paso de verificación utilizando Claude 4.5 Haiku rechazó el 90,3% de estos, confirmando solo 897 como neologismos.
• Salida Final: Tras la verificación, quedaron 1.021 candidatos. La anotación manual confirmó que 599 (58,7%) eran innovaciones léxicas genuinas (465 neologismos y 134 entidades). Los 422 restantes fueron falsos positivos (361 "ninguno" y 61 tokens en idioma extranjero).
• Patrones de Formación de Palabras: Los 599 neologismos confirmados exhibieron diversos procesos de formación, incluidos procesos gramaticales estándar (prefijación, sufijación, composición) y procesos extra-gramaticales (fusión, morfología expresiva y formaciones analógicas como finfluencer y tradwife).
• Estimación de Recuperación: Basado en una lista de referencia de 103 neologismos documentados, la pipeline detectó 20 verdaderos positivos. Sin embargo, 48 fueron excluidos correctamente como formas anteriores a 2015, y 33 fueron falsos negativos. La recuperación para elementos genuinamente posteriores a 2015 fue del 37,7% (20/53), siendo la principal fuente de falsos negativos los conflictos de homógrafos en el vocabulario (por ejemplo, rizz como nombre de personaje frente al término de jerga).

Significado y Afirmaciones

El artículo posiciona la pipeline no como un clasificador perfecto, sino como un generador de candidatos de alta recuperación. Su significado principal radica en hacer viable la tarea de detección de neologismos para expertos humanos al comprimir un conjunto de datos inmanejable en un conjunto pequeño y verificable.

Los autores afirman que:

• La pipeline operacionaliza con éxito teorías lingüísticas complejas (Štekauer y Mattiello) en un flujo de trabajo computacional.
• La combinación de pre-filtrado basado en reglas y clasificación con LLM de múltiples modelos es necesaria para manejar el ruido inherente a los datos de redes sociales.
• El conjunto de datos resultante de 599 neologismos verificados proporciona un recurso valioso para estudiar los procesos contemporáneos de formación de palabras, capturando patrones desde la composición estándar hasta formas combinadoras "secretadas" analógicas (por ejemplo, -fluencer, -pilled).
• El análisis de errores destaca que las mejoras futuras deben centrarse en las etapas de filtrado más tempranas (vocabulario y tokenización) en lugar de en la clasificación aguas abajo, particularmente en lo que respecta a cambios semánticos y conflictos de homógrafos.

Los autores señalan explícitamente limitaciones, incluida la incapacidad de detectar expresiones de múltiples palabras, cambios semánticos (por ejemplo, Karen) o innovaciones no alfabéticas (algospeak), y reconocen que la instancia actual es específica del inglés, aunque la arquitectura está diseñada para ser transferible.