💬 NLP

Rethinking Metrics for Lexical Semantic Change Detection

Este artículo propone las nuevas métricas AMD y SAMD para la detección de cambios semánticos léxicos, demostrando que ofrecen un rendimiento más robusto y preciso que las métricas tradicionales (APD y PRT) al evaluar cambios semánticos en representaciones de modelos de lenguaje contextualizados.

Autores originales: Roksana Goworek, Haim Dubossarsky

Publicado 2026-02-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Roksana Goworek, Haim Dubossarsky

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que el lenguaje es como un río que fluye a través del tiempo. Las palabras son piedras en ese río. A veces, una piedra se queda quieta, pero otras veces, el agua la mueve, la erosiona o cambia su forma. Detectar el cambio semántico es como intentar medir exactamente cómo ha cambiado la forma de esas piedras (palabras) entre el año 1900 y el año 2020.

Este artículo de investigación propone una nueva forma de medir esos cambios, criticando las herramientas antiguas y presentando dos nuevas "reglas de medición" que funcionan mucho mejor.

Aquí tienes la explicación sencilla:

1. El Problema: Las reglas viejas son demasiado "torpes"

Hasta ahora, los científicos usaban dos métodos principales para ver si una palabra había cambiado:

El método del "Promedio Global" (APD): Imagina que tomas todas las veces que la gente usó la palabra "banco" en 1900 y todas las veces en 2020. Luego, calculas la distancia promedio entre todas las oraciones de 1900 y todas las de 2020. Es como medir la distancia promedio entre dos nubes de gente.
- El defecto: Si la mayoría de la gente sigue usando la palabra igual, pero un pequeño grupo empieza a usarla con un significado totalmente nuevo (por ejemplo, "banco" de peces vs. "banco" de dinero), el promedio se pierde. La nueva nube pequeña se diluye en la gran nube vieja y el cambio no se nota.
El método del "Centro de Gravedad" (PRT): Aquí tomas todas las oraciones de 1900 y calculas un solo punto central (el centroide). Haces lo mismo con 2020 y mides la distancia entre esos dos puntos centrales.
- El defecto: Es como decir que el "centro" de una ciudad es el punto medio entre el norte y el sur. Si la ciudad crece solo hacia el este, el centro se mueve, pero no te dice qué pasó en el este. Pierdes los detalles.

2. La Solución: Dos nuevas reglas de medición

Los autores proponen dos nuevas métricas que miran más de cerca, como si usaras una lupa en lugar de un telescopio.

A. AMD (Distancia Mínima Promedio): "El juego de las parejas"

Imagina que tienes dos grupos de personas: los que usaron la palabra en 1900 y los que la usaron en 2020.

Cómo funciona: Tomas a cada persona del grupo de 1900 y le preguntas: "¿Quién del grupo de 2020 se parece más a ti?". Mides la distancia a esa persona más cercana. Luego haces lo mismo para todos.
La analogía: Es como un baile donde cada persona busca su pareja más parecida en el otro grupo. Si alguien del grupo antiguo no encuentra nadie parecido en el grupo nuevo, significa que esa forma de usar la palabra ha desaparecido o cambiado drásticamente.
Por qué es mejor: Detecta cambios pequeños. Si un grupo pequeño de personas en 1900 se fue a un rincón nuevo en 2020, esta regla lo ve inmediatamente, porque esa persona "no tiene pareja" en su lugar habitual.

B. SAMD (Distancia Mínima Simétrica): "El juego de las parejas estrictas"

Es una versión más estricta de la anterior.

Cómo funciona: Aquí no permitimos que dos personas del grupo antiguo se emparejen con la misma persona del grupo nuevo. Es un emparejamiento uno a uno. Si hay 100 personas en 1900 y 100 en 2020, hacemos 100 parejas perfectas.
La analogía: Es como un matrimonio forzado donde nadie puede tener dos cónyuges. Si el grupo ha cambiado mucho, las parejas serán muy extrañas y la "distancia" entre ellas será grande.
Por qué es mejor: Es muy bueno para ver cambios en la estructura general de cómo se usa la palabra, asegurando que no haya "hubs" (personas muy populares que arruinen el promedio).

3. El Experimento: ¿Funcionan en la vida real?

Los autores probaron estas nuevas reglas con:

7 idiomas (inglés, alemán, chino, latín, etc.).
Múltiples "cerebros" de IA (modelos de lenguaje).
Distintos escenarios: Desde usar la IA completa hasta usar versiones "reducidas" o simplificadas (como si la IA tuviera menos memoria o estuviera más cansada).

Los resultados sorprendentes:

Resistencia a la "pérdida de memoria": Cuando simplificaron la información (redujeron la dimensionalidad), las reglas viejas (Promedio y Centroide) fallaron estrepitosamente, como si se olvidaran de todo. Las nuevas reglas (AMD y SAMD) siguieron funcionando bien, como un buen navegante que no se pierde aunque le quiten el mapa.
Mejor con definiciones humanas: Cuando tradujeron los datos a un espacio basado en definiciones de diccionario (algo más humano y menos matemático), AMD brilló especialmente.
No hay una solución única: Depende de qué IA uses y qué idioma sea, pero las nuevas reglas son más estables y confiables en casi todos los casos.

Conclusión: ¿Qué nos dice esto?

El mensaje principal es que no debemos confiar ciegamente en los promedios.

Si quieres entender cómo cambia el lenguaje (por ejemplo, cómo la palabra "nube" pasó de ser algo en el cielo a ser un servicio de internet), no basta con mirar el "promedio" de todo el uso. Necesitas mirar cómo se emparejan los usos individuales.

Las nuevas herramientas (AMD y SAMD) son como unas gafas de aumento que nos permiten ver los cambios sutiles, las nuevas acepciones que nacen y las viejas que mueren, incluso cuando la información está incompleta o ruidosa. Nos recuerdan que el lenguaje es una colección de millones de pequeñas decisiones individuales, no solo una gran nube de datos.

Resumen Técnico: Rethinking Metrics for Lexical Semantic Change Detection

1. Problema y Contexto

La detección de cambio semántico léxico (LSCD, por sus siglas en inglés) busca cuantificar automáticamente cómo evolucionan los significados de las palabras a lo largo del tiempo utilizando corpus diacrónicos. Con el auge de los modelos de lenguaje contextualizados (como BERT y sus variantes), el campo ha pasado de representaciones estáticas a embeddings de nivel de uso (cada ocurrencia de una palabra se codifica como un vector).

Sin embargo, la mayoría de los enfoques actuales dependen de un conjunto limitado de métricas para cuantificar el cambio, principalmente:

Distancia Promedio Pareada (APD): Calcula la distancia media entre todos los pares de usos cruzados entre dos corpus.
Distancia de Prototipos (PRT): Calcula la distancia entre los centroides (promedios) de las distribuciones de usos en cada periodo.

La limitación principal: Estas métricas agregan información globalmente. Esto puede ocultar fenómenos localizados, como la emergencia de un nuevo sentido, la desaparición de uno antiguo o cambios que afectan solo a un subconjunto minoritario de usos. Además, estas métricas globales son muy sensibles a la reducción de dimensionalidad y a la calidad de los encoders, lo que limita su robustez en escenarios de descubrimiento a gran escala o con recursos limitados.

2. Metodología Propuesta

Los autores introducen dos nuevas métricas basadas en la correspondencia local entre usos de palabras en diferentes periodos temporales:

Distancia Mínima Promedio (AMD - Average Minimum Distance):
- Para cada uso en un corpus, mide la distancia a su vecino más cercano en el otro corpus.
- Calcula el promedio de estas distancias mínimas en ambas direcciones ( $A \to B$ y $B \to A$ ).
- Ventaja: Captura cambios locales y permite una descomposición direccional (analizar si los usos antiguos se explican bien por los nuevos y viceversa), lo que ayuda a detectar asimetrías como la ampliación o estrechamiento de sentidos.
Distancia Mínima Promedio Simétrica (SAMD - Symmetric Average Minimum Distance):
- Una variante que impone una correspondencia uno a uno entre las instancias de uso de ambos periodos.
- Utiliza un algoritmo voraz (o de emparejamiento óptimo) para alinear los usos minimizando la distancia total, evitando que múltiples puntos se mapeen al mismo vecino (problema de "hubness").
- Ventaja: Es más sensible a los cambios en la forma de la distribución y a los desplazamientos de concentración, mitigando el ruido en espacios dominados por hubs.

Configuración Experimental:

Datos: Evaluación en 7 idiomas (Inglés, Alemán, Sueco, Latín, Español, Noruego, Chino) utilizando benchmarks estándar (SemEval-2020, LSCDiscovery, etc.).
Modelos: Se probaron con una variedad de encoders:
- Especializados: XL-LEXEME (ajustado finamente para LSCD).
- Multilingües genéricos: XLM-RoBERTa, mmBERT, RemBERT, mE5.
- Monolingües: RoBERTa (EN), GBERT (DE), etc.
Espacios de Representación:
- Espacio completo de embeddings.
- Espacio basado en definiciones (generadas por LLMs, proyectando embeddings a distancias coseno respecto a definiciones textuales).
- Espacios reducidos mediante PCA (Análisis de Componentes Principales) y selección aleatoria de dimensiones.

3. Contribuciones Clave

Nuevas Métricas: Introducción de AMD y SAMD como alternativas robustas a APD y PRT, fundamentadas en la correspondencia local en lugar de la agregación global.
Análisis de Robustez: Demostración de que las métricas basadas en correspondencia local (AMD/SAMD) son significativamente más estables que las globales cuando se aplican a espacios de baja dimensionalidad o con encoders no especializados.
Espacios Interpretables: Validación de que las métricas propuestas funcionan excepcionalmente bien en espacios basados en definiciones, permitiendo un análisis semántico más humano y transparente.
Herramientas Abiertas: Liberación de código, resultados y definiciones generadas para reproducir los experimentos y construir espacios basados en definiciones.

4. Resultados Principales

Rendimiento General: AMD y SAMD muestran un rendimiento superior y más estable (menor varianza) que APD y PRT en todos los tipos de espacios de representación (completo, definido, PCA, aleatorio).
Resistencia a la Reducción de Dimensionalidad:
- APD y PRT colapsan drásticamente (correlaciones cercanas a cero) bajo reducción de dimensionalidad (PCA o selección aleatoria).
- AMD y SAMD mantienen correlaciones significativas (alrededor de 0.40) incluso con muy pocas dimensiones (hasta 4 dimensiones), demostrando que no dependen tanto de la estructura geométrica de alta dimensión.
Impacto del Encoder:
- Con encoders especializados (XL-LEXEME), SAMD con reducción PCA obtuvo el mejor rendimiento global.
- Con encoders no especializados (multilingües o monolingües sin ajuste fino), AMD en el espacio basado en definiciones obtuvo el mejor rendimiento, superando a todas las combinaciones de métricas globales.
Espacio Basado en Definiciones: AMD es la única métrica que mejora significativamente al proyectar los datos a un espacio de definiciones, sugiriendo que el cambio semántico en este espacio se captura mejor mediante la alineación de la forma de las distribuciones que por sus concentraciones.

5. Significado e Implicaciones

Repensar la Evaluación: El trabajo argumenta en contra de un enfoque "talla única" para las métricas de cambio semántico. La elección de la métrica debe depender del tipo de encoder, la calidad de la representación y el objetivo (descubrimiento vs. evaluación de benchmark).
Descubrimiento Realista: Las métricas globales (APD/PRT) pueden ser vulnerables a confundir variación temática con cambio semántico real en grandes vocabularios. AMD y SAMD, al centrarse en la correspondencia local, ofrecen una herramienta más robusta para el descubrimiento de cambios semánticos en escenarios no curados.
Interpretabilidad: Al funcionar bien en espacios de baja dimensión y basados en definiciones, estas métricas facilitan el paso de enfoques de "caja negra" a análisis cualitativos más profundos y comprensibles por humanos sobre cómo y por qué cambian los significados.
Complementariedad: AMD y SAMD no deben verse como reemplazos absolutos, sino como adiciones complementarias al toolkit metodológico, especialmente útiles para idiomas con pocos recursos, dominios especializados o cuando se requiere robustez frente al ruido en los datos.

En conclusión, el artículo establece que las métricas basadas en la correspondencia local de usos (AMD/SAMD) ofrecen una estimación más robusta y flexible del cambio semántico, superando las limitaciones de las métricas de agregación global tradicionales, especialmente en condiciones de representación restringida o con modelos de lenguaje generales.