💬 NLP

CALE : Concept-Aligned Embeddings for Both Within-Lemma and Inter-Lemma Sense Differentiation

Este artículo presenta los Concept-Aligned Embeddings (CALE), un enfoque novedoso que extiende el ajuste fino de Word-in-Context para incluir escenarios de inter-lema mediante una nueva tarea y un nuevo conjunto de datos de Diferenciación de Conceptos, resultando en modelos que alcanzan el estado del arte en tareas de semántica léxica al tiempo que mejoran la organización espacial de los embeddings.

Autores originales: Bastien Liétard, Gabriel Loiseau

Publicado 2026-01-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bastien Liétard, Gabriel Loiseau

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca gigante de libros, y dentro de cada libro, las palabras son como actores en un escenario. A veces, el mismo actor (una palabra) interpreta diferentes papeles (sentidos) dependiendo de la escena (contexto). Otras veces, diferentes actores (distintas palabras) interpretan exactamente el mismo papel.

Durante mucho tiempo, los programas informáticos que intentaban comprender el lenguaje eran como directores de escena que solo prestaban atención a un actor a la vez. Podían decirte si la palabra "banco" se refería a un lugar para guardar dinero o a la orilla de un río, pero les costaba darse cuenta de que "banco" e "institución financiera" estaban interpretando en realidad el mismo papel en la historia.

Este artículo presenta una nueva forma de enseñar a las computadoras a entender el lenguaje llamada CALE (Embeddings Alineados con Conceptos). Así es como funciona, desglosado de forma sencilla:

1. La forma antigua vs. La forma nueva

La forma antigua (Palabra en contexto): Imagina a un profesor preguntándole a un estudiante: "¿La palabra 'murciélago' significa el animal o el equipo deportivo en estas dos frases?". El estudiante solo compara la palabra consigo misma. Esto es como mirar únicamente los cambios de vestuario de un actor.
La forma nueva (Diferenciación de conceptos): Los autores dicen: "Miremos a todo el elenco". Le preguntan a la computadora: "¿Significan estas dos palabras lo mismo, aunque se escriban de forma diferente, en esta escena específica?".
- Ejemplo: En una frase, "El médico diagnosticó al paciente". En otra, "El médico identificó la enfermedad".
- La forma antigua podría tener dificultades para ver que "diagnosticó" e "identificó" están haciendo el mismo trabajo aquí. La nueva forma está entrenada específicamente para detectar esa conexión.

2. El campamento de entrenamiento (El conjunto de datos)

Para enseñar a la computadora esta nueva habilidad, los autores construyeron un campamento de entrenamiento especial llamado SPCD.

Tomaron una colección masiva de textos (SemCor) donde las palabras ya estaban etiquetadas con sus "significados" (conceptos).
Crearon millones de pares de frases. Algunos pares usaban la misma palabra con el mismo significado (por ejemplo, "banco" como dinero en ambos casos). Otros usaban la misma palabra con diferentes significados (por ejemplo, "banco" como dinero frente a "banco" como orilla de un río).
Crucialmente, también emparejaron diferentes palabras que significaban lo mismo (por ejemplo, "banco" e "institución financiera").
El trabajo de la computadora era simple: mirar dos usos de palabras y decir "Sí, son el mismo concepto" o "No, son conceptos diferentes".

3. El resultado: CALE

Después de entrenar en esta tarea de "Diferenciación de Conceptos", los modelos de computadora se convirtieron en CALE.

La magia: Antes del entrenamiento, el mapa interno de palabras de la computadora era un poco desordenado. Las palabras que sonaban o se veían similares a menudo se agrupaban juntas, incluso si significaban cosas distintas.
El cambio: Después del entrenamiento, la computadora reorganizó su mapa. Ahora, las palabras que comparten el mismo concepto (la idea detrás de ellas) se atraen entre sí, como imanes.
- Si dos palabras significan lo mismo, se sientan en el mismo vecindario, incluso si se escriben de forma diferente.
- Si una palabra tiene dos significados (como "murciélago"), esos dos significados se alejan, para que la computadora no se confunda.

4. ¿Funcionó?

Los autores probaron estos nuevos modelos contra modelos antiguos y famosos (como XL-LEXEME) en varios desafíos:

La prueba de la "Misma Palabra": ¿Puede distinguir si "murciélago" significa el animal en dos frases diferentes? Sí, fue muy bueno.
La prueba de la "Diferente Palabra": ¿Puede distinguir que "rápido" y "veloz" significan lo mismo en una frase específica? Sí, fue mejor que los modelos anteriores.
La prueba del "Viaje en el Tiempo": ¿Puede detectar si el significado de una palabra ha cambiado con el tiempo (por ejemplo, cómo la palabra "ratón" antes significaba solo un animal, pero ahora también significa un dispositivo de computadora)? Sí, funcionó tan bien como o mejor que las mejores herramientas existentes.

5. El panorama general

El hallazgo más interesante trata sobre la forma de la mente de la computadora.

Antes del entrenamiento, la mente de la computadora estaba organizada en torno a las palabras (lemas). Pensaba: "Esta es la palabra 'correr', así que pertenece aquí".
Después del entrenamiento, la mente de la computadora se organizó en torno a las ideas (conceptos). Piensa: "Esta es la idea de 'moverse rápidamente', así que estas palabras pertenecen aquí".

Los autores concluyen que, al enseñar a la computadora a mirar el panorama general del significado (conceptos) en lugar de solo el panorama pequeño de la ortografía (palabras), crearon una herramienta más flexible y precisa para comprender el lenguaje. Han puesto los datos y los nuevos modelos a disposición de los demás, con la esperanza de que ayuden en la investigación futura sobre cómo las computadoras comprenden los matices del habla humana.

Resumen Técnico: CALE – Embeddings Alineados con Conceptos para la Diferenciación de Sentidos Tanto Intra-Lema como Inter-Lema

Planteamiento del Problema

La investigación actual en semántica léxica computacional se basa fuertemente en modelos de lenguaje contextualizados (p. ej., BERT, XLM-R) para estudiar el significado de las palabras. Sin embargo, los modelos preentrenados estándar suelen utilizarse sin un ajuste fino específico para la semántica léxica debido a la falta de datos anotados. Los enfoques de ajuste fino existentes, como los destinados a la tarea de Palabra en Contexto (WiC - Word-in-Context), son limitados porque solo comparan ocurrencias del mismo lema. En consecuencia, estos modelos capturan la variación de sentido intra-palabra (polisemia), pero no logran modelar las relaciones semánticas inter-palabra (sinonimia) o la estructura más amplia del significado léxico donde diferentes palabras instancian el mismo concepto subyacente.

Los autores argumentan que para lograr una perspectiva superior, el enfoque debe desplazarse de los "sentidos de las palabras" (usos convencionalizados de un lema específico) hacia los "conceptos semánticos" (representaciones mentales de categorías, similares a las entradas de Wikipedia o los synsets de WordNet). Existe la necesidad de un modelo que pueda generar representaciones vectoriales multipropósito donde las ocurrencias que instancian el mismo concepto sean similares, independientemente de si comparten el mismo lema.

Metodología

1. Definición de la Tarea: Diferenciación de Conceptos

El artículo introduce la Diferenciación de Conceptos, una tarea de clasificación binaria que generaliza a WiC. Dada dos ocurrencias de palabras, el modelo debe determinar si instancian el mismo concepto semántico.

Alcance: A diferencia de WiC, esta tarea incluye tanto pares intra-lema (misma palabra, diferentes sentidos) como pares inter-lema (diferentes palabras, mismos o diferentes conceptos).
Objetivo: Entrenar modelos que aprendan a comparar usos en contexto, capturando distinciones semánticas sutiles o consistencias a través del corpus.

2. Conjunto de Datos: SPCD (Pares de SemCor para la Diferenciación de Conceptos)

Para apoyar esta tarea, los autores construyeron un nuevo conjunto de datos derivado de SemCor (Miller, 1995), utilizando synsets de WordNet como etiquetas de concepto.

Construcción: El conjunto de datos incluye 70.3k ocurrencias para 1,902 lemas objetivo que cubren 5,899 conceptos.
Estrategia de Emparejamiento: Los pares se muestrean para asegurar una evaluación rigurosa de la generalización. El conjunto de datos se divide mediante subconjuntos disjuntos de conceptos y lemas (5% para validación, 10% para prueba) para evitar que los modelos memoricen asociaciones palabra-concepto.
Categorías: Los pares están etiquetados según cuatro categorías:
- Mismo Concepto / Mismo Lema (SC/SL)
- Mismo Concepto / Diferente Lema (SC/DL)
- Diferente Concepto / Mismo Lema (DC/SL)
- Diferente Concepto / Diferente Lema (DC/DL)
Equilibrio: El conjunto de prueba contiene 44k pares con una distribución de etiquetas de aproximadamente 40% positivos (mismo concepto).

3. Arquitectura del Modelo: CALE (Embeddings Alineados con Conceptos)

Los autores proponen CALE, una familia de modelos a nivel de token ajustados para la Diferenciación de Conceptos.

Arquitectura: Basada en una arquitectura siamesa inspirada en SentenceBERT. Utiliza un modelo de lenguaje contextualizado preentrenado (p. ej., XLM-R, ModernBERT) seguido de una capa de pooling para producir vectores de dimensión fija.
Objetivo de Entrenamiento: Se utiliza una función de pérdida contrastiva (contrastive loss) para maximizar la similitud de coseno para los pares positivos (mismo concepto) y minimizarla para los pares negativos (conceptos diferentes), imponiendo un margen $m$ para los pares disímiles.
Manección de la Entrada: Para aislar el significado de la palabra objetivo dentro de una oración, se colocan delimitadores especiales <t> y </t> alrededor de la palabra objetivo. El modelo aprende a basar el contraste en el significado de la palabra delimitada, asegurando que el embedding represente la ocurrencia específica de la palabra objetivo en lugar de toda la oración.

Contribuciones Clave

Tarea de Diferenciación de Conceptos: Una nueva tarea supervisada que unifica el estudio de la polisemia (dentro del lema) y la sinonimia (entre lemas) bajo un único marco de alineación conceptual.
Dataset SPCD: Un conjunto de datos construido rigurosamente con una separación estricta de entrenamiento/validación/prueba basada en conceptos y lemas, permitiendo la evaluación de la generalización a significados y elementos léxicos no vistos.
Modelos CALE: Un conjunto de modelos ajustados que demuestran que el entrenamiento en Diferenciación de Conceptos produce representaciones léxicas eficientes y multipropósito.
Análisis del Espacio de Embeddings: Evidencia de que el ajuste fino de CALE desplaza el espacio de representación de ser centrado en el lema a ser centrado en el concepto.

Resultados Experimentales

Los autores evaluaron los modelos CALE frente a las líneas base (XLM-R, XL-LEXEME) en tres tareas de semántica léxica:

1. Diferenciación de Conceptos (Conjunto de Prueba SPCD)

Desempeño: Los modelos CALE alcanzaron la mayor precisión balanceada (79.3%), superando a la fuerte línea base multilingüe XL-LEXEME (76.7%) y al XLM-R puro (70.9%).
Generalización: Los modelos CALE funcionaron bien tanto en pares de Mismo Lema (SL) como de Diferente Lema (DL), demostrando la capacidad de manejar tanto la polisemia como la sinonimia.
Transferencia Multilingüe: A pesar de haber sido ajustados finamente solo con datos en inglés, los modelos CALE basados en XLM-R se desempeñaron competitivamente en benchmarks no ingleses, aprovechando las capacidades cross-lingüísticas del modelo base.

2. Detección de Cambio Semántico Léxico (LSCD)

Tarea: Detectar cambios de significado de una sola palabra a través de periodos de tiempo (Grafos de Uso de Palabras Diacrónicas).
Resultados: Los modelos CALE igualaron o superaron ligeramente a XL-LEXEME en 5 de 6 idiomas (p. ej., inglés, alemán, sueco).
Implicación: El objetivo más amplio de Diferenciación de Conceptos no degradó el desempeño en la tarea de LSCD, que es más estrecha y centrada en el lema; de hecho, pareció mejorar la detección del cambio semántico.

3. Similitud Léxica en Contexto (CoSimLex)

Tarea: Predecir la similitud de dos palabras distintas en contextos específicos.
Resultados: Los modelos CALE alcanzaron los puntajes de correlación más altos en todos los idiomas y subtareas (Cambios Contextuales y Calificaciones de Similitud), superando consistentemente a XLM-R y a menudo igualando o excediendo a XL-LEXEME.
Significancia: Esto confirma que CALE captura efectivamente las relaciones semánticas inter-palabra, una capacidad en la que se esperaba que los modelos entrenados con WiC (como XL-LEXEME) tuvieran dificultades.

4. Análisis de Organización Espacial

Cambio hacia el Centro del Concepto: El análisis de las distribuciones de distancia de coseno reveló que CALE logra revertir la tendencia de los modelos base donde los pares polisémicos (DC/SL) son más cercanos que los pares sinónimos (SC/DL). En CALE, los pares sinónimos son más cercanos, lo que indica un cambio hacia una organización centrada en el concepto.
Alineación con WordNet: Los embeddings de CALE mostraron la correlación de Spearman más alta (>0.50) con las similitudes Wu-Palmer en WordNet, indicando una alineación más fuerte con las jerarquías conceptuales establecidas que otros modelos.
Clustering: Los modelos CALE produjeron los puntajes de Silueta más altos, sugiriendo un mejor agrupamiento conceptual, aunque los puntajes permanecieron bajos en general debido a la gran granularidad de los synsets de WordNet.

Significancia y Reivindicaciones

El artículo sostiene que la Diferenciación de Conceptos sirve como una señal de entrenamiento prometedora y de propósito general para la semántica léxica. La principal significancia radica en la demostración de que un único objetivo de ajuste fino puede producir representaciones efectivas para:

Aplicaciones multipropósito: Manejar tanto tareas intra-lema (sentido) como inter-lema (concepto).
Transferencia cross-lingual: Lograr un fuerte desempeño en tareas no inglesas a pesar del ajuste fino exclusivo en inglés.
Alineación estructural: Organizar el espacio de embeddings para reflejar la estructura conceptual de recursos como WordNet de manera más precisa que los modelos de vanguardia anteriores.

Los autores conclizan que pasar de un enfoque de "sentido de la palabra" a uno de "concepto semántico" permite a los modelos capturar la estructura más amplia del significado léxico, haciendo de CALE una herramienta valiosa para estudios que mapean formas de palabras a conceptos y diversas aplicaciones de semántica léxica computacional.

Limitaciones

Los autores reconocen varias limitaciones:

Escasez de Datos: El ajuste fino se realizó exclusivamente con datos en inglés; la robustez en lenguas de bajos recursos o tipológicamente distantes no ha sido evaluada exhaustivamente.
Simplificación Binaria: La naturaleza binaria de la tarea puede simplificar excesivamente la similitud semántica, que suele ser graduada.
Falta de Supervisión Ontológica: Los modelos no reciben supervisión directa respecto a las jerarquías ontológicas (p. ej., hiperonimia) o relaciones finas más allá de la coincidencia binaria de conceptos.
Escalabilidad: El estudio se centró en modificaciones arquitectónicas en lugar de escalar los parámetros del modelo o las dimensiones de los embeddings.