💬 NLP

Losing My Composure: Predicting Compositionality Over Time

Este artículo introduce un nuevo conjunto de datos y una tarea para predecir las tendencias diacrónicas de la composicionalidad de los compuestos nominales en alemán e inglés, revelando solo una ligera disminución de la transparencia a lo largo del tiempo y demostrando que los modelos semánticos entrenados en porciones de datos temporales estrechas y específicas superan a aquellos entrenados en ventanas históricas amplias al capturar estos cambios graduales.

Autores originales: Chris Jenkins, Emma Raimundo Schulz, Filip Miletić, Sabine Schulte im Walde

Publicado 2026-07-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chris Jenkins, Emma Raimundo Schulz, Filip Miletić, Sabine Schulte im Walde

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el lenguaje como una ciudad gigante y bulliciosa donde las palabras son como edificios. Algunos edificios son chozas simples hechas de un solo ladrillo; otros son rascacielos complejos construidos uniendo dos edificios más pequeños, como un "coffee house" (cafetería) o un "freight train" (tren de carga). Durante mucho tiempo, los lingüistas tuvieron una corazonada sobre estos rascacielos: pensaban que a medida que la ciudad envejeciera, estos edificios perderían lentamente su "plano". Creían que, a lo largo de los siglos, un "coffee house" dejaría de parecer una casa para café y empezaría a convertirse en una unidad extraña y misteriosa que simplemente tienes que memorizar, perdiendo su conexión con las palabras "coffee" y "house".

Este artículo es como un equipo de detectives viajeros en el tiempo que decidió poner a prueba esa corazonada. No se limitaron a mirar dos instantáneas de la ciudad (una del pasado y una de hoy); en su lugar, construyeron una cámara de alta velocidad que tomaba fotos cada década durante cientos de años. Se centraron en 23 palabras compuestas alemanas y 26 inglesas, como "bosom friend" o "Kaffeehaus", y pidieron a voluntarios humanos que calificaran, en una escala de 0 a 5, qué tanto el significado de la palabra completa coincidía con los significados de sus partes en cada década específica.

La gran sorpresa: El plano se mantiene intacto
Los detectives descubrieron que la vieja corazonada era mayormente errónea. No encontraron una tendencia masiva y generalizada en la ciudad donde estos edificios de palabras se estuvieran desmoronando hacia el misterio. De hecho, los cambios fueron tan diminutos que eran casi invisibles. Si midieras la "transparencia" de estas palabras a lo largo del tiempo, el cambio promedio era un ínfimo bache negativo (aproximadamente -0.016 para el inglés y -0.001 para el alemán). Es como revisar la altura de un rascacielos cada diez años y descubrir que no ha crecido ni disminuido ni siquiera por un grano de arena. El artículo sugiere que, contrariamente a la creencia popular, estas palabras compuestas generalmente mantienen sus "planos de construcción" intactos; no se vuelven necesariamente menos lógicas o más idiomáticas solo porque pase el tiempo.

Las cámaras viajeras en el tiempo
Para realizar estas mediciones, el equipo construyó alrededor de 100 "cámaras" diferentes (modelos computacionales) para simular cómo se entiende una palabra en diferentes épocas. Probaron dos tipos principales de cámaras:

Las cámaras "conscientes del contexto" (como el BERT moderno): Estas son lentes sofisticadas y de alta tecnología que observan las palabras que rodean a un objetivo para entender su significado, de la misma forma en que entiendes la palabra "banco" de manera diferente si está junto a "río" o "dinero".
Las cámaras "estáticas" (como Word2Vec): Estas son lentes más simples que dan a una palabra una definición única y fija basada en su historia, como una entrada de diccionario que nunca cambia.

También probaron cuánto "dato histórico" alimentar a estas cámaras. Algunas fueron alimentadas con un bloque masivo de 50 años de historia (una ventana "completa"), mientras que otras fueron alimentadas con un solo bloque de una década, o una ventana deslizante que crecía una década a la vez.

Los resultados: Menos es más
Aquí es donde la trama se complica. El equipo descubrió que las cámaras sofisticadas conscientes del contexto no necesariamente ganaron la carrera. De hecho, las cámaras estáticas más simples funcionaron igual de bien, e incluso mejor, al predecir cómo cambió la composiciónidad a lo largo del tiempo.

Más importante aún, el artículo argumenta que el tamaño de la historia que alimentas a la cámara importa mucho. Cuando entrenaron los modelos con un bloque masivo de 50 años de texto (el programa "completo"), los modelos se confundieron y perdieron de vista los cambios sutiles década tras década. Sin embargo, cuando los entrenaron con fragmentos estrechos de una sola década (el programa de "décadas"), los modelos se alinearon mucho mejor con las calificaciones humanas. Es como si intentar entender el ánimo de una ciudad leyendo un archivo de periódicos de 50 años fuera menos efectivo que leer el diario del día exacto en el que estás interesado. El artículo sugiere que, para rastrear estos cambios diminutos y graduales, necesitas hacer zoom en la década específica, no mezclarla con el pasado.

El veredicto
Entonces, ¿cuál es la palabra final? El artículo no pretende haber resuelto el misterio del lenguaje para siempre. En su lugar, sugiere que la idea de que los compuestos inevitablemente se vuelven "menos composicionales" con el tiempo es probablemente una exageración. Los cambios están ahí, pero son pequeños y desordenados, no una línea recta hacia abajo.

El estudio también nos advierte que, aunque los modelos de IA sofisticados son geniales, no siempre son la mejor herramienta para el trabajo de detective histórico. A veces, un modelo más simple entrenado en una porción de tiempo muy específica (solo una década) es más preciso que un modelo súper complejo entrenado con medio siglo de datos. Los autores midieron estos resultados utilizando puntuaciones estadísticas (como valores de R² alrededor de 0.36 para los mejores modelos en inglés), lo que muestra una coincidencia decente, pero no perfecta, entre las suposiciones de la computadora y las calificaciones humanas.

Al final, el artículo es un recordatorio de que el lenguaje es un viaje, pero para estos edificios de palabras específicos, el viaje no ha sido un colapso dramático hacia la confusión. Han mantenido mayormente sus planos originales, década tras década, demostrando que a veces, la forma más simple de mirar el pasado es mirarlo un año a la vez.

Resumen Técnico: Perdiendo mi compostura: Predicción de la composicionalidad a través del tiempo

Planteamiento del Problema

Este estudio investiga el cambio semántico de los compuestos nominales en alemán e inglés, centrándose específicamente en la evolución de su grado de composicionalidad (la transparencia de la relación entre el significado de un compuesto y sus constituyentes) a lo largo del tiempo. Los autores desafían la hipótesis predominante en la literatura de cambio semántico léxico (LSCD) de que los sustantivos compuestos tienden a volverse menos composicionales (más idiomáticos) con el tiempo, evolucionando de combinaciones transparentes a unidades opacas.

El trabajo existente en la Detección de Cambio Semántico Léxico (LSCD) se basa en gran medida en un paradigma de "dos eras" (comparando dos periodos de tiempo distintos), lo que puede oscurecer los cambios graduales. Además, los estudios diacrónicos previos sobre la composicionalidad se han visto limitados por la falta de datos de verdad fundamental (ground-truth) que abarquen múltiples pasos temporales. El artículo postula que los cambios semánticos interesantes no ocurren necesariamente en una única línea divisoria temporal, sino que se desarrollan gradualmente. En consecuencia, los autores introducen la tarea de Predicción de Tendencias de Composicionalidad (CTP), que tiene como objetivo modelar y predecir las calificaciones de composicionalidad a través de segmentos temporales finos (décadas) en lugar de agregar datos sobre amplios periodos de tiempo indiferenciados.

Metodología

Datos y Anotación

El estudio utiliza dos corpora diacrónicos:

Alemán: El Deutsches Textarchiv (DTA), que cubre 1680–1920.
Inglés: El Corpus of Historical American English (COHA), que cubre 1810–2000.

Los autores seleccionaron 23 compuestos nominales alemanes y 26 ingleses basados en la estabilidad de su frecuencia y la presencia de "puntos de inflexión" (décadas donde la frecuencia relativa cambia significamente). Para cada compuesto objetivo, muestrearon ejemplos en contexto de hasta cinco décadas rodeando estos puntos de inflexión.

Anotación: Los anotadores humanos calificaron la composicionalidad de cada instancia del compuesto en una escala de 0 a 5 para cada constituyente (modificador y núcleo).
Control de Calidad: El acuerdo entre anotadores se midió mediante el alfa de Krippendorff, con un filtrado post-hoc para eliminar anotadores con bajo nivel de acuerdo. El conjunto de datos resultante proporciona calificaciones por década y permite el cálculo de las tendencias de composicionalidad ( $\Delta$ ).

Configuración Experimental

Los autores entrenaron aproximadamente 100 modelos para cada tipo de representación, cubriendo diferentes segmentos de 1 a 5 décadas de los corpora. Evaluaron tres variables experimentales principales:

Tipo de Representación:
- Contextual: Modern BERT (entrenado desde cero con datos históricos) y 2nd-order Random Indexing.
- Estática: Word2Vec (CBOW y Skip-gram) y listas de asociación de Información Mutua de Punto por Punto (PMI).
Cronograma de Ventana Temporal:
- Completa (Full): Un único modelo entrenado en una ventana de 5 décadas.
- Décadas (Decades): Modelos separados entrenados en décadas individuales.
- Deslizante-Completa (Sliding-Full): Ventanas que se expanden incrementalmente (por ejemplo, [1940], [1940–1950], [1940–1960]).
Medidas de Similitud:
- PRT (Prototipo): Distancia de coseno entre vectores promediados.
- APD (Diferencia de Pares Promedio): Distancia de coseno promedio entre todos los pares.
- JSD (Divergencia de Jensen-Shannon): Aplicada a representaciones agrupadas (solo para modelos contextuales).

Métricas de Evaluación

Los modelos fueron evaluados frente a las anotaciones humanas utilizando dos métricas primarias:

Alineación ( $R^2$ ): Regresión lineal entre las puntuaciones de composicionalidad por década predichas y las calificaciones anotadas.
Predicción de Tendencia (Rho de Spearman): Correlación entre el ranking predicho por el modelo de los compuestos por grado de cambio y el ranking anotado de cambio ( $\Delta$ ).

Resultados Clave

Observaciones Empíricas sobre las Tendencias de Composicionalidad (RQ1)

Contrario a la hipótesis de que los compuestos generalmente se vuelven menos composicionales con el tiempo, los datos anotados revelan ninguna tendencia general decisiva.

Alemán: El $\Delta$ medio fue $-0.0012$.
Inglés: El $\Delta$ medio fue $-0.0161$.
Los cambios observados fueron extremadamente pequeños, a menudo menores que la varianza entre décadas consecutivas. Aunque ciertos compuestos específicos (como Donnerwetter en alemán) mostraron desplazamientos hacia la no-composicionalidad, los datos agregados no respaldan una regla universal de deriva semántica hacia la opacidad.

Rendimiento Computacional (RQ2)

Los experimentos abordaron si los modelos contextuales con datos temporales finos superan a los modelos estáticos con datos gruesos.

Granularidad Temporal: Los modelos entrenados en ventanas temporales más estrechas (específicamente los cronogramas de décadas y deslizante-completa) superaron consistentemente a aquellos entrenados en la ventana completa de 5 décadas. Esto sugiere que agregar datos durante periodos largos diluye las señales semánticas específicas necesarias para una predicción precisa de la composicionalidad.
Complejidad de la Representación: Las representaciones estáticas (Word2Vec, PMI) fueron competitivas y, en algunos casos, superaron a las complejas representaciones contextuales (Modern BERT).
- En inglés, Modern BERT con cronogramas de décadas alcanzó los puntajes de $R^2$ más altos (0.363).
- En alemán, 2nd-order Random Indexing y Skip-gram funcionaron mejor.
- La ganancia de rendimiento de BERT no justificó el costo computacional de entrenarlo desde cero con datos históricos.
Medidas de Similitud: Las medidas de agregación (PRT y APD) generalmente superaron a las medidas basadas en agrupamiento (JSD). El enfoque de agrupamiento, particularmente con los embeddings de BERT, produjo los peores resultados.

Contribuciones

Dataset y Tarea: La introducción de un nuevo dataset de calificaciones de composicionalidad en contexto a través de múltiples décadas para el alemán y el inglés, permitiendo la tarea de Predicción de Tendencias de Composicionalidad (CTP).
Hallazgos Empíricos: Una refutación de la hipótesis de "deriva universal hacia la no-composicionalidad" basada en la anotación diacrónica, mostrando que las tendencias son insignificantes y altamente específicas de cada compuesto.
Perspectivas de Modelado: Evidencia de que para tareas semánticas sensibles al tiempo, las ventanas de entrenamiento temporales más finas son más críticas que la complejidad del modelo. El estudio demuestra que modelos estáticos más simples entrenados en segmentos temporales estrechos pueden ser tan efectivos como, o mejores que, los modelos contextuales complejos entrenados con datos agregados.

Significado y Reivindicaciones

El artículo afirma que la tarea CTP codifica con éxito las dependencias temporales, demostando que evaluar términos objetivo dentro de sus propias ventanas temporales específicas ("en su propio viaje a través de los tiempos") produce un mejor alineamiento con los cambios semánticos históricos que el modelado amplio y agregado.

Los autores concluyen modestamente que, si bien sus métodos pueden detectar cambios semánticos en compuestos específicos, la tarea es inherentemente difícil debido a la inestabilidad de los significados de los constituyentes a lo largo del tiempo. Advierten contra la sobreinterpretación de las listas de asociación sin una lectura cercana, señalando que los sesgos modernos pueden influir en la interpretación de los datos históricos. En última instancia, el estudio sugiere que para el modelado de cambios semánticos en escenarios históricos de pocos datos, las representaciones más simples con alta resolución temporal son preferibles a los modelos complejos y agregados.