DHPLT: large-scale multilingual diachronic corpora and word representations for semantic change modelling

1. El Problema

El modelado computacional del cambio semántico diacrónico (rastrear cómo cambian los significados de las palabras a lo largo del tiempo) depende críticamente de la disponibilidad de corpus diacrónicos (textos anotados con su fecha de creación). Sin embargo, existen varias limitaciones significativas en el estado actual del campo:

• Escasez de recursos multilingües: La mayoría de los proyectos de detección de cambio semántico léxico (LSCD) se limitan a un puñado de idiomas de alto recurso (principalmente inglés, alemán, latín y sueco), con una fuerte sobrerrepresentación de la familia indoeuropea.
• Falta de corpus estandarizados y abiertos: Para la gran mayoría de las lenguas del mundo, no existen corpus diacrónicos de tamaño adecuado, calidad y licencia permisiva. Los recursos existentes suelen ser archivos históricos manuales (periódicos, bibliotecas nacionales) que son difíciles de escalar.
• Barreras de entrada: La necesidad de crear representaciones semánticas (incrustaciones) y seleccionar palabras objetivo consume recursos computacionales que limitan la experimentación rápida.

2. Metodología

Los autores proponen DHPLT ("Diachronic HPLT"), una colección estandarizada de corpus diacrónicos construida a partir de los datos de la web del proyecto HPLT (High-Performance Language Technologies).

A. Construcción del Corpus

• Fuente de datos: Se utilizan los datos web raspados (web-crawled) de HPLT v3.0.
• Señal temporal: Dado que es imposible etiquetar manualmente la fecha de creación de cada documento web (y las fechas en el HTML son poco fiables), se utiliza la marca de tiempo del raspado web (crawling timestamp) como señal temporal. Esto establece un límite superior: si un documento fue raspado en 2015, no pudo haber sido creado después de esa fecha.
• Periodos temporales: Se seleccionaron tres periodos con brechas de al menos dos años para facilitar la detección de cambios:
  1. 2011-2015 (Periodo temprano).
  2. 2020-2021 (Periodo de la pandemia).
  3. 2024-presente (Raspados más recientes).
• Selección de idiomas: Se filtraron los 198 idiomas de HPLT v3.0 basándose en dos criterios:
  1. Disponibilidad de al menos 0.5 millones de documentos por periodo temporal.
  2. Existencia de un modelo codificador-decodificador monolingüe T5 correspondiente en HPLT.
  • Resultado: 41 idiomas de 12 familias lingüísticas diferentes.

B. Extracción de Datos

• Se muestrearon aleatoriamente 1 millón de documentos por idioma y periodo (0.5 millones si no había suficiente disponibilidad).
• El formato final es JSONL comprimido, con un tamaño total de ~170 GB y ~59 mil millones de palabras.

C. Selección de Palabras Objetivo (Target Words)

Para facilitar el uso inmediato, se seleccionó un subconjunto del vocabulario para cada idioma:

• Filtrado: Se partió del vocabulario de los modelos T5 de HPLT, eliminando subpalabras (word pieces) y tokens infrecuentes.
• Criterios: Se mantuvieron solo sustantivos, verbos y adjetivos escritos en el guion principal del idioma, con una frecuencia mínima de 10 apariciones por periodo temporal.
• Lematización: Se agruparon las formas flexionadas bajo un lema común.
• Cantidad: Promedio de ~18,600 palabras objetivo por idioma.

D. Representaciones Semánticas Generadas

El recurso incluye representaciones precalculadas para evitar el costo computacional de generarlas:

1. Incrustaciones de tokens contextualizados:
   • Modelos T5 monolingües (HPLT v3.0).
   • Modelo multilingüe XLM-R.
   • Modelos GPT-BERT monolingües (HPLT v3.0).
   • Se generaron 1000 muestras aleatorias por palabra para T5/XLM-R y 100 para GPT-BERT.
2. Sustituciones léxicas (Lexical Substitutes):
   • Generadas usando modelos GPT-BERT (los modelos T5 no son óptimos para esto debido a su objetivo de enmascaramiento de spans).
   • Se proporcionan los 15 sustitutos principales para 100 muestras de cada palabra objetivo.
3. Incrustaciones estáticas de tipos de palabras (Word Type Embeddings):
   • Modelos Word2Vec (SGNS) entrenados desde cero en los corpus DHPLT.
   • Dimensiones: 300, ventana de 10, 5 épocas.
   • Alineación: Los espacios vectoriales de los periodos 1 y 2 se alinearon al espacio del periodo 3 utilizando la técnica de Alineación Procrustea para permitir la comparación directa de similitudes entre periodos.
4. Conteos de frecuencia: Estadísticas de uso de las palabras objetivo en los tres periodos.

3. Resultados y Validación

Los autores realizaron una "comprobación de sanidad" (sanity check) para demostrar la utilidad de los datos:

• Evolución de "AI" (Inteligencia Artificial):
  • 2011-2015: Asociado principalmente a personajes de videojuegos, RPG, FPS y NPCs.
  • 2020-2021: Aparecen términos como chatbots, IoT, robótica y vehículos no tripulados.
  • 2024: Dominado por LLMs, ChatGPT y "IA generativa".
• Evolución de "Remote" (Remoto):
  • Cambio significativo entre 2011-2015 y 2020-2021, pasando de referencias a redes/distancia geográfica a "trabajo remoto" y términos laborales positivos.
• Estabilidad en términos legales: Palabras como "legislative" y "jurisdiction" mostraron el menor cambio semántico, manteniéndose estables a través de los periodos.
• Consistencia multilingüe: Se observaron patrones de cambio similares en español ("IA") y ruso ("ИИ"), validando la capacidad del corpus para capturar tendencias globales.

4. Contribuciones Clave

1. DHPLT: La primera colección abierta y estandarizada de corpus diacrónicos a gran escala para 41 idiomas, abarcando 12 familias lingüísticas y superando la barrera del indoeuropeo.
2. Recursos listos para usar: Provee no solo los textos crudos, sino también representaciones semánticas complejas (embeddings estáticos y contextualizados, sustituciones léxicas) precalculadas, lo que democratiza la investigación en LSCD.
3. Código abierto: Se proporciona el código para reproducir el dataset y generar nuevos subconjuntos o representaciones.
4. Enfoque en la diversidad: Permite estudiar efectos de cambio semántico multilingüe y comparar cómo diferentes culturas y familias lingüísticas experimentan innovaciones conceptuales (ej. la IA).

5. Limitaciones

• Precisión temporal: La señal temporal basada en el raspado web no garantiza que el texto se haya creado exactamente en ese momento, solo que no fue creado después. Esto introduce ruido temporal (documentos antiguos raspados recientemente).
• Cobertura de palabras: Las representaciones precalculadas solo cubren un subconjunto de palabras objetivo, no todo el vocabulario del corpus (debido a limitaciones de almacenamiento y cómputo).
• Modelos atemporales: Los modelos utilizados para generar las representaciones (T5, BERT, XLM-R) no fueron preentrenados específicamente con datos temporales, por lo que podrían incluir predicciones anacrónicas (ej. predecir nombres propios que surgieron en periodos posteriores).

6. Significado

DHPLT llena un vacío crítico en la lingüística computacional al proporcionar los datos necesarios para expandir la investigación del cambio semántico más allá de las lenguas occidentales mayoritarias. Facilita nuevos diseños experimentales, permite la comparación diacrónica multilingüe y sirve como base para descubrir patrones de cambio semántico en "la naturaleza" (en el wild), impulsando el desarrollo de modelos de lenguaje más robustos y culturalmente diversos.