The power of context: Random Forest classification of near synonyms. A case study in Modern Hindi

1. Planteamiento del Problema

El estudio aborda la paradoja de la sinonimia en lingüística: teóricamente, los sinónimos absolutos no deberían existir porque no añaden potencial expresivo al lenguaje (violando el principio de economía de Zipf). Sin embargo, en la práctica, especialmente en lenguas con estratos históricos de contacto, existen pares de palabras con significados casi idénticos pero orígenes etimológicos distintos.

El caso de estudio es el Hindi moderno, que presenta un continuo léxico donde coexisten palabras de origen sánscrito y préstamos perso-árabes. Aunque estas palabras denotan el mismo concepto, se asume que reflejan diferentes perspectivas, registros o asociaciones culturales. La pregunta central de la investigación es: ¿Es posible distinguir el origen etimológico de sinónimos cercanos utilizando únicamente datos de distribución contextual, ignorando su contenido semántico? El objetivo es cuantificar si los patrones de uso preservan "rastros" de la etimología siglos después de la adopción de los préstamos.

2. Metodología

El estudio emplea un enfoque de lingüística computacional combinando representaciones vectoriales de palabras y aprendizaje automático supervisado.

• Datos (Dataset):

  • Se seleccionaron 135 pares de sinónimos (270 palabras en total) de origen sánscrito y perso-árabe.
  • Criterios de selección: evitar homonimia, cubrir un amplio campo semántico, incluir diferentes categorías gramaticales y asegurar que las definiciones sean lo más cercanas posible (sinonimia cognitiva).
  • Corpus: Se utilizaron dos corpus masivos:
    1. Hindi Monolingual Corpus (IIT Bombay): ~768 millones de tokens.
    2. hiTenTen13 (SketchEngine): ~350 millones de palabras (corpus de control).
  • Se aplicó normalización ortográfica para manejar variaciones diacríticas (ej. nuqtā en letras como क़ y ज़).

• Representación Vectorial (Word Embeddings):

  • Se entrenaron modelos Word2Vec en ambos corpus.
  • Configuración: vectores de dimensión 200, ventana de contexto de 5 palabras (5 a la izquierda y 5 a la derecha), umbral de frecuencia mínima de 10.
  • El objetivo era capturar las propiedades semánticas contextuales de las palabras.

• Algoritmo de Clasificación:

  • Se utilizó un modelo de Bosque Aleatorio (Random Forest), un algoritmo de aprendizaje supervisado que combina múltiples árboles de decisión.
  • Variable objetivo: El origen de la palabra (Sánscrito vs. Perso-árabe).
  • Entrada: Los vectores de embeddings de las palabras.
  • Validación: El modelo se ejecutó en 100,000 iteraciones con divisiones aleatorias de entrenamiento/prueba (80:20) para garantizar robustez estadística.

• Análisis de Errores y Explicabilidad:

  • Se identificaron las palabras más propensas a la mala clasificación.
  • Se utilizó SHAP (SHapley Additive exPlanations) para analizar la importancia de las dimensiones del vector en la predicción.
  • Se realizaron pruebas de correlación con la frecuencia de las palabras y la similitud coseno de los embeddings.

3. Resultados Clave

• Alta Precisión de Clasificación:

  • El modelo logró una precisión promedio del 88% (rango de 79% a 95% dependiendo del conjunto de datos).
  • Esto demuestra que los patrones de uso contextual son suficientes para distinguir el origen etimológico, incluso cuando las palabras son semánticamente muy similares.

• Robustez del Modelo (Redundancia de Dimensiones):

  • El modelo mantuvo una precisión superior al 80% incluso cuando se entrenó utilizando solo las primeras 50 dimensiones de los vectores (de un total de 200).
  • Esto sugiere que la información etimológica está distribuida de manera redundante y robusta en el espacio de embeddings, no concentrada en un solo vector o dirección.

• Análisis de SHAP:

  • Ninguna dimensión individual del vector tuvo un impacto dominante. La capacidad predictiva se distribuyó uniformemente, confirmando que el contexto captura la información de origen de manera sistémica.

• Patrones de Error y Frecuencia:

  • Frecuencia: Contrario a la intuición, las palabras de alta frecuencia fueron más propensas a ser mal clasificadas. Esto se atribuye a la polisemia de las palabras comunes (principio de la frecuencia media de Zipf), que aparecen en contextos más variados y menos especializados.
  • Origen: Las palabras de origen perso-árabe fueron ligeramente más fáciles de clasificar que las sánscritas, sugiriendo que sus contextos son más distintivos culturalmente. Las palabras sánscritas tienden a aparecer en contextos más amplios y menos especializados.
  • Palabras Mal Clasificadas: Los términos más difíciles de clasificar fueron palabras cotidianas y menos marcadas culturalmente (ej. agua, sueño, realidad), mientras que conceptos sociales abstractos (ej. nación, religión, ejército) se clasificaron correctamente.

• Validación Cruzada:

  • Los resultados se replicaron consistentemente en el corpus de control (hiTenTen13), con una alta superposición (índice Jaccard ~0.43) en las palabras que causaron errores, confirmando la generalidad del hallazgo.

4. Contribuciones Clave

1. Evidencia Cuantitativa de la "No Equivalencia": El estudio proporciona datos empíricos masivos que respaldan el principio de que no existen sinónimos absolutos. Incluso con significados idénticos, el origen etimológico impone patrones de uso distintos.
2. El Poder del Contexto: Demuestra que los embeddings de palabras capturan no solo el significado léxico, sino también señales sociolingüísticas y culturales (como el estrato etimológico) que son invisibles para el hablante promedio pero detectables por algoritmos.
3. Nueva Perspectiva Semántica: Propone que las palabras de diferentes estratos etimológicos forman "subespacios conceptuales" distintos. Aunque comparten un referente, ocupan nichos semánticos diferentes moldeados por su historia cultural.
4. Aplicabilidad de ML en Lingüística Histórica: Muestra cómo técnicas modernas de aprendizaje automático (Random Forest + Word2Vec) pueden revelar patrones históricos y diacrónicos en datos sincrónicos masivos.

5. Significado e Implicaciones

El estudio tiene implicaciones profundas para la lingüística cognitiva y la semántica distribucional:

• Revisión de la Sinonimia: Confirma la hipótesis de Divjak (2010) de que los sinónimos cercanos presentan "diferentes perspectivas" sobre una situación. El origen de la palabra actúa como un marco cognitivo que influye en cómo se conceptualiza el referente.
• Estructura del Significado: Sugiere que el significado de una palabra no es solo su definición, sino una red compleja de asociaciones contextuales que incluyen su historia cultural.
• Futuras Investigaciones: El método propuesto puede extenderse a otros idiomas con estratos léxicos superpuestos (ej. el inglés con capas de francés normando y anglosajón) para explorar cómo la historia de contacto lingüístico moldea la cognición y el uso actual del lenguaje.

En conclusión, el artículo demuestra que el contexto es un registro histórico: los patrones de uso de las palabras conservan la huella de su origen, permitiendo a los modelos computacionales distinguir entre estratos léxicos que parecen semánticamente idénticos.