Beyond Subtokens: A Rich Character Embedding for Low-resource and Morphologically Complex Languages

1. El Problema

Los modelos actuales de Procesamiento del Lenguaje Natural (PLN), como BERT, GPT y word2vec, dependen en gran medida de la tokenización basada en subpalabras (subtokens) o diccionarios fijos. Esta aproximación presenta limitaciones críticas, especialmente para lenguas de recursos bajos y lenguas morfológicamente complejas (altamente flexivas):

• Pérdida de similitud ortográfica: Los métodos basados en diccionarios (ej. WordPiece) tratan palabras con ortografías similares como tokens completamente distintos si no coinciden exactamente. Por ejemplo, "quality" y "qualification" pueden tokenizarse de formas que no capturan su raíz compartida en la representación vectorial.
• Fragilidad ante variaciones ortográficas: Los modelos no generalizan bien ante errores tipográficos o variaciones de escritura a menos que el corpus de entrenamiento sea masivo y contenga todas las variantes.
• Ineficiencia en lenguas flexivas: En lenguas con muchas variaciones de caso, número o género (como el latín, islandés o feroés), aprender una representación para cada forma flexiva es inviable con corpus pequeños.
• Limitaciones de contexto: Los enfoques basados en caracteres puros (byte-level) aumentan drásticamente la longitud de la secuencia de entrada, lo que eleva los requisitos de memoria cuadráticamente en los transformadores y reduce el contexto disponible.

2. Metodología: Rich Character Embeddings (RCE)

Los autores proponen RCE, un enfoque que genera vectores de palabras directamente a partir de sus cadenas de caracteres, integrando información semántica y sintáctica sin depender de un diccionario de subtokens fijo.

• Representación de Entrada:
  • Cada palabra se descompone en caracteres individuales.
  • Se utiliza un esquema de codificación one-hot para cada carácter.
  • Se introducen modificadores especiales para manejar mayúsculas, diacríticos (acentos, umlauts) y ligaduras. Por ejemplo, una "T" mayúscula se codifica como un modificador [UP] más el carácter base t.
  • Se añaden tokens especiales [BEG] (inicio) y [END] (fin) para delimitar la palabra.
• Arquitectura del Modelo:
  • Se utiliza un codificador Transformer clásico.
  • La entrada es una matriz de vectores one-hot de los caracteres.
  • Tras pasar por capas lineales y codificación de posición, el modelo genera una representación vectorial.
  • Salida: Se utiliza únicamente la salida correspondiente al token [BEG] como el vector de la palabra completa (similar a cómo se usa el token [CLS] en BERT).
• Estrategias de Entrenamiento:
  El modelo se entrena con tres objetivos combinados para preservar tanto el significado como la estructura:
  1. Predicción de Contexto (Semántica): Predice las cadenas de caracteres de las palabras circundantes (similar a word2vec, pero a nivel de caracteres).
  2. Predicción de Identidad (Sintaxis): Funciona como un autoencoder, prediciendo la cadena de caracteres de la propia palabra de entrada para preservar la información ortográfica y gramatical.
  3. Predicción de Diccionario (Opcional): Predice los tokens del diccionario si están disponibles, actuando como una tarea auxiliar más sencilla.
• Modelo Híbrido: Los autores también proponen combinar RCE con mecanismos convolucionales (denominado c2v) para capturar patrones locales adicionales.

3. Contribuciones Clave

• Sustitución "Drop-in": RCE puede reemplazar directamente las capas de embedding tradicionales en arquitecturas existentes (como word2vec o BERT) sin cambiar la estructura del resto del modelo.
• Generalización a palabras no vistas: Al basarse en la composición de caracteres, el modelo puede generar vectores para palabras raras o inexistentes en el corpus de entrenamiento, inferiendo su significado a partir de palabras con ortografía similar.
• Captura de Morfología: La representación conserva la estructura interna de la palabra, permitiendo inferir características gramaticales (caso, número) y manejar variaciones flexivas de manera más eficiente en lenguas de bajos recursos.
• Eficiencia en Recursos Bajos: Demuestra ser superior a los métodos tradicionales cuando los datos de entrenamiento son escasos.

4. Resultados Experimentales

Los autores evaluaron RCE en múltiples tareas y lenguas (Feroés, Latín, Uzbek, Islandés, Noruego, Alemán, Inglés):

• Métricas de Calidad de Embedding (TopK y Odd-One-Out):
  • RCE y el modelo híbrido (RCE + c2v) superaron consistentemente a FastText en la agrupación de palabras por categorías semánticas y en la detección de anomalías (Outliers).
  • Destacó la capacidad de RCE para transferir conocimiento: un modelo entrenado en Islandés o Noruego funcionó mejor en Feroés que un modelo FastText entrenado específicamente en Feroés.
• Predicción de Flexión (Latín):
  • En la tarea de predecir el caso y número de sustantivos latinos, RCE y c2v alcanzaron una precisión del 85-90%, superando significativamente a FastText (que cayó al 50% cuando se entrenó en una lengua diferente, el italiano). Esto demuestra una mejor captura de la información morfológica.
• Detección de Dispositivos Estilísticos:
  • En la clasificación de quiasmos y metáforas, el modelo híbrido (RCE + c2v) obtuvo los mejores resultados, sugiriendo que la combinación de enfoques basados en transformadores y convolucionales captura información complementaria.
• Integración en Modelos Grandes (BERT-like):
  • En una tarea de predicción de la siguiente oración (estilo SWAG), un modelo BERT-like con RCE superó al modelo BERT tradicional con tokenización WordPiece en todas las configuraciones probadas, incluyendo escenarios de lenguas de bajos recursos (Feroés) donde la pre-entrenación en una lengua relacionada fue crucial.

5. Significado e Impacto

Este trabajo representa un avance significativo para el PLN en lenguas de recursos bajos y morfológicamente ricas.

• Superación de la dependencia de corpus masivos: RCE reduce la necesidad de corpus de entrenamiento gigantescos para aprender representaciones significativas, ya que aprende de la estructura de los caracteres en lugar de memorizar frecuencias de tokens.
• Robustez: Ofrece una mayor resistencia a errores ortográficos y variaciones dialectales.
• Escalabilidad: Proporciona una vía para mejorar modelos grandes (como BERT) en lenguas donde la tokenización estándar falla, permitiendo una comprensión más profunda de la morfología sin explotar la memoria del modelo.
• Limitaciones: El enfoque actual está diseñado para sistemas de escritura lineales (alfabetos latinos). Se requiere trabajo adicional para adaptarlo a sistemas bidimensionales (como chino o japonés) o a otros alfabetos (cirílico, devanagari) mediante el rediseño del mapeo de tokens.

En conclusión, Rich Character Embedding demuestra que al volver a la representación basada en caracteres pero potenciada por arquitecturas Transformer modernas, se pueden superar las limitaciones de los subtokens, logrando representaciones más ricas, semánticamente alineadas y sintácticamente informadas, especialmente valiosas para la preservación y procesamiento de lenguas minoritarias.