Resumen Técnico: "Cómo la Tokenización Limita la Representación del Conocimiento Fonológico en Modelos de Lenguaje y Cómo Mejorarlos"

Autores: Disen Liao y Freda Shi (Universidad de Waterloo e Instituto Vector).

1. Problema y Motivación

A pesar del éxito de los Modelos de Lenguaje (LMs) en diversas tareas, su comprensión de la estructura sonora de las palabras (fonología), como la rima, la silabeación y la conversión grafema-fonema, sigue siendo poco entendida. Esto es particularmente sorprendente en modelos que solo se entrenan con texto y nunca con audio.

El artículo identifica que la tokenización (el primer paso en el procesamiento de texto de cualquier LM) es el principal culpable de las limitaciones en la representación fonológica. Los algoritmos de tokenización subpalabra (como BPE o SentencePiece) se basan en la frecuencia de caracteres y no en principios fonológicos, lo que genera dos problemas críticos:

1. Granularidad demasiado gruesa: No capturan características fonológicas locales (ej. rimas).
2. Desalineación con límites fonológicos: Los tokens no coinciden con las sílabas naturales de las palabras, dificultando el aprendizaje de estructuras prosódicas.

2. Metodología

Los autores emplean un enfoque sistemático dividido en tres experimentos principales:

Experimento 1: Sonda de Conocimiento Fonológico (Probing)

• Objetivo: Determinar cuánto conocimiento fonológico está codificado en los estados ocultos de los LMs.
• Método: Se utilizan "sondas" (probes) lineales ligeras (regresión logística y Ridge) sobre los estados ocultos de diferentes capas de modelos como BERT, GPT-2, Llama3, Mistral, etc.
• Tareas:
  1. Conciencia de Rima: Clasificación binaria de si dos palabras riman perfectamente.
  2. Conversión Grafema-Fonema (G2P): Regresión para predecir la secuencia de fonemas (notación ARPAbet) de una palabra.
  3. Conteo de Sílabas: Regresión para predecir el número de sílabas.

Experimento 2: Análisis del Impacto de la Tokenización

• Hipótesis: La tokenización afecta negativamente la capacidad de capturar fonología.
• Prueba de Granularidad (Rimas): Se comparó la tokenización estándar con una tokenización de nivel de carácter (separando letras con delimitadores como "/"). Esto fuerza al modelo a procesar caracteres individuales, mejorando la captura de patrones fonéticos.
• Métrica STAD (Syllabification-Tokenization Alignment Distance): Se introduce una nueva métrica cuantitativa que mide la distancia de Hamming normalizada entre los límites de los tokens y los límites de las sílabas naturales.
  • STAD = 0: Alineación perfecta.
  • STAD > 0.25: Desalineación significativa.
• Análisis de Cognados: Se investigó si palabras con alta variabilidad ortográfica (préstamos lingüísticos y cognados) causan desalineaciones. Se utilizó la base de datos CogNet para medir la relatedness cruzada de las palabras.

Experimento 3: Mejora mediante Fine-tuning

• Objetivo: Mejorar el razonamiento fonológico sin reentrenar el tokenizador (que es costoso e invasivo).
• Método: Se propone un método de fine-tuning ligero (LoRA) que incorpora explícitamente información fonológica.
  • Se crea un dataset de instrucción que mezcla datos de QA generales con anotaciones del Alfabeto Fonético Internacional (IPA).
  • Se insertan marcadores <IPA> alrededor de palabras en las preguntas y se obliga al modelo a razonar sobre la transcripción IPA para responder.
• Evaluación: Se evalúa el rendimiento en las tareas fonológicas y se verifica la retención de capacidades generales (GSM8K para matemáticas, MMLU para conocimiento general) para evitar el "olvido catastrófico".

3. Contribuciones Clave

1. Diagnóstico de Tokenización: Demostración empírica de que la tokenización subpalabra limita sistemáticamente la representación de características fonológicas locales (rimas) y globales (estructura silábica).
2. Métrica STAD: Introducción de una métrica objetiva para evaluar la calidad de un tokenizador desde una perspectiva fonológica. Se encontró una correlación directa: mayor desalineación (STAD alto) implica peores representaciones fonológicas.
3. Origen Lingüístico del Problema: Identificación de que las palabras con alta variabilidad cross-lingüística (cognados y préstamos) son las más propensas a sufrir desalineaciones de tokenización, complicando el aprendizaje fonológico.
4. Solución Práctica: Desarrollo de un método de fine-tuning basado en IPA que infunde conciencia fonológica en modelos existentes sin modificar su vocabulario, logrando mejoras consistentes con un costo mínimo en capacidades generales.

4. Resultados Principales

• Sonda de Conocimiento: Los LMs codifican información fonológica, especialmente en las capas medias (20%-60% de profundidad), pero el rendimiento está lejos de ser perfecto.
• Impacto de la Tokenización:
  • Rimas: La tokenización de nivel de carácter (con delimitadores) mejoró significativamente la precisión en la detección de rimas en todos los modelos probados (ej. Llama3 mejoró de ~71% a ~85% en ciertas capas).
  • STAD: Las palabras con STAD bajo (tokens alineados con sílabas) obtuvieron puntuaciones R2 significativamente mejores en tareas de G2P y conteo de sílabas en comparación con palabras con STAD alto.
  • Cognados: Las palabras en el grupo desalineado (M) tenían un número significativamente mayor de variantes de cognados/préstamos en CogNet, confirmando la hipótesis de que la variabilidad ortográfica histórica causa la desalineación.
• Fine-tuning con IPA:
  • El modelo Llama3.1-8B-IPA (fine-tuneado) mostró mejoras consistentes en las tres tareas fonológicas.
  • Costo de Rendimiento General: Hubo una caída mínima en las capacidades generales: -1.1% en GSM8K y -0.9% en MMLU, demostrando que es posible inyectar conocimiento fonológico sin destruir la competencia general del modelo.

5. Significado e Implicaciones

Este trabajo es fundamental para el diseño futuro de Modelos de Lenguaje:

• Diseño de Tokenizadores: Sugiere que los futuros tokenizadores deberían considerar principios fonológicos (como límites de sílabas) en lugar de solo frecuencia estadística, especialmente para tareas que requieren comprensión auditiva o prosódica.
• Evaluación de Modelos: La métrica STAD ofrece una herramienta de diagnóstico rápida para evaluar qué tan bien un modelo puede razonar sobre la estructura de las palabras.
• Aplicaciones Prácticas: El método de fine-tuning con IPA proporciona una solución viable para mejorar modelos existentes en aplicaciones educativas, generación de poesía, aprendizaje de idiomas y sistemas de texto-a-voz, sin necesidad de reentrenar desde cero.
• Modelos Multimodales: Los hallazgos son relevantes para modelos que integran audio y texto, sugiriendo que la alineación entre la representación textual y la estructura fonológica es crucial incluso antes de introducir señales de audio.

En resumen, el paper demuestra que las "fallas" fonológicas de los LMs no se deben a una falta de capacidad de aprendizaje, sino a una interfaz defectuosa (la tokenización) entre el texto escrito y la estructura sonora, la cual puede ser mitigada mediante mejores diseños de tokenización o estrategias de adaptación post-entrenamiento.