Resumen Técnico: Evaluación Comparativa de Grandes Modelos de Lenguaje para la Conversión de Grafema a Fonema (Estudio de Caso de Japonés)

1. Definición del Problema

La conversión de grafema a fonema (G2P) es un componente fundamental de los sistemas de texto a voz (TTS), que transforma el texto escrito en representaciones fonéticas. Si bien los modelos de TTS de extremo a extremo (E2E) recientes aprenden implícitamente las reglas de pronunciación, el G2P explícito sigue siendo crítico para aplicaciones prácticas que requieren controlabilidad (por ejemplo, el manejo de nombres propios) y robustez frente a pronunciaciones antinaturales.

El G2P japonés presenta desafíos únicos en comparación con idiomas como el inglés:

• Falta de límites de palabras: El texto japonés requiere un análisis morfológico para segmentar las palabras.
• Kanji polifónicos: Los caracteres suelen tener múltiples lecturas dependiendo del contexto (por ejemplo, 今 puede ser ima o kon).
• Reglas irregulares: Reglas fonológicas complejas gobiernan la pronunciación de partículas (por ejemplo, wa en lugar de ha), vocales largas y combinaciones de numeral-contador (por ejemplo, ippon en lugar de ichi-hon).
• Palabras fuera del vocabulario (OOV): Los préstamos lingüísticos y los nombres propios a menudo carecen de entradas en los diccionarios de las herramientas convencionales.

Los sistemas basados en reglas convencionales (por ejemplo, OpenJTalk, MeCab) y los enfoques estadísticos luchan contra estas complejidades, particularmente con las palabras OOV y la disambiguación dependiente del contexto.

2. Metodología

El estudio evalúa comparativamente más de 30 Grandes Modelos de Lenguaje (LLM) frente a analizadores morfológicos convencionales utilizando un conjunto de datos de 3,000 oraciones japonesas anotadas manualmente del corpus JVS. La evaluación se centra en dos estrategias de prompting distintas:

A. Estrategias de Prompting

1. Modo de Análisis (Parse Mode): El LLM realiza un análisis morfológico, produciendo un arreglo JSON estructurado que contiene la forma superficial, la categoría gramatical y la lectura en katakana para cada token. Un paso posterior de posprocesamiento basado en reglas aplica reglas de pronunciación deterministas (por ejemplo, conversión de partículas, normalización de vocales largas). Este enfoque delega la aplicación de reglas complejas del LLM, enfocando al modelo en la segmentación y la estimación de la lectura.
2. Modo Directo (Direct Mode): El LLM predice directamente la lectura completa en katakana del texto de entrada en un solo paso. El prompt debe instruir explícitamente al modelo para que maneje simultáneamente la segmentación, la estimación de la lectura y las reglas de pronunciación.

B. Modelos Evaluados

El benchmark cubre una gama diversa de modelos:

• Modelos de API Propietarios: Incluyendo Claude Opus 4.6, Sonnet 4.6, Gemini 3.1 Pro/3 Flash/2.5 Flash y GPT-5.2.
• Modelos de Pesos Abiertos: Familias que incluyen Gemma, Qwen, Llama, GLM, gpt-oss y Kimi, que van desde 2B hasta 1T de parámetros. Esto incluye variantes "Swallow", que son modelos ajustados mediante preentrenamiento continuo con datos japoneses.
• Baselines Convencionales: OpenJTalk, MeCab (con IPAdic y UniDic), KyTea, KWJA, Sudachi y Vaporetto.

C. Métrica de Evaluación

El rendimiento se mide mediante la Tasa de Error de Caracteres de Kana (CER). Dado que el kana japonés tiene una correspondencia casi uno a uno con los fonemas, la CER sirve como un proxy para la tasa de error de fonemas. Se elimina la puntuación y se normalizan las vocales largas para dar cuenta de las variaciones de representación antes del cálculo.

3. Resultados Clave

Tamaño y Versión del Modelo

• Ley de Escalamiento (Scaling Law): Los modelos más grandes logran consistentemente una CER más baja. Por ejemplo, dentro de la familia Qwen3.5, la CER disminuyó de 41.87% (2B) a 6.27% (27B).
• Mejoras de Versión: Las versiones más nuevas de los modelos superan a las versiones anteriores de tamaño similar (por ejemplo, Gemma3-27B con 5.75% frente a Gemma2-27B con 10.33%).
• Mejores Desempeños: Los mejores modelos propietarios lograron una CER inferior al 0.6%. Claude Opus 4.6 (Modo de Análisis) alcanzó el 0.52%, y Gemini 3.1 Pro (Modo Directo) alcanzó el 0.53%. Ambos superaron significativamente a la mejor herramienta convencional, OpenJTalk (1.03%).

Entrenamiento Especializado en Japonés

Los modelos con entrenamiento especializado en japonés (variantes "Swallow") superaron consistentemente a sus contrapartes base. Llama3.3-Swallow-70B logró el mejor desempeño entre los modelos de pesos abiertos desplegados localmente (2.85% CER), en comparación con el 6.58% de Llama3.3-70B no especializado.

Modo de Análisis vs. Modo Directo

• Tendencia General: El modo de análisis superó al modo directo para la mayoría de los modelos, particularmente los más pequeños. Por ejemplo, Gemma3-4B logró un 34.82% de CER en modo de análisis frente a un 56.69% en modo directo.
• Razonamiento: El modo de análisis libera al LLM de manejar reglas de pronunciación deterministas y complejas (como la conversión de partículas), permitiéndole enfocarse en la segmentación y la lectura. El modo directo requiere que el LLM internalice estas reglas, lo que conduce a tasas de error más altas en modelos más pequeños.
• Excepciones: Para modelos de alto nivel como Gemini 3.1 Pro y GPT-5.2, el modo directo fue ligeramente mejor o comparable. En el modo de análisis, estos modelos ocasionalmente cometieron errores de segmentación (por ejemplo, dividiendo pares de numeral-contador como "2人" en "2" y "人"), mientras que el modo directo manejó correctamente la lectura compuesta.

Comparación con Herramientas Convencionales

Los LLM demostraron un desempeño superior en palabras OOV y préstampados donde las herramientas convencionales fallan (por ejemplo, leyendo correctamente 剣歯虎 como kenshiko en lugar de kenpatora). Sin embargo, como modelos probabilísticos, los LLM ocasionalmente produjeron lecturas improbables para palabras comunes (por ejemplo, leyendo 本名 como honme en lugar de honmyoo).

Impacto en la Naturalidad y Precisión del TTS

El estudio integró el kana predicho por el LLM en un sistema TTS de entrada de kana (CosyVoice 2 ajustado) y lo comparó con sistemas TTS E2E.

• Precisión: El TTS basado en G2P usando Gemini 3.1 Pro (2.38% CER) superó significativamente a los sistemas TTS E2E (por ejemplo, Gemini 2.5 Flash TTS con 3.96% CER), acercándose a la condición "oráculo" usando el kana real (2.10% CER).
• Naturalidad: Las puntuaciones de naturalidad estimada (UTMOS) para el TTS basado en G2P (3.82) fueron comparables a los sistemas E2E (3.36–4.00), lo que indica que el G2P explícito no degrada la naturalidad del habla.

4. Contribuciones y Significado

El artículo reclama tres contribuciones primarias:

1. Primer Benchmark a Gran Escala: Presenta el primer benchmark integral de G2P en japonés basado en LLM, cubriendo más de 30 modelos a través de APIs propietarias, LLM de pesos abiertos y analizadores convencionales.
2. Validación de Desempeño: Demuestra que el G2P basado en LLM, cuando se combina con un sistema TTS de entrada de kana, logra una precisión de pronunciación significativamente mejor que los sistemas TTS E2E de última generación, manteniendo una naturalidad comparable.
3. Liberación de Recursos: Los autores liberan un conjunto de datos de anotaciones de lectura de kana manual para 3,000 oraciones para facilitar futuras investigaciones.

El estudio concluye que, si bien el TTS E2E está avanzando, los módulos de G2P explícitos impulsados por LLM grandes y especializados ofrecen una ventaja práctica para una síntesis de voz robusta y controlable, particularmente para el manejo de nombres propios y pronunciaciones irregulares. El trabajo futuro podría involucrar el ajuste de prompts, el ensamble de modelos o el reemplazo del posprocesamiento basado en reglas por procesamiento basado en LLM para reducir aún más los errores.