Resumo Técnico: Avaliação de Desempenho de Grandes Modelos de Linguagem para Conversão de Grafema para Fonema (Estudo de Caso Japonês)

1. Definição do Problema

A conversão de grafema para fonema (G2P) é um componente fundamental dos sistemas de texto para fala (TTS), transformando texto escrito em representações fonéticas. Embora os recentes modelos de TTS ponta a ponta (E2E) aprendam implicitamente as regras de pronúncia, o G2P explícito permanece crítico para aplicações práticas que exigem controlabilidade (ex: lidar com nomes próprios) e robustez contra pronúncias não naturais.

O G2P japonês apresenta desafios únicos em comparação com línguas como o inglês:

• Ausência de Limites de Palavras: O texto japonês requer análise morfológica para segmentar palavras.
• Kanji Polifônicos: Caracteres frequentemente possuem múltiplas leituras dependendo do contexto (ex: 今 pode ser ima ou kon).
• Regras Irregulares: Regras fonológicas complexas governam a pronúncia de partículas (ex: wa em vez de ha), vogais longas e combinações de numerais-contadores (ex: ippon em vez de ichi-hon).
• Palavras Fora do Vocabulário (OOV): Palavras emprestadas e nomes próprios frequentemente carecem de entradas de dicionário para ferramentas convencionais.

Sistemas baseados em regras convencionais (ex: OpenJTalk, MeCab) e abordagens estatísticas lutam contra essas complexidades, particularmente com palavras OOV e desambiguação dependente de contexto.

2. Metodologia

O estudo avalia o desempenho de mais de 30 Grandes Modelos de Linguagem (LLMs) contra analisadores morfológicos convencionais em um conjunto de dados de 3.000 sentenças japonesas anotadas manualmente do corpus JVS. A avaliação foca em duas estratégias de prompting distintas:

A. Estratégias de Prompting

1. Modo de Análise (Parse Mode): O LLM realiza a análise morfológica, gerando um array JSON estruturado contendo a forma de superfície, a classe gramatical e a leitura em katakana para cada token. Uma etapa subsequente de pós-processamento baseado em regras aplica regras de pronúncia determinísticas (ex: conversão de partículas, normalização de vogais longas). Esta abordagem transfere a aplicação de regras complexas do LLM, focando o modelo na segmentação e estimativa de leitura.
2. Modo Direto (Direct Mode): O LLM prevê diretamente a leitura completa em katakana do texto de entrada em uma única etapa. O prompt deve instruir explicitamente o modelo a lidar com toda a segmentação, estimativa de leitura e regras de pronúncia simultaneamente.

B. Modelos Avaliados

O benchmark cobre uma gama diversificada de modelos:

• Modelos de API Proprietários: Incluindo Claude Opus 4.6, Sonnet 4.6, Gemini 3.1 Pro/3 Flash/2.5 Flash e GPT-5.2.
• Modelos de Pesos Abertos (Open-Weight): Famílias incluindo Gemma, Qwen, Llama, GLM, gpt-oss e Kimi, variando de 2B a 1T de parâmetros. Isso inclui variantes "Swallow", que são modelos ajustados com pré-treinamento contínuo em dados japoneses.
• Baselines Convencionais: OpenJTalk, MeCab (com IPAdic e UniDic), KyTea, KWJA, Sudachi e Vaporetto.

C. Métrica de Avaliação

O desempenho é medido usando a Taxa de Erro de Caractere de Kana (CER). Como o kana japonês possui uma correspondência quase um-para-um com os fonemas, a CER serve como um proxy para a taxa de erro de fonema. A pontuação é removida e as vogais longas são normalizadas para considerar variações de representação antes do cálculo.

3. Principais Resultados

Tamanho do Modelo e Versão

• Lei de Escala (Scaling Law): Modelos maiores alcançam consistentemente menores taxas de CER. Por exemplo, dentro da família Qwen3.5, a CER diminuiu de 41,87% (2B) para 6,27% (27B).
• Melhorias de Versão: Versões mais novas de modelos superam versões mais antigas de tamanho similar (ex: Gemma3-27B com 5,75% vs. Gemma2-27B com 10,33%).
• Melhores Desempenhos: Os melhores modelos proprietários alcançaram sub-0,6% de CER. O Claude Opus 4.6 (Modo de Análise) alcançou 0,52%, e o Gemini 3.1 Pro (Modo Direto) alcançou 0,53%. Ambos superaram significativamente a melhor ferramenta convencional, OpenJTalk (1,03%).

Treinamento Especializado em Japonês

Modelos com treinamento especializado em japonês (variantes "Swallow") superaram consistentemente seus equivalentes base. O Llama3.3-Swallow-70B alcançou o melhor desempenho entre os modelos de pesos abertos implantados localmente (2,85% de CER), comparado a 6,58% para o Llama3.3-70B não especializado.

Modo de Análise vs. Modo Direto

• Tendência Geral: O modo de análise superou o modo direto para a maioria dos modelos, particularmente os menores. Por exemplo, o Gemma3-4B alcançou 34,82% de CER no modo de análise contra 56,69% no modo direto.
• Raciocínio: O modo de análise desonera o LLM de lidar com regras de pronúncia determinísticas complexas (como conversão de partículas), permitindo que ele se concentre na segmentação e leitura. O modo direto exige que o LLM internalize essas regras, levando a taxas de erro mais altas em modelos menores.
• Exceções: Para modelos de alto nível como Gemini 3.1 Pro e GPT-5.2, o modo direto foi ligeiramente melhor ou comparável. No modo de análise, esses modelos ocasionalmente cometeram erros de segmentação (ex: dividindo pares de numeral-contador como "2人" em "2" e "人"), enquanto o modo direto lidou corretamente com a leitura composta.

Comparação com Ferramentas Convencionais

Os LLMs demonstraram desempenho superior em palavras OOV e palavras emprestadas onde os dicionários convencionais falham (ex: lendo corretamente 剣歯虎 como kenshiko em vez de kenpatora). No entanto, como modelos probabilísticos, os LLMs ocasionalmente produziram leituras improváveis para palavras comuns (ex: lendo 本名 como honme em vez de honmyoo).

Impacto na Naturalidade e Precisão do TTS

O estudo integrou o kana previsto pelo LLM em um sistema de TTS de entrada de kana (CosyVoice 2 ajustado) e o comparou com sistemas de TTS E2E.

• Precisão: O TTS baseado em G2P usando Gemini 3.1 Pro (2,38% de CER) superou significativamente os sistemas de TTS E2E (ex: Gemini 2.5 Flash TTS com 3,96% de CER), aproximando-se da condição "oracle" usando o kana real (2,10% de CER).
• Naturalidade: As pontuações de naturalidade estimada (UTMOS) para o TTS baseado em G2P (3,82) foram comparáveis aos sistemas E2E (3,36–4,00), indicando que o G2P explícito não degrada a naturalidade da fala.

4. Contribuições e Significância

O artigo reivindica três contribuições primárias:

1. Primeiro Benchmark de Grande Escala: Apresenta o primeiro benchmark abrangente de G2P japonês baseado em LLM, cobrindo mais de 30 modelos através de APIs proprietárias, LLMs de pesos abertos e analisadores convencionais.
2. Validação de Desempenho: Demonstra que o G2P baseado em LLM, quando combinado com um sistema de TTS de entrada de kana, alcança uma precisão de pronúncia significativamente melhor do que os sistemas de TTS E2E de última geração, mantendo uma naturalidade comparável.
3. Liberação de Recursos: Os autores liberam um conjunto de dados de anotações manuais de leitura de kana para 3.000 sentenças para facilitar pesquisas futuras.

O estudo conclui que, embora o TTS E2E esteja avançando, módulos de G2P explícitos alimentados por LLMs grandes e especializados oferecem uma vantagem prática para síntese de fala robusta e controlável, particularmente para lidar com nomes próprios e pronúncias irregulares. Trabalhos futuros podem envolver ajuste de prompt, ensembling de modelos ou a substituição do pós-processamento baseado em regras por processamento baseado em LLM para reduzir ainda mais os erros.