How Tokenization Limits Phonological Knowledge Representation in Language Models and How to Improve Them

Título: Como a Tokenização Limita a Representação de Conhecimento Fonológico em Modelos de Linguagem e Como Melhorá-los

Autores: Disen Liao e Freda Shi (Universidade de Waterloo e Vector Institute).

---

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) têm demonstrado sucesso notável em diversas tarefas, mas sua compreensão da estrutura sonora das palavras (fonologia) — como pronúncia, rima e silabação — permanece pouco compreendida, especialmente em modelos que são treinados apenas com texto e nunca com áudio.

O problema central identificado pelos autores é que a tokenização (o primeiro passo no processamento de texto em qualquer LM) ignora completamente os sons das palavras. Os métodos de tokenização baseados em subpalavras (como BPE e SentencePiece), embora computacionalmente eficientes, introduzem vieses sistemáticos que prejudicam a capacidade do modelo de representar conhecimento fonológico. Especificamente:

1. Granularidade Grossa: A tokenização pode ser muito grosseira para capturar características fonológicas locais (ex: rimas).
2. Desalinhamento: Os limites dos tokens frequentemente não coincidem com os limites naturais das sílabas, dificultando a aprendizagem de estruturas prosódicas.

2. Metodologia

Os autores adotaram uma abordagem sistemática dividida em três experimentos principais:

Experimento 1: Sondagem (Probing) de Conhecimento Fonológico

• Objetivo: Investigar o quanto os estados ocultos (hidden states) dos LMs codificam informações fonológicas.
• Tarefa: Foram utilizados três tarefas representativas:
  1. Consciência de Rima: Classificação binária para determinar se duas palavras rimam perfeitamente.
  2. Conversão Grafema-Fonema (G2P): Regressão para converter palavras escritas em sua representação fonêmica (ARPAbet).
  3. Contagem de Sílabas: Regressão para prever o número de sílabas de uma palavra.
• Método: Treinamento de classificadores lineares leves (probes) sobre os estados ocultos de diferentes camadas de modelos como BERT, GPT-2, Llama3, Mistral, etc., para prever as propriedades fonológicas.

Experimento 2: Análise do Impacto da Tokenização

• Hipótese: O desalinhamento entre a tokenização e a estrutura silábica degrada o desempenho fonológico.
• Métrica Proposta (STAD): Os autores introduzem a Distância de Alinhamento Silabação-Tokenização (STAD - Syllabification-Tokenization Alignment Distance). Esta métrica quantifica a discrepância entre os pontos de divisão dos tokens e os limites naturais das sílabas (calculada como a distância de Hamming normalizada).
• Análise: Comparação do desempenho dos modelos em palavras com baixo STAD (alinhadas) versus alto STAD (desalinhadas).
• Investigação de Causa: Uso do banco de dados CogNet para analisar se palavras com alta variabilidade ortográfica (empréstimos linguísticos e cognatos) tendem a ter maior STAD.

Experimento 3: Fine-tuning para Melhorar o Raciocínio

• Objetivo: Mitigar as limitações da tokenização sem substituir o vocabulário do modelo (o que seria invasivo).
• Solução: Um método de fine-tuning leve que incorpora explicitamente informações fonológicas usando o Alfabeto Fonético Internacional (IPA).
• Estratégia de Dados:
  • Augmentation de dados de QA gerais: Inserção de anotações IPA em palavras aleatórias dentro de perguntas e respostas.
  • Tarefas específicas de fonologia: Exemplos conversacionais onde o modelo deve raciocinar explicitamente sobre transcrições IPA para responder.
• Modelo: Fine-tuning do Llama3.1-8B-Instruct usando LoRA (Low-Rank Adaptation).

3. Principais Resultados

Sobre a Representação Interna (Probing)

• Os LMs codificam conhecimento fonológico em seus estados ocultos, mas de forma imperfeita.
• A informação fonológica é mais forte nas camadas intermediárias (entre 20% e 60% da profundidade do modelo), sugerindo que avaliações baseadas apenas em prompts finais podem subestimar esse conhecimento.
• Tokenização de Caracteres: A introdução de delimitadores (ex: /) para forçar uma tokenização mais granular (caractere a caractere) melhorou significativamente a detecção de rimas em todos os modelos testados, provando que a granularidade do token é um gargalo.

Sobre o Desalinhamento (STAD)

• Existe uma correlação forte entre o STAD e o desempenho: palavras com tokens alinhados às sílabas (STAD baixo) resultam em desempenho significativamente superior nas tarefas de G2P e contagem de sílabas.
• Causa Linguística: Palavras com alto STAD tendem a ser empréstimos linguísticos ou cognatos com alta variabilidade ortográfica entre idiomas (ex: "musical" em várias línguas), o que confunde os algoritmos de tokenização baseados em frequência.

Sobre o Fine-tuning (IPA)

• O modelo Llama3.1-8B-IPA (fine-tuned) apresentou melhorias consistentes e significativas nas três tarefas fonológicas.
• Preservação de Capacidades: O modelo manteve a maior parte de sua capacidade de raciocínio geral. Houve uma pequena queda de desempenho em benchmarks gerais (GSM8K: -1.1%, MMLU: -0.9%), mas sem sinais de "esquecimento catastrófico".
• A inserção de tokens de IPA no fine-tuning ensinou o modelo a utilizar side-information fonológica de forma eficaz.

4. Contribuições Chave

1. Diagnóstico Quantitativo (STAD): A introdução da métrica STAD, que transforma a intuição sobre o desalinhamento de tokens em uma ferramenta diagnóstica mensurável para avaliar e projetar tokenizadores.
2. Análise de Causalidade: Demonstração de que a tokenização é um fator limitante primário para o desempenho fonológico em LMs de texto puro, isolando o papel da ortografia versus a estrutura sonora.
3. Solução Prática: Proposta de um método de fine-tuning leve e não invasivo (baseado em IPA) que melhora o raciocínio fonológico sem a necessidade de reentrenar o modelo do zero ou alterar o vocabulário base.
4. Insights sobre Cognatos: Evidência de que a variabilidade ortográfica de empréstimos linguísticos é uma fonte principal de desalinhamento entre tokenização e fonologia.

5. Significado e Impacto

Este trabalho é fundamental para a comunidade de PLN por:

• Desmistificar a "Fonologia em Texto": Mostra que LMs podem aprender fonologia apenas a partir de texto, mas que a arquitetura de tokenização atua como um "gargalo" que impede a representação precisa.
• Direcionar o Design de Modelos Futuros: Sugere que futuros tokenizadores devem considerar princípios fonológicos (como limites de sílabas) para melhorar a compreensão linguística profunda, não apenas a eficiência de compressão.
• Aplicações Práticas: Oferece uma solução imediata para melhorar aplicações que dependem de fonologia, como geração de poesia, assistentes de aprendizado de idiomas e conversão de texto para fala (TTS), utilizando modelos existentes com um custo computacional baixo de adaptação.

Em resumo, o artigo conclui que as falhas fonológicas em LMs não são necessariamente devido à ausência de conhecimento, mas sim à interface inadequada entre a segmentação de subpalavras e a estrutura fonológica natural, e que esse problema pode ser mitigado tanto pelo redesign de tokenizadores quanto por técnicas de fine-tuning supervisionado.