Resumo Técnico: Morpheus – Um Tokenizador e Embutidor de Palavras Neural Consciente da Morfologia para o Turco

1. Declaração do Problema

O turco é uma língua aglutinante onde o significado semântico é carregado por cadeias de sufixos derivacionais e inflexionais anexados a uma raiz. As ferramentas atuais de Processamento de Linguagem Natural (PLN) para o turco enfrentam duas limitações primordiais:

• Deficiências de Tokenização: Os tokenizadores de subpalavras padrão (BPE, WordPiece, Unigram) segmentam palavras com base em estatísticas de corpus, em vez da morfologia linguística. Isso leva à fragmentação de sufixos semanticamente carregados, inflando os comprimentos de sequência (fertilidade) e aumentando os custos computacionais. Além disso, muitos tokenizadores amplamente utilizados não são reversíveis; eles removem diacríticos ou aplicam re-harmonização canônica (normalização), o que significa que decode(encode(w)) não é igual à string original w. Essa perda de fidelidade de superfície corrompe as saídas de modelos generativos. Por outro lado, analisadores baseados em regras (ex: Zemberek) e segmentadores não supervisionados (ex: Morfessor) oferecem melhor alinhamento morfológico, mas são ou perdedores de informação, ou limitados ao dicionário, ou não otimizados para modelagem de linguagem.
• Lacunas de Representação: Os sistemas atuais de representação de palavras tratam a tokenização e o embutimento (embedding) como processos separados e disjuntos. Codificadores contextuais como o BERTurk são pesados, dependem de vocabulários de subpalavras com perda de informação e tratam a morfologia apenas implicitamente. Existe uma falta de um sistema unificado que produza tokens discretos e sem perdas, enquanto gera simultaneamente embutimentos de palavras estruturados que respeitem inerentemente as relações morfológicas (ex: agrupando kitap, kitaplar, kitabımız por construção).

2. Metodologia

O artigo apresenta o Morpheus, um modelo de fronteira de morfema neural projetado para funcionar simultaneamente como um tokenizador consciente da morfologia e sem perdas, e um produtor de embutimento de palavras.

Arquitetura

O Morpheus processa uma palavra como uma sequência de caracteres e produz tanto as fronteiras de morfemas quanto um único embutimento de palavra em uma única passagem direta (forward pass):

1. Codificador de Caracteres: Os embutimentos de caracteres são concatenados com embutimentos de flag de caixa aprendidos e passados por convoluções multiescala (larguras de kernel 2–6) e três camadas de autoatenção. Crucialmente, Embeddings de Posição Rotativos (RoPE) são aplicados para capturar deslocamentos relativos entre caracteres, permitindo que o modelo raciocine sobre as posições dos sufixos em relação à raiz, em vez de índices absolutos.
2. Detector de Fronteira: Uma pilha de quatro camadas de autoatenção RoPE seguida por uma cabeça de pontuação prevê uma probabilidade $p_i \in [0, 1]$ para uma fronteira em cada posição inter-caractere.
3. Segmentação Poisson–Binomial Diferenciável: Para evitar operações argmax não diferenciáveis que bloqueariam o fluxo de gradiente, o Morpheus emprega um programa dinâmico diferenciável. Ele trata as probabilidades de fronteira como ensaios de Bernoulli independentes e computa uma matriz de pertinência morfológica suave $M$ usando uma distribuição Poisson–binomial.
   • Treinamento: Os gradientes fluem através da matriz de pertinência suave $M$ para o detector de fronteira, moldados por objetivos supervisionados e autossupervisionados.
   • Inferência: À medida que as probabilidades convergem para 0 ou 1, a matriz suave torna-se uma segmentação rígida (hard) de um-em-um (one-hot), recuperando fronteiras exatas sem alterações arquiteturais.
   • Preservação de Superfície: O mecanismo apenas agrupa caracteres; ele nunca insere, descarta ou reescreve eles. Isso garante que decode(encode(w) = w seja mantido por construção.
4. Embutimento de Palavra: Os vetores de segmento são computados via pooling de atenção de vetores de caracteres ponderados por sua pertinência em $M$. Estes são agregados em um embutimento de palavra final de 320 dimensões ($e_w$) através de uma rede feed-forward.

Objetivos de Treinamento

O modelo é treinado com uma soma ponderada de quatro perdas:

• Perda Auxiliar ($L_{aux}$): Uma entropia cruzada binária (BCE) de fronteira e um regularizador de contagem contra rótulos de um analisador Morfessor não supervisionado (com correção de raiz). Este peso decai curricularmente de 0.50 para 0.08.
• Amostragem Negativa Skip-Gram ($L_{sgns}$): Objetivo padrão no estilo word2vec.
• Perda Contrastiva ($L_{ctr}$): Uma perda InfoNCE sobre a identidade da raiz, aproximando todas as inflexões da mesma raiz.
• Modelagem de Linguagem Mascarada ($L_{mlm}$): Uma tarefa de reconstrução de nível de caractere livre de vocabulário, onde palavras mascaradas são regeneradas caractere por caractere.

3. Principais Contribuições

1. Modelo Unificado: O Morpheus é o primeiro modelo a atuar tanto como um tokenizador sem perdas e consciente da morfologia quanto como um produtor de embutimento de palavras estruturado para o turco, unificando tokenização e representação.
2. Segmentação Diferenciável: A introdução de um programa dinâmico Poisson–binomial diferenciável permite o treinamento de ponta a ponta da detecção de fronteiras, garantindo uma segmentação rígida exata e reversível na inferência.
3. Avaliação Abrangente: O artigo estabelece um novo eixo de avaliação para a tokenização do turco: reversibilidade. Demonstra que muitos tokenizadores de alto desempenho são inválidos para tarefas generativas devido à decodificação com perda de informação.

4. Resultados

Desempenho de Tokenização

• Reversibilidade: O Morpheus atinge 100% de reversibilidade (decode(encode(w) = w), enquanto o WordPiece (58.2%) e o TurkishTokenizer baseado em regras (95.4%) falham devido à remoção de diacríticos e normalização canônica, respectivamente.
• Alinhamento Morfológico: No benchmark MorphScore (UD Turkish-Kenet), o Morpheus atinge um macro-F1 de 0.61, aproximadamente o dobro dos tokenizadores de subpalavras (~0.32) e comparável ao TurkishTokenizer baseado em regras (0.65), mas sem as ressalvas de decodificação com perda de informação.
• Eficiência e Qualidade: Entre os tokenizadores reversíveis, o Morpheus atinge o menor Bits-Per-Character (BPC) de 1.425 (vs. 1.436 para BPE). Ele utiliza aproximadamente 19% menos memória GPU de pico do que os tokenizadores de subpalavras com vocabulário de 64K durante a geração.
• Fertilidade: O Morpheus possui uma razão maior de tokens por palavra (1.73) em comparação com os tokenizadores de subpalavras (~1.5), um compromisso para obter granularidade ao nível de morfema.

Desempenho de Embutimento

Avaliado em vetores congelados contra BERTurk e BGE-M3:

• Tarefas Lexicais/de Raiz: O Morpheus lidera decisivamente na recuperação de família de raízes (MAP 0.85 vs. 0.80 para BGE-M3) e verificação de mesma raiz (ROC-AUC 1.00 vs. 0.98). A geometria centrada na raiz agrupa efetivamente as inflexões.
• Tarefas Contextuais/Inflexionais: O Morpheus tem um desempenho inferior em tarefas que exigem contexto de frase ou distinções inflexionais finas (ex: NER, sondagem de número/caso), onde codificadores contextuais mais pesados (BERTurk, BGE-M3) permanecem superiores.

5. Significância e Alegações

O artigo argumenta que a reversibilidade é o portão decisivo para tokenizadores destinados a modelos generativos. Ao filtrar tokenizadores não reversíveis, o Morpheus emerge como a opção superior para o PLN do turco, oferecendo o menor BPC, o maior alinhamento morfológico e a menor pegada de memória simultaneamente.

Os autores posicionam o Morpheus não como um substituto para codificadores contextuais, mas como um codificador lexical complementar e consciente da morfologia. Seu embutimento centrado na raiz é ideal para recuperação lexical, deduplicação e correspondência de palavras-chave em sistemas RAG multivetoriais, enquanto os codificadores contextuais lidam com a semântica ao nível da frase.

O trabalho demonstra que um único mecanismo neural pode unir com sucesso a lacuna entre tokenização e representação, fornecendo uma alternativa "sem perdas, consciente da morfologia e produtora de embutimento" às ferramentas fragmentadas, com perda de informação ou cegas à morfologia atualmente disponíveis para línguas aglutinantes.