Resumo Técnico: Perdido na Tradução? Explorando a Mudança de Gênero Gramatical do Latim para o Occitano

1. Declaração do Problema

O artigo aborda a evolução diacrônica do gênero gramatical do Latim Vulgar ao Occitano Medieval, focando especificamente na transição de um sistema tripartite (masculino, feminino, neutro) para um bipartido (masculino, feminino). Embora a linguística histórica estabeleça que os substantivos neutros latinos foram amplamente absorvidos pelo gênero masculino, os fatores específicos que governam essa reatribuição no occitano — sejam eles semânticos, fonológicos ou morfológicos — permanecem insuficientemente estudados.

O estudo opera dentro das restrições de um cenário histórico de baixos recursos. O Occitano Medieval caracteriza-se por:

• Escassez de Dados: Corpos anotados limitados.
• Instabilidade Ortográfica: Variações extensas de ortografia dentro e entre textos devido à falta de uma norma padronizada.
• Fragmentação Dialetal: Ausência de um padrão unificado.

As principais questões de pesquisa são:

1. PQ1 (Léxica): Em que medida o gênero gramatical dos substantivos occitanos derivados da classe neutra latina pode ser previsto exclusivamente por características ao nível da palavra (fonológicas e morfológicas)?
2. PQ2 (Contextual): Como a informação de gênero é distribuída entre características léxicas e contexto ao nível da frase, e como essas fontes contribuem para as previsões do modelo?

2. Metodologia

Dados e Pré-processamento

O estudo utiliza três fontes anotadas: Lo Codi (direito), Chanson de la Croisade Albigeoise (poesia) e o Projeto de Dicionário DOM. O conjunto de dados compreende pares de lemas Latim–Occitano com rótulos de gênero gramatical.

• Estratégia de Tokenização: Reconhecendo que os tokenizadores padrão falham com ruído ortográfico histórico, os autores propõem uma política de tokenização híbrida. Esta combina Codificação de Pares de Bytes (BPE) adaptada ao occitano com um fallback ao nível da palavra. Esta abordagem alcança taxas zero de Fora do Vocabulário (OOV) e recuperação superior de tokens mascarados em comparação com WordPiece padrão ou segmentação apenas de subpalavras.
• Seleção de Embeddings: Um estudo comparativo de FastText, mBERT e ByT5 identificou o mBERT como a base mais eficaz para capturar a variação do Occitano Medieval e a estrutura multilíngue.
• Adaptação de Domínio: O modelo mBERT passou por ajuste fino de Modelagem de Linguagem Mascarada (MLM) adaptada ao domínio em textos occitanos brutos para se adequar melhor ao corpus.

Estrutura Experimental

Os autores empregam um framework de aprendizado profundo interpretável para desvendar sinais internos do lema de sinais contextuais.

A. Previsão ao Nível Léxico (PQ1)

• Entrada: Lemas occitanos isolados e seus lemas latinos correspondentes.
• Características:
  • Morfológicas/Fonotáticas: Substrings iniciais, n-gramas de caracteres de sufixo (1–4), contagem de sílabas e modelos VC (Vogal-Consoante).
  • Proxy de Acento: Uma aproximação heurística da posição do acento (última/penúltima/antepenúltima).
  • Embeddings: Representações congeladas de mBERT, ByT5 e FastText.
• Modelos: Um conjunto diversificado de classificadores, desde modelos lineares (Regressão Logística) até ensembles não lineares (Random Forest, XGBoost) e arquiteturas neurais (FFN, BiLSTM, modelos baseados em Atenção).
• Validação: Validação cruzada de 10 dobras agrupada por lema para evitar vazamento de dados entre variantes ortográficas do mesmo lema.

B. Previsão Contextual (PQ2)

• Entrada: Frases occitanas contendo o substantivo-alvo, vinculadas a lemas latinos.
• Configurações:
  1. Apenas Palavra: Usa embeddings isolados e metadados latinos.
  2. Foco no Contexto: Usa atenção condicionada ao substantivo sobre a codificação completa da frase.
  3. Contexto Mascarado: O substantivo-alvo é substituído por [MASK], forçando o modelo a prever o gênero baseado apenas em pistas de concordância circundantes (artigos, adjetivos).
• Análise: O estudo utiliza valores SHAP para atribuição de características e oclusão condicionada à Classe Gramatical (PoS) para quantificar a contribuição de partes específicas do discurso (por exemplo, determinantes, adjetivos) para a previsão.

3. Resultados Principais

Desempenho ao Nível Léxico

• Desempenho do Modelo: Modelos de sequência neural, particularmente um BiLSTM 2× com Atenção Auto-referente Multi-cabeça (MHSA), superaram as linhas de base rasas. A melhor configuração usou embeddings mBERT com perda focal e ponderação de classes para lidar com o desequilíbrio.
• Importância das Características: Estudos de ablação revelaram que n-gramas de caracteres de sufixo (especialmente terminações latinas e occitanas) são as características mais preditivas, causando as maiores quedas de desempenho quando removidas (1,6–1,8 pontos Macro-F1). Comprimento e metacaracterísticas foram contribuintes secundários. Proxies de acento tiveram impacto mínimo.
• Linha de Base: O melhor modelo apenas léxico alcançou um Macro-F1 de 0,8224 (mBERT).

Influência Contextual

• Ganho de Desempenho: Incorporar contexto ao nível da frase melhorou significativamente o desempenho. O modelo focado no contexto alcançou um Macro-F1 de 0,929, um aumento substancial sobre a linha de base apenas palavra (0,665).
• Contexto Mascarado: Mesmo quando o substantivo foi mascarado, o modelo alcançou um Macro-F1 de 0,902, demonstrando que as pistas de concordância circundantes (artigos, adjetivos) carregam forte informação de gênero.
• Desambiguação: Em casos onde a representação do lema era ambígua (por exemplo, ome), o modelo contextual deslocou com sucesso as previsões para o gênero correto, aproveitando tokens de concordância (por exemplo, o artigo aquill).
• Atribuição: Análises SHAP e de oclusão confirmaram que substantivos, determinantes e adjetivos fornecem a evidência contextual positiva mais confiável, enquanto conjunções e preposições contribuíram com sinais negativos ou negligenciáveis.

Padrões de Mudança de Gênero

• Os dados confirmam a absorção de neuters latinos no masculino occitano (3.055 casos) e feminino (1.448 casos).
• Embora a terminação -um esteja fortemente associada a resultados masculinos, é paradoxalmente a terminação mais comum para substantivos que mudaram para o feminino, destacando que contagens de frequência bruta são insuficientes para explicar a mudança sem considerar pistas morfológicas.

4. Significado e Contribuições

O artigo reivindica as seguintes contribuições para os campos de PLN e linguística histórica:

1. Framework Interpretável para História de Baixos Recursos: Introduz um framework geral para desvendar sinais internos do lema e sinais contextuais na previsão de gênero gramatical, especificamente adaptado para línguas históricas ruidosas e de baixos recursos.
2. Inovação em Tokenização: Demonstra que estratégias de tokenização padrão são insuficientes para o Occitano Medieval e propõe uma política de tokenização híbrida que melhora a robustez contra variação ortográfica e ruído de ortografia.
3. Quantificação da Distribuição de Gênero: O estudo caracteriza a distribuição da informação de gênero, mostrando que, embora sufixos morfológicos forneçam a codificação estrutural primária, a concordância ao nível da frase (artigos, adjetivos) é crítica para desambiguação e resolução de ambiguidade lexical.
4. Disponibilidade de Recursos: Os autores disponibilizam seu código, conjuntos de dados e resultados para facilitar pesquisas futuras em PLN histórico.

5. Limitações

Os autores reconhecem modestamente várias restrições:

• Desequilíbrio de Dados: O conjunto de dados permanece relativamente pequeno com uma distribuição de gênero enviesada (aproximadamente 2:1 masculino para feminino), o que pode limitar a generalização para a classe minoritária, apesar das técnicas de mitigação.
• Pré-processamento Heurístico: Componentes-chave, como o limite de correspondência difusa e o proxy de posição de acento, foram definidos heuristically e podem introduzir ruído.
• Precisão de Anotação: A atribuição de Classe Gramatical (PoS) depende de anotação automática com ~71% de precisão, potencialmente enviesando os resultados de atribuição.
• Escopo: As descobertas referem-se à previsão sincrônica de gênero no Occitano Medieval e ao colapso do neutro Latim-para-Occitano. O artigo não reivindica resolver definitivamente a questão diacrônica de o que impulsionou a reatribuição histórica, observando que isso exigiria diferentes designs experimentais e dados diacrônicos paralelos.