From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages

Resumo Técnico: De Taggers Tradicionais a LLMs para Tagging de Classes Gramaticais em Romance Medieval

Declaração do Problema
O tagging de classes gramaticais (POS) para línguas românicas medievais (especificamente occitano medieval, catalão medieval e francês medieval) enfrenta obstáculos significativos devido à instabilidade ortográfica, diversidade dialetal, morfologia complexa e escassez de recursos anotados. Ferramentas computacionais tradicionais, frequentemente adaptadas de línguas padronizadas modernas, lutam com essas variações, levando à degradação do desempenho. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam potencial por meio de representações contextuais aprendidas a partir de corpora multilíngues massivos, há uma falta de avaliação empírica sistemática quanto à sua eficácia no processamento de textos medievais, particularmente no que diz respeito a estratégias de prompting, regimes de ajuste fino e aprendizado de transferência interlinguística.

Metodologia
Os autores apresentam um estudo comparativo controlado avaliando taggers tradicionais baseados em regras/estatísticos contra LLMs de código aberto modernos em três conjuntos de dados medievais distintos:

1. Occitano Medieval (NAF): Texto literário do século XIV (~45k tokens).
2. Catalão Medieval (CAT): Crônica do século XIII (~59k tokens).
3. Francês Medieval (Chauliac): Tratado médico do século XV (~2,4k tokens).

O estudo emprega cinco configurações experimentais utilizando Gemma3-12B e Phi4-14B como LLMs primários, comparados com UDPipe e COLaF como baselines tradicionais:

• Baselines Tradicionais: Aplicação direta de taggers prontos para uso.
• Prompting de LLM: Avaliação sob condições de zero-shot e few-shot. Os prompts few-shot incluíram exemplos das três variedades para expor os modelos à heterogeneidade ortográfica. Estratégias de decodificação incluíram busca em feixe (beam search), amostragem por temperatura, top-k e top-p.
• Ajuste Fino Monolíngue: Modelos treinados em 80% de um único conjunto de dados e testados nos 20% restantes.
• Aprendizado de Transferência Interlinguística Bilíngue (CLTF): Modelos treinados na união de dois conjuntos de dados (por exemplo, CAT+OCC) e testados nos 20% retidos de cada um.
• CLTF Trilíngue: Modelos treinados nos 80% combinados de todos os três conjuntos de dados e testados separadamente em cada língua.

O desempenho foi medido usando precisão e escores F1 macro-médiados, com foco em como a proximidade linguística e a composição do conjunto de dados influenciam a eficácia da transferência.

Resultados Principais

• Superioridade dos LLMs: Abordagens baseadas em LLMs superaram consistentemente os taggers tradicionais. Métodos tradicionais alcançaram uma precisão média de 71,56%, enquanto a inferência de LLM baseada em prompting atingiu 77,75%, e o ajuste fino supervisionado aumentou isso para 85,19%.
• Impacto dos Regimes de Treinamento:
  • Ajuste Fino: O ajuste fino monolíngue produziu os melhores resultados para o catalão medieval (superando 92% de precisão com Gemma3).
  • Transferência Interlinguística: O treinamento multilíngue proporcionou os ganhos mais significativos para variedades de menor recurso. O CLTF trilíngue melhorou a precisão do occitano medieval de 80,09% (monolíngue) para 89,68%.
  • Transferência Bilíngue Direcionada: Contrariando a suposição de que uma exposição multilíngue mais ampla é sempre ótima, o treinamento bilíngue direcionado superou o treinamento trilíngue para casos específicos. Para o francês medieval, a configuração bilíngue CAT+FR alcançou 93,14% de precisão, superando tanto o ajuste fino monolíngue quanto o CLTF trilíngue (88,23%).
• Decodificação e Prompting: O prompting few-shot melhorou consistentemente o desempenho em relação ao zero-shot. A decodificação determinística (busca em feixe) geralmente superou métodos baseados em amostragem.
• Desempenho Específico por Classe: LLMs, particularmente os ajustados finamente, mostraram melhorias marcantes na desambiguação de classes semanticamente ricas (adjetivos, advérbios, pronomes) em comparação com métodos tradicionais, enquanto palavras funcionais permaneceram estáveis em todas as abordagens.

Contribuições Principais

1. Comparação Empírica: O estudo fornece uma avaliação sistemática de taggers tradicionais versus LLMs modernos através de múltiplos regimes de treinamento e inferência para línguas românicas medievais.
2. Análise de Aprendizado de Transferência: Analisa a eficácia de configurações de transferência bilíngue e trilíngue, destacando que a proximidade linguística por si só não garante o sucesso; tamanho do corpus, gênero e pares de idiomas específicos são fatores críticos.
3. Diretrizes Práticas: Os autores oferecem recomendações para selecionar estratégias de modelagem com base em restrições de recursos, observando que o treinamento multilíngue beneficia variedades sub-representadas, enquanto configurações bilíngues direcionadas podem ser superiores para conjuntos de dados pequenos e específicos de domínio.

Significado e Afirmações
O artigo afirma fornecer insights empíricos sobre a aplicabilidade de métodos neurais modernos ao processamento de textos medievais. Argumenta que, embora a proximidade genealógica seja um fator, o design de estratégias de transferência para PLN histórico deve também levar em conta as características do conjunto de dados (tamanho e domínio). As descobertas sugerem que modelos neurais contemporâneos podem complementar significativamente os métodos tradicionais de anotação linguística, apoiando o desenvolvimento de pipelines mais robustos para pesquisa em humanidades digitais. Os autores enfatizam que esses resultados são específicos aos conjuntos de dados e modelos avaliados, notando limitações quanto à falta de experimentos de subamostragem controlada para desvendar completamente os efeitos do tamanho do corpus versus a proximidade genealógica. Todo o código, modelos e conjuntos de dados processados são liberados para garantir a reprodutibilidade.