Automatic Annotation of Ancient Greek Vowel Length

Resumo Técnico: Anotação Automática da Comprimento de Vogais do Grego Antigo

Definição do Problema
O artigo aborda o desafio de "macronizar" o texto grego antigo: a desambiguação da duração fonêmica das vogais para as letras alfa (α), iota (ι) e úpsilon (υ), coletivamente conhecidas como dichrona. Diferente de outras vogais, a duração dessas três letras não é indicada na escrita padrão e depende de uma interação complexa de fatores, incluindo lemma, morfologia, sandhi, dialeto, período histórico, gênero e contexto métrico. Antes deste trabalho, nenhum corpus de grande escala e disponível publicamente contendo o grego antigo possuía essa desambiguação, e as ferramentas de Processamento de Linguagem Natural (PLN) existentes dependiam de textos não marcados ou dicionários estáticos específicos de um corpus que careciam de generalização. Os autores identificam isso como um "problema de cauda longa" devido ao enorme volume de formas de palavras e à alta dependência de contexto de instâncias individuais.

Metodologia
Os autores propõem um pipeline de dois estágios para resolver este problema: um sistema baseado em regras seguido por um classificador neural treinado na saída do sistema baseado em regras.

1. Macronizador Baseado em Regras:

   • Entrada: O sistema aceita texto grego antigo pré-anotado com lemmas, classe gramatical (POS) e etiquetas morfológicas no formato padrão CoNLL-U (gerado pela ferramenta odyCy).
   • Arquitetura: O sistema emprega treze módulos aplicados em uma ordem fixa de confiabilidade para garantir que módulos posteriores não sobrescrevam decisões anteriores mais certas.
     • Módulos de Banco de Dados: Utilizam um dicionário de aproximadamente 425.000 formas ambíguas derivadas do Wiktionary, Liddell–Scott–Jones (LSJ) e versos digitalizados do Hypotactic, juntamente com um banco de dados curado à mão de formas comuns.
     • Módulos Algorítmicos: Aplicam leis clássicas de acentuação Ática (por exemplo, a regra sōtēr), regras gerais para terminações nominais/verbais e análise de prefixos.
     • Módulos Recursivos: Lidam com falhas de busca normalizando variantes (por exemplo, recuperando casos oblíquos a partir de nominativos, desfazendo elisão, convertendo acentos graves em agudos).
   • Lógica: O sistema atribui a duração Ática antiga a formas com morfologia idêntica, mas durações divergentes entre os textos. Para formas ambíguas sem divisões claras de gênero/período, ele assume por padrão a vogal curta, refletindo a prevalência estatística de vogais curtas nos clássicos Áticos.
   • Saída: As vogais longas são marcadas com um sublinhado ("_"), as curtas com um acento circunflexo ("^") e casos não resolvidos permanecem sem marcação.

2. Transformer Macronizador (Classificador Neural):

   • Dados de Treinamento: O sistema baseado em regras foi executado sobre o corpus Opera Graeca Adnotata (OGA) de 40 milhões de tokens, gerando dados de treinamento "silver".
   • Arquitetura: Um codificador transformer de nível de caractere (aproximadamente 0,87M de parâmetros) foi treinado. Ele fatia os caracteres em dois planos: um plano de letras (24 letras gregas + variantes) e um plano de diacríticos (acentos, marcas de respiração, diaerese).
   • Estratégia de Treinamento: O modelo prevê uma de três classes (nenhuma/curta/longa) para dichrona ambíguos. Crucialmente, durante o treinamento, as posições onde o sistema baseado em regras se absteve (deixou sem marcação) foram mascaradas da função de perda, evitando que o modelo aprenda padrões implícitos incorretos. O modelo também foi treinado em entrada sem acentuação, removendo aleatoriamente o plano de diacríticos.

Principais Contribuições

• Primeiro Macronizador de Propósito Geral: O artigo apresenta o primeiro sistema capaz de macronizar qualquer entrada de grego antigo, indo além de dicionários estáticos e específicos de um corpus.
• Corpus Silver de Grande Escala: Os autores geraram e liberaram um conjunto de dados no HuggingFace contendo 2,2 milhões de sentenças macronizadas, cobrindo 69,2% dos dichrona de sílaba aberta no corpus OGA.
• Criação de Benchmark: Um novo benchmark anotado manualmente, Norma Syllabarum Graecarum, foi criado para avaliar a duração de vogais e o peso silábico através de 1.228 linhas de versos e prosa de quatorze autores abrangendo desde a era arcaica até a imperial.
• Validação da Abordagem Híbrida: O estudo demonstra que um pequeno transformer de nível de caractere, treinado na saída de um sistema baseado em regras, pode generalizar para casos que o sistema baseado em regras não consegue resolver.

Resultados
A avaliação no benchmark Norma Syllabarum Graecarum (1.916 posições gold) rendeu as seguintes descobertas:

• Sistema Baseado em Regras: Alcançou alta precisão (96,0% mista), mas cobertura limitada (69,5%), atuando como um filtro confiável, porém conservador.
• Sistema Transformer: Melhorou significativamente a cobertura para 99,7% enquanto mantinha alta acurácia. Alcançou uma acurácia de rótulo misto de 92,0% e um F1 score de 92,2%, superando o F1 de 78,7% do sistema baseado em regras. Notavelmente, o transformer melhorou o recall para vogais longas em quase 10% e para vogais curtas em mais de 25% em comparação com o sistema baseado em regras.
• Impacto Downstream: O ajuste fino de um classificador de escansão (que prevê padrões métricos em hexâmetro) em texto macronizado melhorou a acurácia em uma média de 5,8% em comparação com a entrada não macronizada.

Significância e Alegações
Os autores alegam que seu trabalho fornece a infraestrutura necessária para que o PLN do Grego Antigo vá além do texto não marcado. Ao combinar um sistema baseado em regras interpretável e conservador com um modelo neural generalista, eles alcançam uma cobertura quase completa da ambiguidade da duração das vogais sem sacrificar a precisão da abordagem baseada em regras. O artigo afirma que a macronização não é meramente um exercício linguístico, mas uma necessidade funcional para tarefas subsequentes como a escansão automática, que dependem do peso silábico. Os autores liberam o corpus macronizado, ambos os modelos e o benchmark como recursos de código aberto para servir de base para pesquisas futuras em PLN do Grego Antigo, incluindo estilometria e etiquetagem morfológica.

Limitações
Os autores reconhecem várias restrições:

• Normalização Ática: O sistema assume por padrão os valores Áticos antigos para formas com durações divergentes entre dialetos ou períodos (ex: grego homérico, dórico ou bizantino), introduzindo um viés sistemático para corpora não áticos.
• Dependência de Anotação Upstream: O desempenho do sistema é contingente à precisão dos etiquetadores de lemma e morfologia upstream (odyCy e Trankit). Erros nessas etiquetas propagam-se diretamente para a macronização.
• Teto Professor-Aluno (Teacher-Student Ceiling): O transformer é treinado exclusivamente nos julgamentos do sistema baseado em regras; portanto, seu teto de desempenho é limitado pelos erros do sistema baseado em regras, e não pelo padrão ouro (gold standard), particularmente para erros sistemáticos na base de regras.