A Reproducible Universal Dependencies-Style Pipeline for Katharevousa Greek Parliamentary Text

Resumo Técnico: Um Pipeline Reprodutível no Estilo Universal Dependencies para Textos Parlamentares Gregos em Katharevousa

Enunciação do Problema
O grego Katharevousa, um registro oficial arcaizante que faz a ponte entre o Grego Antigo e o Grego Demótico Moderno, permanece subatendido pelos pipelines contemporâneos de Processamento de Linguagem Natural (PLN). Isso é particularmente crítico para arquivos digitais contendo registros legais, administrativos e parlamentares do período pós-junta inicial da Grécia (1976–1977). Esses textos apresentam um desafio único: combinam vocabulário institucional moderno com morfologia arcaica, fórmulas legais e construções sintáticas que são fracamente representadas nos dados de treinamento atuais. Os analisadores sintáticos existentes para Grego Moderno ou Grego Antigo não se transferem limpa e eficazmente para este registro específico, e a presença de ruído de OCR, artefatos de quebra de linha e metadados inconsistentes complicam ainda mais a análise sintática. Sem análise de dependência confiável, tarefas subsequentes, como análise de estrutura argumental, extração de atores e estudos diacrônicos de registro, permanecem frágeis.

Metodologia
Os autores apresentam um pipeline totalmente reprodutível, de ponta a ponta, projetado para converter perguntas parlamentares derivadas de OCR ruidoso em um recurso sintático fixo, no estilo Universal Dependencies (UD). O fluxo de trabalho é estruturado da seguinte forma:

1. Reconstrução de Dados: O pipeline começa com scripts executáveis que reconstroem o texto a partir de fontes DOCX e XLSX, tratando questões específicas de OCR, como hifenização de quebra de linha, junção de palavras divididas e normalização de pontuação.
2. Protocolo de Anotação: Os autores empregam um processo de anotação assistido por um Modelo de Linguagem de Grande Escala (LLM) com restrição de esquema. Em vez de confiar em saídas de LLM não verificadas, o sistema utiliza rastreamento de progresso baseado em deslocamento, estados resumíveis e filas de repetição para lotes com falha. Crucialmente, todas as anotações passam por validação automática contra restrições de árvore antes de serem admitidas no conjunto de referência "congelado".
3. Snapshot de Referência: O conjunto de dados final consiste em 1.697 frases (1.357 para treinamento, 340 mantidas de fora para teste) divididas deterministicamente usando a semente 42. Os dados são formatados como CoNLL-U com campos UD padrão (FORM, LEMMA, UPOS, FEATS, HEAD, DEPREL) e incluem metadados secundários para fenômenos específicos do Katharevousa (por exemplo, classes de léxicos arcaicos, marcadores de registro legal).
4. Avaliação de Modelo: O estudo avalia múltiplas famílias de modelos sob um protocolo de pontuação unificado usando os mesmos limites de token:
   • Baselines Externas: Sistemas prontos para uso spaCy (Grego), Stanza (Grego) e Stanza (Grego Antigo/PROIEL).
   • Modelos Personalizados: Um analisador sintático logístico baseado em características, um modelo Stanza personalizado, mBERT e um analisador sintático baseado em transformador XLM-R.
5. Reprodutibilidade: Todo o pipeline, incluindo código, esquemas, anotações congeladas e relatórios de benchmark, é lançado como um projeto Python de código aberto (kathnlp).

Contribuições Principais
O artigo faz quatro contribuições primárias:

1. Definição de Fluxo de Trabalho: Um fluxo de trabalho de reconstrução de ponta a ponta e anotação validada automaticamente para texto parlamentar em Katharevousa, produzindo saída CoNLL-U no estilo UD com metadados secundários específicos.
2. Protocolo de Avaliação Fixo: O lançamento de um conjunto de referência fixo de 1.697 frases com divisões de treinamento/teste determinísticas e relatórios de benchmark para diversas famílias de modelos.
3. Evidência Empírica de Incompatibilidade de Registro: Demonstração de que os analisadores sintáticos existentes para Grego e Grego Antigo não se transferem efetivamente para a sintaxe parlamentar em Katharevousa, necessitando de soluções personalizadas.
4. Infraestrutura de Código Aberto: O empacotamento do pipeline como kathnlp, garantindo que cada afirmação empírica seja rastreável até scripts específicos, arquivos de configuração e relatórios de benchmark.

Resultados
A avaliação foca em quatro métricas: precisão UPOS, F1 ponderado de relação de dependência, Pontuação de Anexação Não Rotulada (UAS) e Pontuação de Anexação Rotulada (LAS).

• Baselines Externas: Sistemas prontos para uso mostraram incompatibilidade significativa de registro. A melhor baseline externa, spaCy Grego, alcançou um LAS de 0,4183. O Stanza Grego Antigo teve o pior desempenho (LAS 0,3076), confirmando que o Katharevousa não é um problema simples de transferência do Grego Antigo.
• Modelos Personalizados:
  • O modelo XLM-R alcançou o melhor desempenho estrutural com um LAS de 0,5162 (UAS 0,6098, UPOS 0,8893, DEPREL F1 0,7250). Isso representa um ganho absoluto de LAS de 0,0980 (aproximadamente 23,4% de melhoria relativa) sobre a melhor baseline externa.
  • O analisador sintático logístico baseado em características permaneceu altamente competitivo, alcançando o maior UPOS (0,9040) e DEPREL F1 (0,7451), com um LAS de 0,5072 (apenas 0,0090 abaixo do XLM-R).
  • O treinamento personalizado do Stanza melhorou significativamente em relação à sua contraparte pré-treinada (LAS 0,4943 vs. 0,3396), mas não superou o XLM-R.
  • O mBERT teve desempenho inferior ao XLM-R em todas as métricas.

Significado e Afirmações
Os autores enquadram o significado deste trabalho não meramente como uma nova pontuação de modelo, mas como uma contribuição metodológica para o PLN histórico de baixos recursos.

• Infraestrutura sobre Caixas Pretas: O artigo argumenta que o caminho para um analisador sintático utilizável em configurações de baixos recursos envolve documentar cronogramas falhos, restrições de framework e decisões de validação, e não apenas a configuração vencedora.
• Potencial Híbrido: Os resultados sugerem que, embora os transformadores (XLM-R) se destaquem na estrutura de anexação, características transparentes de contexto lexical (modelos baseados em características) permanecem vitais para decisões morfológico-sintáticas locais (UPOS e rotulagem de relações) nesta escala de dados.
• Metodologia Auditável: A contribuição primária é um fluxo de trabalho auditável que transforma OCR histórico difícil em infraestrutura de PLN sintático reutilizável. Isso permite o reuso transparente de arquivos parlamentares para questões históricas, políticas e linguísticas, indo além de características superficiais para uma análise reutilizável de atores e discurso institucional.

O artigo nota modestamente que o conjunto de referência atual é pequeno e que os rótulos são validados automaticamente em vez de serem totalmente adjudicados por especialistas. Consequentemente, os resultados são apresentados como "candidatos a lançamento de benchmarks" em vez de tetos de desempenho final, convidando a comunidade a expandir o recurso através de adjudicação especializada e expansão de registro.