💬 NLP

Stoicheia: Character-Level Masked Diffusion for Ancient Greek Textual Restoration, Parsing, and Metrical Scansion

O Stoicheia é um modelo de difusão mascarada de nível de caractere com 405 milhões de parâmetros treinado em um corpus de grego antigo descontaminado que unifica restauração de texto, análise sintática e escansão métrica em um único framework, alcançando o estado da arte em desempenho através de múltiplas tarefas ao superar significativamente sistemas anteriores como o Ithaca e o Aeneas.

Autores originais: Eric Cullhed, Albin Thörn Cleland

Publicado 2026-08-10

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Eric Cullhed, Albin Thörn Cleland

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma biblioteca onde os livros têm milhares de anos, escritos em uma língua que evoluiu e mudou ao longo de milênios. Este é o mundo da filologia computacional, um campo onde cientistas da computação se unem a historiadores e linguistas para ler, restaurar e compreender textos antigos. O desafio é que esses livros antigos estão frequentemente danificados, com páginas faltando ou escritos em um fluxo contínuo e desordenado de letras, sem espaços, vírgulas ou aqueles pequenos acentos que usamos hoje. Para dar sentido a eles, os pesquisadores usam modelos de IA — programas de computador treinados para prever o que vem a seguir em uma sequência, muito parecido com a forma como seu telefone adivinha a próxima palavra que você está digitando. Mas aqui está o detalhe: a maioria desses modelos de IA é treinada em "subpalavras" (pedaços de letras), o que os torna ruins para consertar minúsculos buracos, letra por letra, em entalhes de pedra ou rolos de papiro. Eles também costumam "memorizar" os livros que estudaram, o que significa que não podem ser confiados para resolver mistérios em textos que não viram antes. Este artigo faz uma pergunta simples, mas vital: Podemos construir uma IA mais inteligente e honesta que leia o grego antigo letra por letra, entenda a história confusa de como o texto foi escrito e consiga resolver enigmas em novos documentos antigos que nunca encontrou antes?

Conheça o Stoicheia, um novo modelo de IA projetado especificamente para ser o detetive definitivo do Grego Antigo. Pense nele como um mestre restaurador que não apenas olha para um vaso quebrado e adivinha a forma; em vez disso, ele observa a argila, as rachaduras, a pintura e a maneira como as peças se encaixam, tudo ao mesmo tempo.

O Problema com a IA Antiga

Antes do Stoicheia, as melhores ferramentas de IA para o grego antigo eram como alunos que decoraram as respostas de uma prova específica. Se você fizesse perguntas sobre um texto que eles estudaram, eles eram ótimos. Mas, se você lhes entregasse uma inscrição nova e danificada que eles nunca tinham visto, eles poderiam apenas recitar uma passagem semelhante de memória ou ficar confusos. Além disso, esses modelos frequentemente tratavam as palavras como blocos únicos. Mas o dano antigo não é limpo; uma rachadura em uma pedra pode cortar justamente o meio de uma palavra. Para consertar isso, você precisa ver cada letra individualmente, cada acento e cada sinal de pontuação.

Como o Stoicheia Funciona: O Sanduíche de Cinco Camadas

Os criadores do Stoicheia construíram um modelo com uma arquitetura única de "sanduíche de cinco camadas". Em vez de apenas ver uma sequência de letras, o modelo vê cinco coisas diferentes acontecendo ao mesmo tempo, perfeitamente alinhadas:

As Letras: O alfabeto básico.
Os Limites: Onde uma palavra termina e a próxima começa (mesmo que não haja espaços no texto original).
Os Acentos: Aqueles pequenos sinais acima das vogais que mudam a pronúncia.
A Capitalização: Quais letras são maiúsculas e quais são minúsculas.
A Pontuação: Vírgulas, pontos e outras paradas.

Imagine tentar consertar um mapa rasgado. Uma IA normal poderia tentar adivinhar a cidade inteira que falta de uma só vez. O Stoicheia, no entanto, olha para as bordas rasgadas, a cor da tinta, as linhas de grade e a rosa dos ventos separadamente, e então costura tudo. Isso permite que ele pegue um texto antigo bagunçado, sem espaços e sem acentos, e o "restaure", preenchendo as partes ausentes, adicionando os acentos corretos e descobrindo onde as frases quebram, tudo isso sem precisar ser retreinado para cada tarefa específica.

O Treinamento "Honesto": Nunca Visto Antes

Uma das partes mais inteligentes deste projeto é como eles treinaram a IA para ser "honesta". Geralmente, os modelos de IA são treinados em tudo o que está disponível, o que significa que eles podem ter memorizado a resposta para um quebra-cabeça específico antes mesmo de você apresentá-lo. Os pesquisadores queriam ter certeza de que o Stoicheia estava realmente resolvendo o problema, e não apenas lembrando a resposta.

Para fazer isso, eles criaram onze versões diferentes do modelo. Eles pegaram sua vasta biblioteca de 361 milhões de palavras e a dividiram em dez grupos diferentes. Cada modelo foi treinado em nove grupos e testado no décimo. Isso significa que, para qualquer texto antigo que você jogue contra eles, existe pelo menos uma versão do Stoicheia que nunca viu esse texto antes em toda a sua vida. É como ter uma equipe de dez detetives e, para cada cena de crime, você escolhe o detetive que nunca esteve naquele bairro antes. Isso garante que, quando o modelo resolve um enigma, ele está usando o cérebro, não a memória.

Os Resultados: Vencendo os Melhores

A equipe colocou o Stoicheia à prova de três maneiras principais, comparando-o com os melhores sistemas existentes (como o Ithaca e o Aeneas) e até mesmo contra um modelo que começou com pesos aleatórios e "burros" para ver o quanto o treinamento realmente ajudou.

Consertando Pedras e Pergaminhos Quebrados: Quando solicitado a preencher letras faltantes em inscrições e papiros danificados, o Stoicheia foi um campeão. Em um teste padrão de 3.000 lacunas, ele reduziu a taxa de erro para 15,5%, superando o recorde anterior (Ithaca), que era de 24,6%. Ele também acertou a "melhor tentativa" 74,5% das vezes, comparado ao antigo recorde de 63,0%. Mais impressionante ainda, quando testado em documentos completamente novos que foram editados após todos os outros modelos de IA terem terminado seu treinamento, o Stoicheia continuou no topo, provando que não estava apenas memorizando respostas antigas.
Compreendendo a Gramática: A equipe também testou se o Stoicheia conseguia entender a gramática do grego antigo (identificando classes de palavras e como elas se relacionam entre si). Aqui, ele venceu todos os outros modelos, incluindo aqueles treinados em conjuntos de dados muito maiores. A descoberta principal foi que o "pré-treinamento" (a fase massiva de aprendizado) foi responsável por um salto enorme no desempenho — cerca de 12,9 pontos melhor do que um modelo que começou do zero. Isso prova que o "cérebro" do modelo estava fazendo o trabalho pesado, e não apenas as ferramentas específicas anexadas a ele.
Lendo o Ritmo da Poesia: A poesia grega antiga depende da duração das vogais (longas ou curtas) para criar um ritmo, mas o texto escrito não mostra isso. O Stoicheia foi capaz de identificar essas durações ocultas com 93,37% de precisão, superando um sistema especializado baseado em regras que precisava "abster-se" (desistir) de 40% das palavras porque não tinha certeza. O Stoicheia nunca desistiu.

Por Que Isso Importa

O artigo conclui que o Stoicheia é um divisor de águas porque combina abertura (os dados e o código são públicos), precisão (funciona ao nível da letra) e integridade (sabemos exatamente quais textos ele viu e quais não viu). Ele permite que estudiosos olhem para um texto antigo danificado e perguntem: "O que isso diz?", com a confiança de que a IA não está apenas recitando uma resposta de um livro didático que ela memorizou. É uma ferramenta que nos permite ler o passado com olhos frescos, garantindo que as histórias da Grécia antiga sejam restauradas não pela memória, mas pelo entendimento.

No entanto, os autores ressaltam cuidadosamente que isso não é uma varinha mágica. O modelo é tão bom quanto os dados nos quais foi treinado, e grande parte desses dados foi "reparada" por outras ferramentas de IA, o que introduz um pequeno risco de erros. Além disso, o modelo sempre fornece uma resposta, mesmo quando pode estar incerto, o que significa que especialistas humanos ainda precisam revisar o trabalho. Mas, pela primeira vez, temos um sistema que pode enfrentar esses mistérios antigos com um nível de honestidade e precisão que era impossível anteriormente.

Resumo Técnico: Stoicheia

Declaração do Problema

A pesquisa computacional sobre o grego antigo enfrenta quatro limitações críticas nas abordagens neurais atuais:

Dados Fechados: Corpora de alta qualidade (ex: TLG) são frequentemente licenciados de forma restritiva, e mesmo esforços de pré-treinamento abertos (ex: GreBERTa, Logion) frequentemente ocultam seus dados de treinamento, impedindo a reprodutibilidade e a verificação da contaminação de dados.
Tokenização de Subpalavras: Vocabulários padrão de subpalavras falham em se alinhar com tarefas filológicas que exigem precisão ao nível de caractere, como medir lacunas em letras ou determinar quantidades métricas em sílabas.
Camadas Editoriais: Modelos treinados em edições modernas ingerem texto acentuado, pontuado e dividido como verdade fundamental (ground truth), codificando rigidamente séculos de interpretação editorial e dificultando a interrogação da transmissão bruta de sinais.
Memorização: Modelos de uso geral treinados em todo o corpus sobrevivente não podem garantir que possuam passagens específicas "não vistas", tornando-os inadequados para reconstruir textos danificados onde a ignorância do modelo deve ser comprovável para evitar o raciocínio circular.

Metodologia

Construção de Dados

Os autores construíram um corpus de pré-treinamento aberto e com revisão fixada de aproximadamente 361 milhões de palavras derivado de nove fontes, incluindo volumes do Internet Archive, PleIAs Greek-PD e Opera Graeca Adnotata.

Camadas de Qualidade: O texto foi processado através de um pipeline de normalização e atribuído a camadas baseadas na limpeza. Uma camada "prístina" (~~90M de palavras) foi lançada intocada. Uma camada "reparada" (~~271M de palavras) foi reconstruída usando um LLM ajustado por instrução (Qwen3.6-27B) restrito a corrigir apenas confusões de OCR bem atestadas e descartar, em vez de fabricar.
Aumento Sintético: Uma camada "bronze" de ~1,4 bilhão de caracteres foi criada traduzindo máquinas de latim de Corpus Corporum para o grego antigo.
Descontaminação: Para garantir a ignorância comprovável, os autores implementaram um pipeline de 13 estágios para agrupar registros por identidade de obra e excluir qualquer texto dos folds de treinamento que aparecesse nos conjuntos de teste reservados, garantindo que, para qualquer passagem dada, pelo menos um modelo lançado nunca a tenha visto.

Arquitetura do Modelo: Stoicheia

O Stoicheia é um Transformer de difusão mascarada de nível de caractere com 405 milhões de parâmetros.

Fatoração de Entrada: Ao contrário dos modelos de subpalavras, a entrada é fatorada em cinco planos alinhados e independentemente mascaráveis:
1. Identidade da letra base (alfabeto de 24 símbolos).
2. Limites de palavra e sentença.
3. Diacríticos (acento, espírito, iota subtascript, diaerese).
4. Capitalização.
5. Categorias de pontuação.
Detalhes da Arquitetura: O modelo utiliza uma profundidade de 32, $d_{model}=1024$ , e QK-norm. A atenção é em banda: três de quatro blocos atendem dentro de uma janela de 256 caracteres, enquanto o quarto atende globalmente.
Objetivo de Treinamento: O modelo emprega um objetivo de difusão discreta. As sequências de treinamento são corrompidas a uma taxa $t$ extraída de uma distribuição Beta truncada. Os padrões de corrupção mimetizam danos reais, incluindo spans contíguos que ignoram bordas de palavras, palavras inteiras e mascaramento elástico (onde um span de comprimento $L$ é substituído por $M \ge L$ slots de máscara, ensinando o preenchimento de comprimento variável).
Regime de Pré-treinamento: O treinamento envolve um warmup, taxa de aprendizado de pico constante e decaimento de cosseno. Um processo de recozimento (annealing) em estágios reduz o peso de dados sintéticos e rotulados por regras ao longo do tempo, terminando apenas com dados de ouro (gold data).

Checkpoints

Os autores lançaram onze checkpoints:

Dez Folds Rotacionados: Stoicheia_fold_0 através de fold_9, representando divisões rotacionadas de 80/10/10 do corpus literário. Isso garante que, para uma passagem específica, pelo menos um modelo provadamente nunca a viu.
Um Modelo Documental-Limpo: Stoicheia_doc_clean, que exclui todas as inscrições, papiros e qualquer texto que cite estes, servindo como uma base livre de vazamentos para o trabalho epigráfico e papirológico.

Design Experimental

O artigo avalia o Stoicheia através de três tarefas, cada uma pareada com um controle de inicialização aleatória correspondente. Este design isola a contribuição específica do pré-treinamento, treinando tanto o braço pré-treinado quanto o de inicialização aleatória até a convergência sob receitas idênticas. A significância é avaliada via testes pareados (permutação de sinal-flip, teste exato de McNemar).

Resultados Principais

1. Reconstrução Documental (Inscrições e Papiros)

Desempenho: No próprio split de teste do Ithaca (3.000 amostras congeladas), o Stoicheia v2 alcançou uma Taxa de Erro de Caractere (CER) de 15,5, superando significativamente o Ithaca (24,6) e o framework Aeneas de 2025 (23,5).
Precisão: A precisão de Top-1 subiu para 74,5%, comparado a 63,0% (Ithaca) e 64,0% (Aeneas).
Generalização: Em documentos editados recentemente (editados após os cortes de treinamento de todos os sistemas), o Stoicheia reduziu o erro de caractere em 31–36% contra baselines de inscrição e 12,4% contra um Llama de 8B ajustado por instrução em papiros.
Impacto do Pré-treinamento: Substituir o backbone pré-treinado por um controle de inicialização aleatória na receita v1 aumentou o CER em 5,64 pontos em inscrições e 3,42 em papiros.

2. Etiquetagem Morfossintática e Parsing de Dependência

Desempenho: O Stoicheia alcançou 83,81 LAS (Labeled Attachment Score) no split de treebank de Celano (2025).
Comparação: Isso superou o mais forte baseline de subpalavras ajustado (PhilBERTa com 82,89 LAS) e excedeu significativamente todos os outros encoders externos (ex: Logion, XLM-R, mBERT).
Impacto do Pré-treinamento: A lacuna entre o modelo pré-treinado (83,89 LAS) e o controle de inicialização aleatória (71,00 LAS) na convergência foi de 12,9 LAS, demonstrando que o pré-treinamento contribui substancialmente além da capacidade arquitetônica.

3. Macronização e Escansão Métrica

Macronização: O Stoicheia alcançou 93,37% de precisão no benchmark Norma, superando um transformer de caractere dedicado (90,55%) e um sistema baseado em regras (que se absteve em 40% dos casos).
Escansão: O modelo atingiu 89,74% de precisão balanceada para escansão de peso de sílaba.
Impacto do Pré-treinamento: O pré-treinamento contribuiu com +6,0 pontos de precisão balanceada para a macronização. Os autores observam que a escansão é amplamente computável a partir da ortografia (modelos de inicialização aleatória performam bem), mas a macronização requer conhecimento lexical e morfológico que apenas o pré-treinamento provê.

Significância e Alegações

O artigo argumenta que o Stoicheia aborda os quatro desiderata da filologia digital:

Abertura: Fornece um corpus aberto e com revisão fixada e código, ao contrário de sistemas anteriores de estado da arte.
Resolução ao Nível de Caractere: Ao operar diretamente em caracteres com planos independentes, ele lida com tarefas (lacunas, métrica) que a tokenização de subpalavras não pode suportar naturalmente.
Camadas Editoriais Separáveis: A entrada de múltiplos planos permite que o modelo processe scriptio continua sem acentos ou texto totalmente editado sem codificar decisões editoriais.
Ignorância Garantida: Os checkpoints de folds rotacionados e documental-limpo garantem que, para qualquer texto, existe um modelo que provadamente nunca o viu, eliminando a circularidade em tarefas de reconstrução.

Os autores concluem que os ganhos de desempenho observados em todos os três experimentos são atribuíveis ao pré-treinamento em si, e não à capacidade do modelo ou à receita, conforme evidenciado pelos controles de inicialização aleatória correspondentes. Isso permite que editores interroguem a tradição com um modelo que não está apenas "relembrando" o texto, ofereando um novo paradigma para restauração e análise textual.