💻 ciência da computação

OCR-Based Field Extraction for Archaeological Pottery Metadata: The CENTURIA Dataset

O artigo apresenta o CENTURIA, um conjunto de dados de 507 registros manuscritos de cerâmica romana, e demonstra que o ajuste fino de modelos de OCR de última geração com um conjunto mínimo de apenas 57 amostras anotadas preenche efetivamente a lacuna de domínio, transformando metadados de arquivo inacessíveis em dados estruturados e pesquisáveis com alta precisão.

Autores originais: Gissu Valentina Naghavi, Dominik Hagmann, Martin Kampel, Irene Ballester

Publicado 2026-09-01

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gissu Valentina Naghavi, Dominik Hagmann, Martin Kampel, Irene Ballester

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A história muitas vezes nos fala através das coisas que as pessoas deixaram para trás, mas para os arqueólogos, as pistas mais vitais estão frequentemente escondidas à vista de todos em seus próprios arquivos. Fragmentos de cerâmica, quebrados e espalhados por sítios antigos, são a principal forma de pesquisadores compreenderem o cotidiano, as rotas comerciais e as cronologias de sociedades passadas. Como a argila sobrevive ao fogo e ao tempo melhor do que quase qualquer outra coisa, esses fragmentos atuam como uma linguagem universal do passado. No entanto, a história que eles contam está frequentemente trancada em um formato que os computadores não conseguem ler. Durante décadas, os arqueólogos registraram esses achados à mão, esboçando a forma de um pote quebrado e anotando seus detalhes em cadernos ou cartões. Essas notas manuscritas contêm os dados essenciais: onde a peça foi encontrada, que tipo de pote era e qual o seu tamanho. Embora os desenhos físicos possam ser digitalizados em um computador, o texto manuscrito permanece apenas uma imagem, invisível para os mecanismos de busca e bancos de dados que poderiam ajudar os historiadores a conectar os pontos ao longo de milhares de anos.

O desafio reside em ensinar um computador a ler essas notas específicas e desordenadas. Diferente de um livro impresso ou de um documento digitado, esses registros arqueológicos são repletos de abreviações únicas, símbolos estranhos e caligrafias que variam de um arqueólogo para outro. As notas estão frequentemente espalhadas pela página, sem uma ordem clara de leitura, e a tinta pode estar desbotada ou riscada. Por muito tempo, a única maneira de tornar essa informação útil para a pesquisa moderna era contratar pessoas para digitar manualmente cada nota em um computador, um processo lento e caro que deixou vastas coleções de história inacessíveis. A questão que os pesquisadores enfrentavam era se a inteligência artificial moderna poderia aprender a ler esses arquivos manuscritos difíceis por conta própria, transformando a imagem estática de um esboço em uma lista pesquisável de fatos.

Uma equipe de pesquisadores da Universidade Técnica de Viena e do Instituto Arqueológico Austríaco partiu para resolver esse problema, criando uma nova ferramenta e um novo teste para a tecnologia. Eles se concentraram na enorme coleção de registros de cerâmica de Carnuntum, um importante assentamento romano no que é hoje a Áustria. Este sítio sozinho detém cerca de 70.000 registros analógicos, um tesouro de história que permanecia amplamente não pesquisável por computador. A equipe reuniu 507 desses registros manuscritos para construir um conjunto de dados que chamaram de CENTURIA. Cada registro nesta coleção foi cuidadosamente verificado e rotulado por especialistas humanos, criando uma "chave de resposta" perfeita da qual o computador poderia aprender. Este conjunto de dados incluía os digitalizações originais, o texto correto escrito por humanos e um mapa estruturado mostrando exatamente qual parte do texto pertencia a qual categoria, como o local do achado ou o tipo de cerâmica.

Os pesquisadores então testaram cinco modelos diferentes de inteligência artificial para ver se eles conseguiam ler esses documentos sem ajuda. Esses modelos são o mesmo tipo de tecnologia usada para ler caligrafia em outros campos, mas quando a equipe os liberou para os registros de cerâmica sem qualquer treinamento, os resultados foram ruins. Os computadores cometeram erros em quase todos os registros, lendo letras e números tão mal que não conseguiam extrair a informação correta. A taxa de erro era tão alta que as máquinas estavam essencialmente adivinhando, falhando em reconhecer as abreviações e símbolos específicos que os arqueólogos usam diariamente. Isso confirmou que simplesmente aplicar a tecnologia existente a este problema não era suficiente; os computadores precisavam ser ensinados a linguagem específica dos arqueólogos.

Para corrigir isso, a equipe tentou um método chamado ajuste fino (fine-tuning), que é como dar ao computador um curso curto e intensivo sobre o assunto específico. Em vez de mostrar à máquina milhares de exemplos, o que levaria anos para ser criado, eles mostraram apenas 57 exemplos dos registros de cerâmica que já haviam sido corrigidos por humanos. Eles ajustaram levemente as configurações internas do computador para ajudá-lo a entender a caligrafia única e as abreviações encontradas nesses arquivos. A mudança foi dramática. Após esse breve treinamento, os modelos pararam de adivinhar e começaram a ler com alta precisão. A taxa de erro caiu de mais de 30% para menos de 2%. Os computadores agora podiam identificar corretamente o local do achado, o tipo de pote e as medidas com uma taxa de sucesso de quase 90%.

O estudo também explorou como tornar esse processo confiável o suficiente para o uso no mundo real. Como os computadores não são perfeitos, os pesquisadores desenvolveram um sistema onde dois modelos diferentes leem o mesmo documento e comparam suas respostas. Se ambos os modelos concordarem sobre uma informação, o sistema a aceita como correta. Essa verificação simples permitiu que a equipe confiasse automaticamente nos resultados de mais da metade dos documentos, enquanto sinalizava os poucos casos difíceis para revisão humana. Essa abordagem significa que uma pequena equipe de especialistas pode agora processar um arquivo massivo em uma fração do tempo que levaria para fazê-lo manualmente. Os pesquisadores descobriram que, com apenas uma pequena quantidade de tempo especializado para criar os exemplos de treinamento iniciais, eles poderiam desbloquear décadas de registros manuscritos.

Os resultados mostram que a barreira para a digitalização desses arquivos não é a falta de tecnologia, mas a falta de dados de treinamento específicos. Ao provar que um conjunto pequeno e cuidadosamente curado de exemplos é suficiente para ensinar um computador a ler essas notas especializadas, os pesquisadores abriram as portas para que arquivos ao redor do mundo se tornem pesquisáveis. O conjunto de dados CENTURIA e os métodos desenvolvidos neste estudo fornecem um modelo para transformar pilhas de velhos esboços manuscritos em um banco de dados vivo e pesquisável. Isso significa que os historiadores poderão em breve fazer perguntas complexas sobre o passado, como a forma como os estilos de cerâmica mudaram ao longo do tempo ou como as rotas comerciais se deslocaram, e obter respostas ao pesquisar através de milhões de registros que antes estavam trancados em tinta e papel. O trabalho demonstra que, com a abordagem certa, as histórias escondidas na caligrafia do passado podem finalmente ser ouvidas pelas máquinas do futuro.

Resumo Técnico: CENTURIA – Extração de Campo Baseada em OCR para Metadados de Cerâmica Arqueológica

Declaração do Problema

A pesquisa arqueológica depende fortemente da cerâmica como uma fonte primária para reconstruir as dimensões cronológicas e econômicas de sociedades passadas. Embora o registro digital esteja aumentando, a documentação de achados cerâmicos permanece, em grande parte, um processo analógico que envolve seções transversais técnicas desenhadas à mão e anotações de metadados manuscritas. Mesmo quando esses documentos são retro-digitalizados, as anotações manuscritas — que contêm contexto de escavação crítico, classificação tipológica e números de inventário — permanecem inacessíveis à análise computacional.

Os modelos de estado da arte atuais de Reconhecimento de Texto Manuscrito (HTR) e Extração de Informação de Chave (KIE) enfrentam desafios significativos neste domínio:

Lacuna de Domínio (Domain Gap): Os benchmarks padrão (ex: IAM, READ) focam em texto sequencial com ordens de leitura canônicas, falhando em considerar as anotações espacialmente dispersas, a tinta desbotada e as abreviações densas e específicas do domínio encontradas em registros arqueológicos.
Falha Zero-Shot: Modelos pré-treinados lutam com a terminologia arqueológica, levando a altas taxas de erro de transcrição que tornam o texto bruto insuficiente para análise estruturada.
Falta de Benchmarks: Nenhum dataset existente fornece uma avaliação sistemática para HTR e extração de campo em documentação de cerâmica arqueológica manuscrita, tornando difícil para os profissionais do patrimônio avaliar a viabilidade de ferramentas automatizadas para seus arquivos.

Metodologia

O artigo propõe um pipeline de dois estágios para converter a documentação de cerâmica digitalizada em metadados estruturados e legíveis por máquina: Reconhecimento de Texto Manuscrito (HTR) seguido de Extração de Campo (KIE).

1. O Dataset CENTURIA

Os autores introduzem o CENTURIA, o primeiro benchmark para esta tarefa específica, composto por 507 digitalizações validadas por especialistas de registros de cerâmica do sítio romano de Carnuntum (Áustria).

Anotação: Cada registro inclui caixas delimitadoras (bounding boxes) para texto e desenhos, transcrições manuais e rótulos de nível de campo estruturados em sete categorias semânticas: excavation (proveniência, projeto, números de achado, etc.), pottery_form, artefact_category, publication_type, surface_treatment, measurement e others.
Estratificação: O dataset captura diversos estilos de escrita, convenções de escribas e condições de documentos (ex: texto riscado, anotações sobrepostas) através de seis campanhas de escavação (1976–2017).
Divisão (Split): Uma divisão aleatória estratificada proporcional foi utilizada: 57 amostras para treinamento (ajuste fino/fine-tuning) e 450 para teste.

2. Modelos e Estratégias de Adaptação

O estudo avalia cinco modelos de OCR de código aberto abrangendo diferentes paradigmas:

Detecção-reconhecimento de dois estágios: TrOCR (com CRAFT para segmentação de linha).
Modelos de Linguagem-Visão (VLMs) de página inteira: olmOCR (1ª geração), olmOCR2 (2ª geração, treinada com RLVR), Florence2 (generalista) e LightOnOCR (leve, 1 bilhão de parâmetros).

Três estratégias de adaptação de domínio foram testadas para preencher a lacuna entre o pré-treinamento geral e as especificidades arqueológicas:

Prompting de Instrução Zero-Shot: Fornecendo listas de vocabulário específicas do domínio e instruções.
Prompting Few-shot: Incluindo $k$ exemplos anotados ( $k \in \{1, 5, 8\}$ ) no contexto de entrada.
Fine-tuning com LoRA: Ajuste fino eficiente de parâmetros no pequeno conjunto de treinamento ( $n=57$ ) usando Low-Rank Adaptation.

3. Extração de Campo

Dois métodos de extração foram comparados para mapear o texto transcrito para o esquema estruturado:

Baseado em REGEX: Um script baseado em regras usando expressões regulares e vocabulários controlados (espelhando o processo de geração da verdade fundamental/ground truth).
Baseado em LLM: Usando Qwen3-8B para inferir campos a partir da sequência completa de transcrição via prompting de linguagem natural.

Principais Resultados

Desempenho de Transcrição

Limitações Zero-Shot: Todos os modelos exibiram lacunas de domínio substanciais, com taxas de erro SpACER-M (uma métrica para texto disperso) zero-shot variando de 15,58% a 32,35%. As taxas de Correspondência Exata (EMR) ao nível de campo foram criticamente baixas (ex: olmOCR2 alcançou apenas 30,55% de EMR), particularmente para campos específicos do domínio como Publication Type e Artefact Category, que frequentemente atingiram precisão próxima de zero.
Impacto do LoRA: O ajuste fino com apenas 57 amostras melhorou dramaticamente o desempenho.
- O SpACER-M caiu para <1,5% tanto para olmOCR2 quanto para LightOnOCR.
- O EMR ao nível de campo subiu para >89% (92,08% para olmOCR2, 89,40% para LightOnOCR).
- Isso demonstra que um orçamento de anotação mínimo, validado por especialistas, é suficiente para superar a lacuna de domínio, superando as estratégias de prompting zero-shot e few-shot (sendo que esta última causou o LightOnOCR a entrar em loops de saída repetitivos).

Desempenho de Extração de Campo

Transcrição como Gargalo: A precisão da extração dependeu fortemente da qualidade da transcrição. Uma vez que o fine-tuning com LoRA melhorou o texto, a precisão da extração acompanhou, não havendo diferença significativa entre os extratores REGEX e LLM nos inputs ajustados (ambos alcançando ~90% de precisão geral).
Modos de Erro: O principal modo de falha permaneceu sendo erros de caracteres no OCR (ex: substituição de dígitos em datas ou medidas), em vez de falhas de lógica de extração. Tokens curtos específicos do domínio (ex: abreviações de tratamento de superfície) foram propensos à omissão sob REGEX, enquanto os LLMs tenderam a alucinar valores incorretos para esses tokens.

Heurísticas de Implantação Prática

Os autores propõem uma estratégia de estimativa de confiança cross-pipeline para automatizar o processamento de arquivos:

Ao executar quatro combinações de pipeline (dois modelos $\times$ dois extratores), os campos onde todos os quatro concordam estão corretos 98,7% das vezes.
Usando uma heurística de "Smart Merge" (votação majoritária e resolução baseada em regras para conflitos), 56,4% dos documentos podem ser aceitos automaticamente com 95,5% de precisão de campo.
Isso permite que os profissionais do patrimônio concentrem seus esforços de revisão manual apenas nos ~44% restantes de documentos onde persistem desacordos entre os pipelines.

Significância e Alegações

O artigo afirma que o CENTURIA fornece o primeiro benchmark sistemático para HTR e extração de campo em documentação de cerâmica arqueológica manuscrita. Sua principal contribuição é demonstrar que a conversão automatizada de décadas de documentação manuscrita em metadados pesquisáveis é viável com um orçamento de anotação realista.

As principais conclusões enfatizadas pelos autores são:

Suficiência de Pequenos Dados: A adaptação de domínio de alta precisão não requer conjuntos de dados massivos; o ajuste fino em cerca de ~57 amostras validadas por especialistas é suficiente para reduzir os erros de transcrição de >15% para <1,5%.
Robustez do Pipeline: Embora os modelos zero-shot falhem, uma combinação de fine-tuning com LoRA e verificação cross-pipeline cria um fluxo de trabalho viável para a digitalização de arquivos em larga escala.
Acessibilidade: Ao liberar o dataset, os checkpoints e o código sob CC-BY-4.0, os autores visam permitir que profissionais do patrimônio tomem decisões informadas sobre a implantação dessas ferramentas em seus próprios arquivos, passando de registros visuais inacessíveis para dados estruturados e computáveis.

Os autores mantêm-se modestos quanto à generalização, observando que, embora os desafios (anotações dispersas, abreviações) sejam comuns globalmente, a generalização entre arquivos depende de convenções de registro, scripts e idiomas específicos, exigindo mais avaliações.