Leveraging GenAI for Segmenting and Labeling Centuries-old Technical Documents

Este artigo relata o uso de tecnologias de Inteligência Artificial Generativa, como SAM2, Florence2 e ChatGPT, integradas a uma ontologia especializada, para segmentar e rotular automaticamente tratados históricos de construção naval dos séculos XVI e XVII, visando superar a escassez de dados e facilitar a curadoria e o acesso a esses documentos preciosos.

O essencial

Imagine que você tem uma biblioteca antiga e misteriosa, cheia de livros de navegação escritos há 400 anos. Esses livros são tesouros históricos, mas estão em um estado delicado: o papel está amarelado, a tinta desbotou e, o mais importante, as ilustrações dentro deles são desenhos técnicos complexos de navios, cheios de peças com nomes estranhos que ninguém usa mais.

O desafio que os autores deste artigo enfrentam é como organizar essa biblioteca gigante para que qualquer pessoa, hoje em dia, possa encontrar exatamente o desenho de uma "peça do casco" ou de um "sistema de amarração" sem precisar ser um especialista em navios do século XVII.

Aqui está a explicação do que eles fizeram, usando uma analogia simples:

1. O Problema: A "Tradução" de uma Linguagem Perdida

Pense nos livros antigos como se fossem fotos tiradas em uma língua que ninguém mais fala. Se você tentar usar um aplicativo de reconhecimento de imagem moderno (como o do seu celular) para identificar o que está numa foto de um navio antigo, ele vai falhar.

• Por que? Porque esses aplicativos foram "treinados" com bilhões de fotos modernas (cachorros, carros, pessoas). Eles não sabem o que é um "alfez" ou uma "quilha" num desenho de 1600. É como tentar pedir a um turista que só fala inglês para descrever um ritual indígena antigo; ele vai tentar usar palavras que conhece, mas vai errar feio.

2. A Solução: Uma Equipe de Robôs Especialistas

Os pesquisadores criaram um "time de robôs" para resolver esse problema. Eles combinaram três tecnologias diferentes, como se fosse uma equipe de detetives:

• O Cortador de Pizzaria (SAM2):
  Primeiro, eles usam um robô chamado SAM2. Imagine que ele é um cortador de pizza superpreciso. Ele olha para o desenho complexo do navio e corta a imagem em pedaços menores. Em vez de ver "um navio inteiro", ele separa o mastro, o leme, as velas e o casco. Ele isola cada peça para que possamos estudá-la individualmente.

• O Tradutor Inteligente (GenAI e ChatGPT):
  Depois de cortar as peças, eles precisam saber o nome de cada uma. Aqui entra a Inteligência Artificial Generativa (como o ChatGPT).

  • O problema: Se você perguntar ao ChatGPT "o que é uma 'rider frame'?", ele pode pensar em bicicletas ou seguros, porque não sabe o contexto.
  • A solução: Eles ensinaram o robô a ser um "tradutor de contexto". Eles disseram: "Não pense em bicicletas, pense em navios antigos". Assim, o robô começa a dar definições precisas, como se estivesse consultando um dicionário especializado.

• O Dicionário e a Enciclopédia (Ontologia e Glossário):
  Para garantir que o robô não alucine, eles deram a ele dois livros de regras:

  1. Um Glossário (glosShip): Uma lista de palavras técnicas de navegação em vários idiomas.
  2. Uma Enciclopédia de Regras (ontoShip): Um mapa que diz como as peças se relacionam. Por exemplo: "Se é um componente do casco, não pode estar no topo do mastro".
     Isso funciona como um "filtro de qualidade". Se o robô tentar chamar uma peça de "roda de carro", a enciclopédia diz: "Ei, isso é um navio de madeira, isso não faz sentido!".

3. O Resultado: Da Confusão à Organização

O que eles conseguiram foi transformar uma pilha de desenhos confusos em um catálogo organizado.

• Antes: Você tinha uma imagem de um navio e não sabia onde clicar para ver detalhes.
• Depois: O sistema identificou automaticamente: "Aqui é o leme, aqui é a quilha, aqui é o sistema de cordas". Ele colocou etiquetas (tags) precisas em cada parte do desenho.

4. Por que isso é importante?

Imagine que você é um historiador ou um estudante curioso. Com essa tecnologia:

• Você pode pesquisar "como era o leme de um navio português em 1600" e o computador mostra exatamente a imagem, cortada e rotulada, em segundos.
• Isso preserva a história. Em vez de esses livros ficarem trancados em arquivos poeirentos, eles se tornam acessíveis para qualquer pessoa no mundo, ajudando a entender como os navegadores antigos exploraram o mundo.

Resumo em uma frase

Os autores usaram robôs "cortadores" e "tradutores" inteligentes, guiados por um dicionário de especialistas, para transformar desenhos técnicos antigos e confusos de navios em um catálogo digital organizado, fácil de pesquisar e entender para todos nós.

Resumo técnico

Resumo Técnico: Leverage GenAI para Segmentar e Rotular Documentos Técnicos Centenários

1. O Problema
O artigo aborda o desafio de aplicar técnicas avançadas de processamento de imagem (segmentação e reconhecimento) a documentos históricos digitalizados, especificamente tratados de construção naval dos séculos XVI e XVII (Era dos Descobrimentos). Diferente das imagens modernas, onde há grandes volumes de dados para treinamento, estes documentos apresentam duas barreiras principais:

• Escassez de Dados de Treinamento: Falta de conjuntos de dados massivos e rotulados específicos para este domínio.
• Especialização Técnica: As ilustrações contêm objetos complexos e terminologia altamente especializada (navegação e arquitetura naval) que modelos genéricos de IA não conseguem interpretar corretamente sem conhecimento de domínio profundo.
  A falta de automação eficiente impede a curadoria, catalogação e disseminação acessível desses acervos históricos para estudiosos e o público.

2. Metodologia
Os autores propõem um pipeline de três etapas para segmentação e rotulagem, integrando modelos de IA Generativa (GenAI) com conhecimento estruturado de domínio:

• Etapa 1: Segmentação de Imagem

  • Utilização do algoritmo SAM2 (Segment Anything Model 2) da Meta para identificar e delimitar contornos de objetos nas ilustrações.
  • Comparação com o algoritmo Watershed (OpenCV), onde o SAM2 demonstrou superioridade na detecção de detalhes geométricos e componentes internos de objetos compostos (ex.: partes de um navio), enquanto o Watershed falhou em detectar detalhes finos e texto.

• Etapa 2: Geração de Rótulos (Labeling)

  • Teste de várias abordagens para gerar tags e descrições:
    • Combinações de modelos como BLIP, NLTK, Tag2Text e RAM (Recognize Anything Model).
    • Uso de GroundingDINO para associar rótulos a caixas delimitadoras (bounding boxes).
    • Uso de ChatGPT e Florence-2 para gerar descrições e definições contextuais.
  • Identificação de que prompts genéricos geram falsos positivos (ex.: identificar uma polia como um "eixo" ou uma borda de livro como um "objeto afiado").

• Etapa 3: Refinamento com Ontologia e Glossário

  • Solução Proposta: Substituir prompts aleatórios por termos extraídos de recursos especializados:
    • ontoShip: Uma ontologia formal contendo ~250 conceitos de arquitetura naval de madeira, definindo propriedades funcionais e espaciais (ex.: relação entre componentes, localização no casco).
    • glosShip: Um glossário multilíngue curado de termos náuticos.
  • O processo envolve usar definições do glossário para criar embeddings que orientam o modelo de reconhecimento (RAM) a identificar termos específicos no contexto correto, reduzindo ambiguidades.

3. Principais Contribuições

• Pipeline Híbrido: Desenvolvimento de um fluxo de trabalho que combina segmentação de última geração (SAM2) com modelos de linguagem (GenAI) e conhecimento estruturado (Ontologias).
• Aplicação de Ontologias em Visão Computacional: Demonstração de como ontologias de domínio (neste caso, ontoShip) podem ser usadas para "alavancar" a precisão de modelos de IA em domínios de nicho, funcionando de forma análoga à expansão de consultas em recuperação de informação.
• Análise Comparativa de Modelos: Avaliação empírica de diferentes combinações de modelos (SAM2 vs. Watershed; ChatGPT vs. RAM vs. BLIP) para tarefas de segmentação e rotulagem em manuscritos históricos.
• Recursos de Domínio: Criação e integração de ontoShip e glosShip como bases de verdade (ground truth) para treinar e validar o sistema.

4. Resultados

• Segmentação: O SAM2 superou consistentemente o algoritmo Watershed, conseguindo isolar componentes internos de navios (como Alifez, Quilha, Codaste) e até mesmo detectar texto e manchas de "bleed-through" (sangramento de tinta) que outros métodos ignoravam.
• Rotulagem:
  • Modelos genéricos (como RAM padrão ou BLIP) produziram rótulos vagos ou incorretos para termos técnicos.
  • O uso do ChatGPT com prompts bem elaborados aumentou a quantidade de objetos detectados, mas introduziu falsos positivos significativos sem o contexto correto.
  • A abordagem que integra definições do glossário especializado (glosShip) e a ontologia (ontoShip) mostrou-se promissora para refinar os rótulos, embora os resultados preliminares indiquem que a calibração dos prompts é crítica.
• Desafios: A complexidade de objetos compostos e a falta de dados de treinamento específicos continuam sendo obstáculos, exigindo intervenção humana para curadoria e validação.

5. Significância e Impacto Futuro

• Preservação do Patrimônio: O trabalho oferece uma via para automatizar a curadoria de coleções de valor incalculável, tornando tratados técnicos antigos acessíveis e pesquisáveis.
• Generalização: A metodologia proposta não se limita à navegação; os autores argumentam que essa abordagem (IA + Ontologia de Domínio) pode ser aplicada a outras áreas de humanidades digitais, como arte, literatura e história da medicina.
• Trabalho Futuro: Os autores planejam processar 14 tratados (cerca de 4.000 imagens) em múltiplos idiomas (1550–1813). O foco será comparar o Florence-2 com outros modelos, refinar a métrica de avaliação baseada na ontologia humana e testar combinações de caption-to-phrase grounding para melhorar a precisão da indexação.

Em suma, o artigo demonstra que a fusão de IA generativa com conhecimento estruturado de especialistas é essencial para superar as limitações atuais da visão computacional em documentos históricos altamente especializados.