A Vision Based System for Guided and Collaborative Reconstruction of Fragmented Documents

Resumo Técnico: Um Sistema Baseado em Visão para Reconstrução Guiada e Colaborativa de Documentos Fragmentados

Definição do Problema
A preservação do patrimônio cultural frequentemente envolve a reconstrução física de documentos de papel fragmentados, uma tarefa que exige muito trabalho manual, requer alta repetibilidade e apresenta riscos de danos a materiais frágeis devido ao manuseio manual. Embora existam métodos de reconstrução virtual, há uma necessidade de sistemas assistivos que combinem a expertise humana com capacidades de máquina para automatizar o posicionamento físico de fragmentos. Os desafios específicos abordados incluem o manuseio delicado de papel frágil, a determinação precisa das posições dos fragmentos em um modelo de referência apesar de graus variáveis de danos (queimaduras, manchas, deformações) e a robustez dos algoritmos de correspondência de características contra rotação, mudanças de escala e padrões repetitivos encontrados em textos datilografados ou manuscritos.

Metodologia
Os autores desenvolveram um sistema colaborativo integrando um robô colaborativo (cobot), um acessório de sucção baseado em vácuo personalizado e um pipeline de IA baseado em visão.

• Configuração de Hardware: O sistema utiliza uma câmera industrial para digitalização e um projetor para exibir uma interface de usuário com feedback em tempo real. Um gripper de vácuo projetado sob medida, apresentando uma estrutura impressa em 3D com canais de ar equilibrados e um sensor de proximidade Time-of-Flight (VL53L0X), permite operações de pick-and-place suaves. O gripper pode ser montado em um cobot (UR5/UR3) ou usado manualmente.
• Visão e Calibração: O sistema emprega uma calibração mão-olho ($T^C_R$) para mapear as coordenadas da câmera para o robô e uma homografia ($T^C_P$) para mapear as coordenadas da câmera para o projetor. Para posicionamento 3D sem sensores de profundidade adicionais, uma abordagem de ray-tracing intercepta o raio da câmera com um plano definido por um quadro ChAruco.
• Pipeline de Processamento de Imagem:
  1. Segmentação: Um framework baseado em rede neural (REMBG) é utilizado para remoção automática de fundo e segmentação de fragmentos.
  2. Correspondência de Características (Feature Matching): Três métodos de correspondência de características locais foram avaliados para reconstrução baseada em modelos:
     • SIFT + Correspondência de Vizinho Próximo (NN).
     • SuperPoint + SuperGlue.
     • SE2-LoFTR (um método livre de detector).
  3. Avaliação: Os métodos foram testados em quatro tipos de documentos (manuscrito, datilografado, planta técnica, paisagem) com níveis de dano simulados (nenhum, médio, forte, muito forte) e submetidos a rotação (0–324°) e redução de escala (até 10% do tamanho original).

Principais Contribuições

1. Sistema Parcialmente Automatizado: O desenvolvimento de um sistema reproduzível combinando um cobot, visão baseada em dados e uma interface baseada em projetor para facilitar a colaboração homem-máquina na reconstrução de fragmentos planos, como documentos de papel ou mosaicos.
2. Ferramental de Proteção ao Material: O design e o lançamento público de um acessório de sucção baseado em vácuo equipado com sensores para manusear fragmentos de papel com impacto físico mínimo, adequado tanto para uso manual quanto para montagem robótica.
3. Avaliação Comparativa de Correspondência de Características: Uma avaliação rigorosa de SIFT, SuperPoint+SuperGlue e SE2-LoFTR para reconstrução de documentos baseada em modelos. O estudo avalia sua robustez em relação à rotação, escala e intensidade de dano através de diferentes texturas de documentos.

Resultos

• Desempenho de Correspondência de Características:
  • Rotação: SE2-LoFTR e SIFT demonstraram a maior robustez à rotação. O SIFT frequentemente superou o SE2-LoFTR em documentos menos danificados. Métodos baseados em SuperPoint tiveram dificuldades significativas com documentos manuscritos e desenhos técnicos.
  • Escala: O documento de paisagem foi o mais fácil de reconstruir. Documentos com padrões repetitivos (manuscritos, datilografados) foram os mais desafiadores. O SE2-LoFTR mostrou superior adaptabilidade a altos níveis de dano e redução de escala em comparação ao SIFT e SuperPoint+SuperGlue, particularmente nas categorias de dano "difícil" e "muito difícil".
  • Taxas de Falha: O SE2-LoFTR foi selecionado como o método preferencial devido ao seu desempenho robusto na presença de altos níveis de dano, apesar do forte desempenho do SIFT em padrões repetitivos não danificados ou levemente danificados.
• Precisão de Posicionamento: O sistema de posicionamento automático usando o cobot UR3 alcançou uma repetibilidade de posicionamento de 0,57 mm para fragmentos de 16 cm². O Erro Quadrático Médio (RMSE) diminuiu conforme o tamanho do fragmento aumentava (1,52 mm para 4 cm², 0,57 mm para 16 cm² e 0,48 mm para 64 cm²).
• Planejamento de Trajetória Futura: Testes preliminares demonstraram a capacidade de guiar um apontador laser ao longo dos contornos dos fragmentos posicionados com um erro de área médio de 1% e um desvio de 2,7 mm em pontos significativos, validando o potencial para etapas de colagem ou soldagem automatizadas.

Significância e Alegações
O artigo afirma que a integração de robótica colaborativa e tecnologia de automação oferece um caminho viável para aumentar a eficiência e a precisão na reconstrução de artefatos culturais. Ao aproveitar sensores avançados e sistemas de visão, o sistema permite que especialistas foquem em tarefas complexas, como controle de processo e validação, enquanto a máquina lida com o posicionamento repetitivo. Os autores enfatizam que seu sistema é projetado como um framework modular; embora atualmente baseado em modelos, ele é estruturado para permitir a substituição futura por algoritmos totalmente automáticos que não exijam modelos de referência. O estudo conclui que, embora existam limitações de invariância rotacional para certos métodos, estas podem ser contornadas pela intervenção do usuário no espaço de trabalho, e que documentos com excesso de fontes permanecem um desafio significativo para os algoritmos de reconstrução atuais. O trabalho contribui para o campo mais amplo da preservação do patrimônio cultural ao fornecer um protótipo funcional e reproduzível que preenche a lacuna entre a restauração manual e a automação total.