FlowExtract: Procedural Knowledge Extraction from Maintenance Flowcharts

1. Problema

As organizações de manufatura e manutenção possuem vastas bibliotecas de documentação de procedimentos operacionais (como guias de solução de problemas e manutenção preventiva) armazenadas como fluxogramas em PDFs estáticos ou imagens digitalizadas. Embora esses documentos codifiquem conhecimento procedural crítico para o gerenciamento do ciclo de vida de ativos, eles são inacessíveis para sistemas modernos de suporte a operadores.

O desafio central é a digitalização automática desses fluxogramas para representações de conhecimento consultáveis (grafos direcionados). Embora os Modelos de Linguagem e Visão (VLMs) sejam dominantes na compreensão de imagens, eles falham consistentemente na reconstrução da topologia de conexões (arestas) em fluxogramas densos e complexos. VLMs conseguem detectar nós e texto razoavelmente bem, mas não conseguem inferir corretamente a direção e a conectividade entre os elementos, resultando em baixas pontuações de F1 para arestas (geralmente abaixo de 0,30).

2. Metodologia: O Pipeline FlowExtract

O FlowExtract propõe uma arquitetura híbrida que separa a detecção de elementos da reconstrução de conectividade, combinando redes neurais para objetos discretos e técnicas clássicas de processamento de imagem para linhas. O pipeline opera em três etapas principais:

• A. Detecção de Nós (Elementos):

  • Utiliza o modelo YOLOv8 (variante pequena) para detectar e classificar elementos do fluxograma.
  • As classes definidas baseiam-se no padrão ISO 5807: Processos (retângulos), Decisões (losangos), Documentos (retângulos com borda ondulada), Terminadores (retângulos arredondados), Conectores (círculos) e, crucialmente, Pontas de Seta (Arrowheads).
  • Para lidar com o desequilíbrio de classes (poucas pontas de seta em relação a outros elementos), utiliza-se aumento de dados via Mosaic augmentation e variação de brilho.

• B. Extração de Texto:

  • Utiliza o EasyOCR para extrair o texto dentro dos nós detectados.
  • Realiza uma varredura completa da imagem para identificar rótulos de decisão ("ja"/"nee" em holandês, equivalentes a "sim"/"não") que aparecem ao longo dos caminhos das setas, armazenando-os para atribuição posterior às arestas.

• C. Detecção de Arestas (Conectividade):

  • Esta é a contribuição metodológica central. Em vez de traçar linhas primeiro e tentar inferir direção, o sistema ancora-se nas pontas de seta detectadas.
  • Análise de Orientação: A ponta "afiada" da seta indica o nó de destino, enquanto a parte "romba" indica a direção da origem.
  • Rastreamento Reverso: A partir da parte romba da ponta de seta, o sistema aplica a Transformada de Hough Probabilística para detectar segmentos de linha e realiza uma travessia baseada em grafos para rastrear o caminho de volta até o nó de origem.
  • Prioridade de Precisão: O método propõe arestas apenas onde indicadores direcionais (pontas de seta) foram explicitamente detectados. Isso evita inferir conexões a partir de linhas genéricas que podem ser bordas ou artefatos visuais, sacrificando o recall (cobertura) em prol da precisão.

3. Contribuições Principais

1. Método de Detecção de Arestas Ancorado em Pontas de Seta: Uma abordagem inovadora que prioriza a precisão sobre o recall, gerando representações de grafos direcionados onde as conexões detectadas são altamente confiáveis.
2. Validação Empírica de Arquiteturas Híbridas: O estudo fornece evidências de que separar a detecção de elementos da reconstrução de conectividade supera significativamente os modelos VLMs puros em fluxogramas procedurais industriais.
3. Integração com Fluxos de Trabalho "Human-in-the-Loop": O sistema foi projetado para fornecer um "esqueleto estrutural" confiável, permitindo que especialistas humanos completem as partes faltantes (focando em omissões em vez de corrigir erros de comissão), reduzindo a carga cognitiva e o viés de automação.

4. Resultados

O sistema foi avaliado em um conjunto de dados de 35 diagramas de manutenção de uma fábrica de eletrônicos (1.145 nós no total).

• Detecção de Nós: Alcançou um F1 de 98,8%, superando significativamente os VLMs (o melhor VLM, Qwen2-VL-7B, obteve 34,0%).
• Extração de Texto: Precisão de 99,2% no nível de caracteres.
• Detecção de Arestas:
  • FlowExtract: F1 de 66,7% (Precisão de 85,5%, Recall de 54,6%).
  • VLMs (Baseline): F1 de apenas 10,7% (Qwen2-VL-7B).
  • Isso representa uma melhoria de 6 vezes em relação aos modelos de ponta baseados em visão-linguagem.
• Análise de Desempenho: A alta precisão (85,5%) confirma que, quando uma conexão é detectada, ela é quase sempre correta. O recall limitado (54,6%) deve-se principalmente à falha na detecção de pontas de seta pequenas ou oclusas, e não a falhas no algoritmo de rastreamento de linhas.

5. Significado e Conclusão

O FlowExtract demonstra que, para diagramas técnicos padronizados (como fluxogramas ISO 5807), a combinação de detecção neural de símbolos com técnicas geométricas clássicas para linhas é superior ao uso de modelos de linguagem generativos para reconstrução de grafos.

A abordagem orientada à precisão é particularmente valiosa para aplicações industriais críticas, onde erros de propagação podem ter consequências de segurança. Ao fornecer um esqueleto estrutural confiável, o sistema facilita a colaboração humano-IA, onde o especialista humano atua para completar o conhecimento em vez de corrigir erros estruturais fundamentais. O código-fonte do projeto está disponível publicamente, oferecendo um caminho prático para organizações que desejam digitalizar e integrar conhecimento procedural legado em sistemas de suporte à decisão modernos.