Topology-Aware Structural Parsing of Hand-Drawn Diagrams via Learning-Aligned Decoding

Resumo Técnico: Decomposição Estrutural com Consciência de Topologia de Diagramas Desenhados à Mão via Decodificação Alinhada ao Aprendizado

Definição do Problema
A interpretação automática de diagramas técnicos desenhados à mão (ex: fluxogramas, autômatos finitos) apresenta um desafio distinto da segmentação de imagem padrão. O objetivo pretendido não é meramente uma coleção de regiões visuais, mas um grafo direcionado, onde vértices representam estados ou blocos e arestas representam relações direcionadas. A dificuldade central reside na lacuna entre a evidência visual e a recuperação estrutural: um conector pode parecer visualmente correto ao nível de pixels, mas falhar estruturalmente se quebrar em um ponto crítico ou se um ponto final se ajustar ao lado errado de um nó. Nesses casos, o erro visual é pequeno, mas o erro de grafo é discreto e severo. Os pipelines existentes de "detecção e decodificação" frequentemente sofrem com uma fronteira fraca entre o modelo de visão (treinado para evidência visual) e o decodificador (forçado a reparar a estrutura do grafo a posteriori), levando à fragilidade ao lidar com caligrafia não restrita, conectores curvos, auto-loops e estruturas de ramificação.

Metodologia
Os autores propõem uma estrutura alinhada ao aprendizado que separa a predição de evidência de grafo do refinamento de região de símbolos, culminando em um montador determinístico de duas passagens.

1. Rede de Evidência de Grafo:

   • Uma rede multi-cabeça baseada em um codificador-decodificador estilo U-Net prediz campos densos especificamente projetados para a recuperação de grafos direcionados, em vez de segmentação genérica.
   • Campos Preditos: A rede produz centros de nós, extensões de nós, eixos de setas, esqueletos, cabeças/caudas de setas, vetores de direção local, progresso do caminho (ordenação normalizada cauda-para-cabeça), deslocamentos de pontos finais e tangentes de pontos finais.
   • Supervisão Consciente de Setas Longas: Para evitar fragmentação em conectores estendidos, o objetivo de treinamento inclui ponderação dependente de comprimento. Caminhos longos e muito longos recebem pesos de perda aumentados para garantir a continuidade ao longo de distâncias estendidas.
   • Função de Perda: O objetivo total combina perdas semânticas (BCE + Dice para mapas), perdas geométricas (Smooth L1 para deslocamentos, distância de cosseno para tangentes), perdas direcionais e perdas topológicas (Dice de linha central suave, cobertura de caminho e cobertura ponderada pelo comprimento).

2. Refinamento de Região de Símbolos:

   • Um codificador-decodificador separado, baseado em ResNet de 34 camadas, é treinado para recuperar máscaras de símbolos de alta fidelidade.
   • Este ramo é desacoplado da lógica de montagem do grafo. Suas propostas são usadas de forma conservadora durante a passagem de montagem final para refinar a geometria do nó apenas quando coincidem com um nó provisório identificado pelo ramo do grafo, evitando que o modelo de símbolo altere inadvertidamente a topologia do grafo.

3. Montador de Duas Passagens Consciente de Evidência:

   • Passagem I (Construção de Hipótese Física): Constrói um grafo físico provisório ($\tilde{G}$) a partir dos campos densos. Extrai centros de nós e picos de pontos finais, refina coordenadas usando deslocamentos preditos e traça caminhos candidatos usando busca A* sobre um campo de suporte fundido. Pontua caminhos com base na confiança do ponto final, consistência de direção e monotonicidade de progresso, produzindo um conjunto de setas candidatas não conflitantes.
   • Passagem II (Finalização Estrutural com Contexto de Grafo): Opera apenas após a existência de um grafo provisório. Utiliza o contexto global do grafo para:
     • Completar arestas com exatamente um ponto final não resolvido se o nó dominante estiver claro e suportado por tinta local.
     • Suprimir hipóteses de fallback não suportadas e duplicatas físicas.
     • Recuperar candidatos apenas se preencherem um déficit estrutural verificado.
     • Aplicar refinamento conservador de região de nó baseado em propostas de símbolos correspondentes.
   • O montador opera em métricas de consciência de aspecto para lidar com redimensionamento anisotrópico, garantindo que os limiares geométricos permaneçam consistentes com as proporções originais da imagem.

Principais Contribuições

• Representação Alinhada ao Aprendizado: Um esquema de predição densa onde as cabeças são selecionadas especificamente para as necessidades da recuperação de grafos direcionados (ex: campos de progresso, tangentes) em vez de segmentação padrão.
• Arquitetura Desacoplada: Separação da predição de evidência de grafo do refinamento de região de símbolos, usando propostas correspondentes de forma conservadora para evitar a corrupção da topologia.
• Continuidade Consciente de Setas Longas: Uma estratégia de supervisão combinando ponderação de comprimento espacial, termos de recall de caminho e pressão de linha central para abordar especificamente a fragmentação em conectores estendidos.
• Montador Determinístico de Duas Passagens: Uma formulação que separa a construção de hipótese física da finalização estrutural com contexto de grafo, permitindo que decisões estruturais ambíguas sejam adiadas até que um grafo provisório forneça contexto.
• Avaliação Abrangente: Avaliação em um conjunto de 450 diagramas desenhados à mão usando métricas densas, geométricas e de nível de grafo, incluindo recall específico para loops de retorno e ramos de decisão.

Resultados
Avaliado em 450 diagramas (Autômatos Finitos, Família de Fluxogramas A e Família de Fluxogramas B), o framework completo alcançou:

• F1 Score de Nó: 98,57%
• Interseção sobre União de Máscara (IoU): 82,71%
• Dice de Linha Central Suave (Soft-clDice): 96,72%
• Erro de Ponto Final: 3,77 pixels (distância euclidiana média)
• F1 Score de Link Direcionado: 92,49%
• Distância de Edição de Grafo Normalizada (nGED): 0,090
• Recall de Loop-back: 95,24%
• Recall de Ramificação de Decisão: 94,04%

Estudos de ablação revelaram que, embora o aprendiz de evidência de grafo seja crucial, a finalização estrutural de duas passagens fornece o ganho mais significativo na recuperação de grafos (aumentando o F1 de Link em ~9,9 pontos percentuais e reduzindo o nGED de 0,201 para 0,098). O ramo de refinamento de símbolo melhorou principalmente o Mask IoU e o Soft-clDice, com ganhos menores, porém consistentes, no Link F1.

Significância e Alegações
O artigo argumenta que a extração confiável de grafos requer mais do que apenas segmentação precisa; necessita adiar decisões estruturais ambíguas até que um contexto de grafo provisório exista. A "Decodificação Alinhada ao Aprendizado" proposta preenche a lacuna entre a predição visual densa e a extração simbólica de grafos ao expor evidências direcionais, geométricas e topológicas diretamente ao decodificador.

Os autores enfatizam que a segunda passagem não é um raciocinador semântico que infere intenção, mas um mecanismo que revisita decisões ambíguas usando evidência de imagem e o grafo provisório já recuperado. Esta abordagem permite que o sistema recupere o grafo implícito pela geometria desenhada sem depender de lógica externa ou OCR, tornando-o adequado para avaliação automatizada onde a integridade estrutural do diagrama é primordial. O trabalho demonstra que separar a construção de hipótese física da finalização estrutural é uma estratégia viável para lidar com a instabilidade da caligrafia não restrita em diagramas técnicos.