Topology-Aware Structural Parsing of Hand-Drawn Diagrams via Learning-Aligned Decoding

Sintesi Tecnica: Parsing Strutturale Topologicamente Consapevole di Diagrammi Disegnati a Mano tramite Decoding Allineato all'Apprendimento

Problema
L'interpretazione automatica di diagrammi tecnici disegnati a mano (ad esempio, diagrammi di flusso, automi a stati finiti) presenta una sfida distinta dalla segmentazione d'immagine standard. L'output target non è semplicemente una collezione di regioni visive, ma un grafo diretto dove i vertici rappresentano stati o blocchi e gli archi rappresentano relazioni dirette. La difficoltà principale risiede nel divario tra l'evidenza visiva e il recupero strutturale: un connettore può apparire visivamente corretto a livello di pixel, ma fallire strutturalmente se si interrompe in un punto critico o se un endpoint si aggancia al lato sbagliato di un nodo. In tali casi, l'errore visivo è minimo, ma l'errore del grafo è discreto e grave. Le attuali pipeline "detect-and-decode" spesso soffrono di un debole confine tra il modello di visione (addestrato per l'evidenza visiva) e il decoder (costretto a riparare la struttura del grafo post-hoc), portando a fragilità nel gestire la grafia non vincolata, connettori curvi, auto-loop e strutture di ramificazione.

Metodologia
Gli autori propongono un framework allineato all'apprendimento che separa la predizione dell'evidenza del grafo dal raffinamento della regione del simbolo, culminando in un assemblatore deterministico a due passaggi.

1. Rete di Evidenza del Grafo:

   • Una rete multi-head basata su un encoder-decoder di tipo U-Net predice campi densi progettati specificamente per il recupero di grafi diretti, piuttosto che per una segmentazione generica.
   • Campi Predetti: La rete produce centri dei nodi, estensioni dei nodi, alberi di freccia, scheletri, teste/code di freccia, vettori di direzione locale, progresso del percorso (ordinamento normalizzato coda-testa), offset degli endpoint e tangenti degli endpoint.
   • Supervisione Consapevole delle Frecce Lunghe: Per prevenire la frammentazione nei connettori estesi, l'obiettivo di addestramento include una pesatura dipendente dalla lunghezza. I percorsi lunghi e molto lunghi ricevono pesi di perdita maggiori per garantire la continuità su distanze estese.
   • Funzione di Perdita: L'obiettivo totale combina perdite semantiche (BCE + Dice per le mappe), perdite geometriche (Smooth L1 per gli offset, distanza del coseno per le tangenti), perdite direzionali e perdite topologiche (soft centerline Dice, copertura del percorso e copertura pesata sulla lunghezza).

2. Raffinamento della Regione del Simbolo:

   • Un encoder-decoder separato, basato su una ResNet a 34 livelli, è addestrato per recuperare maschere di simboli ad alta fedeltà.
   • Questo ramo è scisso dalla logica di assemblaggio del grafo. Le sue proposte vengono utilizzate con cautela durante il passaggio finale di assemblaggio per raffinare la geometria del nodo solo quando corrispondono a un nodo provvisorio identificato dal ramo del grafo, evitando che il modello del simbolo alteri involontariamente la topologia del grafo.

3. Assemblatore a Due Passaggi Consapevole dell'Evidenza:

   • Passaggio I (Costruzione dell'Ipotesi Fisica): Costruisce un grafo fisico provvisorio ($\tilde{G}$) dai campi densi. Estrae i centri dei nodi e i picchi degli endpoint, affina le coordinate usando gli offset predetti e traccia percorsi candidati tramite una ricerca A* su un campo di supporto fuso. Valuta i percorsi in base alla confidenza degli endpoint, alla coerenza della direzione e alla monotonicità del progresso, producendo un insieme di frecce candidate non conflittuali.
   • Passaggio II (Finalizzazione Strutturale con Contesto di Grafo): Opera solo dopo che esiste un grafo provvisorio. Utilizza il contesto globale del grafo per:
     • Completare gli archi con esattamente un endpoint non risolto se il nodo dominante è chiaro e supportato dall'inchiostro locale.
     • Sopprimere ipotesi di fallback non supportate e duplicati fisici.
     • Recuperare i candidati solo se colmano un deficit strutturale verificato.
     • Applicare un raffinamento conservativo della regione del nodo basato sulle proposte di simbolo corrispondenti.
   • L'assemblatore opera su metriche sensibili all'aspetto per gestire il ridimensionamento anisotropo, assicurando che le soglie geometriche rimangano coerenti con le proporzioni originali dell'immagine.

Contributi Chiave

• Rappresentazione Allineata all'Apprendimento: Uno schema di predizione densa in cui le teste sono selezionate specificamente per le necessità del recupero di grafi diretti (ad esempio, campi di progresso, tangenti) piuttosto che per la segmentazione standard.
• Architettura Disaccoppiata: Separazione della predizione dell'evidenza del grafo dal raffinamento della regione del simbolo, utilizzando le proposte corrispondenti in modo conservativo per evitare la corruzione della topologia.
• Continuità Consapevole delle Frecce Lunghe: Una strategia di supervisione che combina la pesatura della lunghezza spaziale, i termini di richiamo del percorso e la pressione della linea centrale per affrontare specificamente la frammentazione nei connettori estesi.
• Assemblatore Deterministico a Due Passaggi: Una formulazione che separa la costruzione dell'ipotesi fisica dalla finalizzazione strutturale con contesto di grafo, permettendo di ritardare le decisioni strutturali ambigue fino a quando un grafo provvisorio non fornisca il contesto.
• Valutazione Esaustiva: Valutazione su un set di 450 diagrammi disegnati a mano utilizzando metriche dense, geometriche e a livello di grafo, inclusi il richiamo specifico per i loop-back e le ramificazioni decisionali.

Risultati
Valutato su 450 diagrammi tenuti fuori dal training (Automi a Stati Finiti, Famiglia di Diagrammi di Flusso A e Famiglia di Diagrammi di Flusso B), il framework completo ha ottenuto:

• F1 Score dei Nodi: 98,57%
• Intersezione su Unione della Maschera (IoU): 82,71%
• Soft Centerline Dice (Soft-clDice): 96,72%
• Errore Endpoint: 3,77 pixel (distanza euclidea media)
• F1 Score del Collegamento Diretto: 92,49%
• Distanza di Modifica del Grafo Normalizzata (nGED): 0,090
• Richiamo Loop-back: 95,24%
• Richiamo Ramificazione Decisionale: 94,04%

Gli studi di ablazione hanno rivelato che, sebbene l'apprenditore dell'evidenza del grafo sia cruciale, la finalizzazione strutturale a due passaggi fornisce il guadagno più significativo nel recupero del grafo (aumentando il Link F1 di circa 9,9 punti percentuali e riducendo l'nGED da 0,201 a 0,098). Il ramo di raffinamento del simbolo ha migliorato principalmente la Mask IoU e la Soft-clDice, con guadagni minori ma costanti nella Link F1.

Significato e Rivendicazioni
Il paper sostiene che l'estrazione affidabile di un grafo richiede più della semplice segmentazione accurata; essa necessita di ritardare le decisioni strutturali ambigue finché non esiste un contesto di grafo provvisorio. Il proposto "Decoding Allineato all'Apprendimento" colma il divario tra la predizione visiva densa e l'estrazione simbolica del grafo esponendo l'evidenza direzionale, geometrica e topologica direttamente al decoder.

Gli autori sottolineano che il secondo passaggio non è un ragionatore semantico che inferisce l'intento, ma un meccanismo che rivisita le decisioni ambigue utilizzando l'evidenza dell'immagine e il grafo provvisorio già recuperato. Questo approccio permette al sistema di recuperare il grafo implicito nella geometria disegnata senza fare affidamento su logica esterna o OCR, rendendolo adatto alla valutazione automatizzata dove l'integrità strutturale del diagramma è fondamentale. Il lavoro dimostra che separare la costruzione dell'ipotesi fisica dalla finalizzazione strutturale è una strategia valida per gestire l'instabilità della grafia non vincolata nei diagrammi tecnici.