The Gordian Knot for VLMs: Diagrammatic Knot Reasoning as a Hard Benchmark

Riepilogo Tecnico: Il Nodo Gordiano per i VLM

Enunciato del Problema
I modelli visione-linguaggio (VLM) attuali mostrano una specifica modalità di fallimento denominata divario percezione–operazione. Sebbene i modelli possano spesso descrivere gli elementi visivi di un diagramma (ad esempio, contare gli incroci o identificare le linee), non riescono ad agire su tale struttura percepita. Nello specifico, non possono decidere in modo affidabile l'equivalenza topologica, prevedere le conseguenze di cambiamenti strutturali (mosse di Reidemeister) o tradurre diagrammi visivi in rappresentazioni simboliche verificabili. Questo articolo sostiene che il fallimento non risiede meramente nel "vedere", ma nell'incapacità di simulare operazioni su strutture spaziali percepite.

Metodologia: Il Benchmark KnotBench
Per isolare e misurare questo divario, gli autori introducono KnotBench, un benchmark diagnostico basato sul dominio della teoria dei nodi, dove la verità fondamentale è matematicamente rigorosa piuttosto che annotata da umani.

• Costruzione del Corpus: Il dataset è composto da 858.318 render PNG generati a partire da 1.951 prototipi di nodi primi (numeri di incrocio da 3 a 19). Il processo di generazione utilizza camminate casuali di mosse di Reidemeister (R1, R2, R3) sui prototipi, garantendo che, sebbene le apparenze visive varino enormemente (diversi conteggi di incroci, chiralità, texture), l'identità topologica sottostante rimanga costante.
• Verità Fondamentale: L'equivalenza è determinata dalla firma canonica del nodo di Regina (knotSig), un'impronta digitale a stringa che è invariante rispetto alle mosse di Reidemeister. Questa funge da oracolo per verificare se due diagrammi rappresentano lo stesso nodo.
• Negativi Difficili: Il benchmark include coppie di mutanti (ad esempio, K11n34 vs. K11n42), che sono nodi topologicamente distinti ma condividono invarianti classici identici (Jones, Alexander, firma, determinante). Questi impediscono ai modelli di risolvere i compiti tramite invarianti memorizzati piuttosto che tramite ragionamento topologico.
• Progettazione del Compito: Il benchmark comprende 14 compiti organizzati in quattro famiglie, suddivisi per modalità di input:
  • Famiglia A (Equivalenza): Valutare se due diagrammi rappresentano lo stesso nodo, la stessa chiralità, lo stesso numero di incroci o lo stesso codice PD canonico.
  • Famiglia B (Previsione dell'Azione): Identificare quale mossa di Reidemeister collega due diagrammi consecutivi in una traiettoria.
  • Famiglia C (Identificazione): Contare gli incroci (C0) e trascrivere i diagrammi in codici Dowker-Thistlethwaite (DT) (C1).
  • Famiglia D (Ancoraggio Cross-Modale): Verificare se un dato codice PD descrive un'immagine (D0) o selezionare il codice corretto tra quattro opzioni (D1).
  • Divisione per Modalità (-I vs. -S): I compiti sono presentati sia come immagini (-I) sia come testo di codice PD (-S). Questo permette agli autori di distinguere tra fallimenti nella percezione (estrazione della struttura dai pixel) e fallimenti nell'operazione (ragionamento sulla struttura).

Configurazione Sperimentale
Lo studio valuta quattro configurazioni di due modelli closed-source: Claude Opus 4.7 e GPT-5, ciascuno testato con e senza ragionamento in "modalità pensiero". Tutte le valutazioni utilizzano un budget di 64K token di output abbinato per garantire un confronto equo tra i fornitori.

Risultati Chiave
I risultati su 56 coppie (compito, modello) rivelano un deficit netto nelle capacità operative:

1. Prestazioni di Baseline Casuale: 15 delle 56 coppie compito-modello performano al livello o al di sotto della baseline casuale. 8 dei 14 compiti hanno un punteggio migliore inferiore a 1,5 volte la baseline casuale.
2. Il Divario Percezione–Operazione:
   • Input Simbolico (-S): Quando le informazioni strutturali sono fornite come testo (codici PD), i modelli spesso performano bene. Ad esempio, GPT-5 con pensiero raggiunge l'88% su B0-S (prevedere mosse tra codici PD) e il 99% su A3-S (verificare l'identità del codice PD canonico).
   • Input Visivo (-I): Quando gli stessi compiti richiedono l'estrazione della struttura dai pixel, le prestazioni crollano. GPT-5 scende al 21% su B0-I, e nessun modello produce una trascrizione di codice DT rigorosamente corretta (C1) da un'immagine (0/100 corrispondenza rigorosa; solo 4/100 recupero permissivo).
3. Modalità di Fallimento Specifiche:
   • Conteggio (C0): I modelli non riescono a contare gli incroci con precisione oltre una bassa complessità (nx > 10), scendendo a livelli vicini al caso.
   • Trascrizione (C1): Nessun modello può generare un'impronta digitale simbolica decodificabile da un'immagine.
   • Scorciatoie: Senza pensiero, GPT-5 su B0-I ricade in una scorciatoia "sempre R3", ottenendo alta accuratezza solo sulla classe di mosse più frequente mentre fallisce nelle altre.
4. Impatto del Pensiero: Il ragionamento in "modalità pensiero" fornisce un modesto incremento aggregato (+1,65 punti per Claude, +9,25 per GPT-5), ma questo guadagno è quasi interamente concentrato sui compiti simbolici (-S). Non riduce significativamente il divario sui compiti basati solo su immagini, dove il collo di bottiglia è l'estrazione iniziale della struttura.

Significato e Affermazioni
L'articolo afferma che KnotBench fornisce il primo dataset per testare rigorosamente i VLM generici sul ragionamento diagrammatico con una verità fondamentale topologica formale. Gli autori sostengono che il pattern osservato—modelli che possono percepire gli elementi del diagramma ma non possono simulare mosse su di essi—è coerente con architetture attuali prive di un simulatore interno condizionato all'azione.

A differenza di benchmark precedenti che si basano su annotazioni umane o difficoltà euristica, KnotBench utilizza invarianti matematici e coppie di mutanti per creare negativi difficili strutturali e falsificabili. Gli autori concludono che i VLM attuali mancano dell'"apparato per simulare mosse" su caratteristiche percepite, una capacità che gli umani reclutano per il ragionamento spaziale. Posizionano KnotBench non come un test dello stato dell'arte attuale, ma come un obiettivo per future architetture (ad esempio, modelli del mondo o ibridi neuro-simbolici) che mirano a colmare il divario tra percezione e operazione.