The Gordian Knot for VLMs: Diagrammatic Knot Reasoning as a Hard Benchmark

Resumen Técnico: El Nudo Gordiano para los VLM

Enunciado del Problema
Los Modelos Visión-Lenguaje (VLM) actuales exhiben un modo de fallo específico denominado brecha percepción–operación. Aunque los modelos a menudo pueden describir los elementos visuales de un diagrama (por ejemplo, contar cruces o identificar líneas), no logran actuar sobre esa estructura percibida. Específicamente, no pueden decidir de manera fiable la equivalencia topológica, predecir las consecuencias de cambios estructurales (movimientos de Reidemeister) o traducir diagramas visuales en representaciones simbólicas que puedan verificarse. Este artículo sostiene que el fallo no reside meramente en "ver", sino en la incapacidad de simular operaciones sobre estructuras espaciales percibidas.

Metodología: La Prueba de Referencia KnotBench
Para aislar y medir esta brecha, los autores introducen KnotBench, una prueba de referencia diagnóstica construida sobre el dominio de la teoría de nudos, donde la verdad fundamental es matemáticamente rigurosa en lugar de anotada por humanos.

• Construcción del Corpus: El conjunto de datos consta de 858.318 renderizados PNG generados a partir de 1.951 prototipos de nudos primos (números de cruce de 3 a 19). El proceso de generación utiliza paseos aleatorios de movimientos de Reidemeister (R1, R2, R3) sobre prototipos, asegurando que, aunque las apariencias visuales varíen enormemente (diferentes conteos de cruces, quiralidades, texturas), la identidad topológica subyacente permanezca constante.
• Verdad Fundamental: La equivalencia se determina mediante la firma canónica de nudo de Regina (knotSig), una huella digital de cadena que es invariante bajo movimientos de Reidemeister. Esto sirve como un oráculo para verificar si dos diagramas representan el mismo nudo.
• Negativos Difíciles: La prueba de referencia incluye pares mutantes (por ejemplo, K11n34 vs. K11n42), que son nudos topológicamente distintos que comparten invariantes clásicos idénticos (Jones, Alexander, firma, determinante). Estos evitan que los modelos resuelvan tareas mediante invariantes memorizados en lugar de razonamiento topológico.
• Diseño de Tareas: La prueba de referencia comprende 14 tareas organizadas en cuatro familias, divididas por modalidad de entrada:
  • Familia A (Equivalencia): Juzgar si dos diagramas representan el mismo nudo, la misma quiralidad, el mismo conteo de cruces o el mismo código PD canónico.
  • Familia B (Predicción de Acción): Identificar qué movimiento de Reidemeister conecta dos diagramas consecutivos en una trayectoria.
  • Familia C (Identificación): Contar cruces (C0) y transcribir diagramas en códigos Dowker-Thistlethwaite (DT) (C1).
  • Familia D (Anclaje Cross-Modal): Verificar si un código PD dado describe una imagen (D0) o seleccionar el código correcto entre cuatro opciones (D1).
  • División por Modalidad (-I vs. -S): Las tareas se presentan ya sea como imágenes (-I) o como texto de código PD (-S). Esto permite a los autores distinguir entre fallos en la percepción (extraer estructura de píxeles) y fallos en la operación (razonar sobre la estructura).

Configuración Experimental
El estudio evalúa cuatro configuraciones de dos modelos de código cerrado: Claude Opus 4.7 y GPT-5, cada uno probado con y sin razonamiento en "modo de pensamiento". Todas las evaluaciones utilizan un presupuesto de 64K tokens de salida coincidente para garantizar una comparación justa entre proveedores.

Resultados Clave
Los resultados en 56 pares (tarea, modelo) revelan un déficit agudo en las capacidades operativas:

1. Rendimiento de Línea Base Aleatoria: 15 de los 56 pares tarea-modelo se desempeñan en o por debajo de la línea base aleatoria. 8 de las 14 tareas tienen una puntuación máxima inferior a 1.5× la aleatoria.
2. La Brecha Percepción–Operación:
   • Entrada Simbólica (-S): Cuando la información estructural se proporciona como texto (códigos PD), los modelos a menudo se desempeñan bien. Por ejemplo, GPT-5 con pensamiento alcanza un 88% en B0-S (predicción de movimientos entre códigos PD) y un 99% en A3-S (verificación de identidad de código PD canónico).
   • Entrada Visual (-I): Cuando las mismas tareas requieren extraer estructura de píxeles, el rendimiento colapsa. GPT-5 cae al 21% en B0-I, y ningún modelo produce una transcripción de código DT estrictamente correcta (C1) a partir de una imagen (0/100 coincidencia estricta; solo 4/100 recuperación permisiva).
3. Modos de Fallo Específicos:
   • Conteo (C0): Los modelos no logran contar cruces con precisión más allá de baja complejidad (nx > 10), cayendo a niveles cercanos a lo aleatorio.
   • Transcripción (C1): Ningún modelo puede generar una huella digital simbólica decodificable a partir de una imagen.
   • Atajos: Sin pensamiento, GPT-5 en B0-I recurre por defecto a un atajo de "siempre R3", logrando alta precisión solo en la clase de movimiento más frecuente mientras falla en las demás.
4. Impacto del Pensamiento: El razonamiento en "modo de pensamiento" proporciona un impulso agregado modesto (+1.65 puntos para Claude, +9.25 para GPT-5), pero esta ganancia se concentra casi en su totalidad en tareas simbólicas (-S). No cierra significativamente la brecha en tareas solo de imagen donde el cuello de botella es la extracción inicial de la estructura.

Significado y Afirmaciones
El artículo afirma que KnotBench proporciona el primer conjunto de datos para probar rigurosamente VLMs de propósito general en razonamiento diagramático con verdad fundamental topológica formal. Los autores argumentan que el patrón observado —modelos que pueden percibir elementos de diagramas pero no pueden simular movimientos sobre ellos— es consistente con arquitecturas actuales que carecen de un simulador interno condicionado a la acción.

A diferencia de pruebas de referencia anteriores que dependen de anotación humana o dificultad heurística, KnotBench utiliza invariantes matemáticos y pares mutantes para crear negativos difíciles estructurales falsables. Los autores concluyen que los VLMs actuales carecen del "aparato para simular movimientos" sobre características percibidas, una capacidad que los humanos reclutan para el razonamiento espacial. Posicionan a KnotBench no como una prueba del estado actual del arte, sino como un objetivo para arquitecturas futuras (por ejemplo, modelos del mundo o híbridos neuro-simbólicos) que buscan cerrar la brecha entre percepción y operación.