The Gordian Knot for VLMs: Diagrammatic Knot Reasoning as a Hard Benchmark

Resumo Técnico: O Nó de Gordia para VLMs

Declaração do Problema
Os Modelos Visão-Linguagem (VLMs) atuais exibem um modo de falha específico denominado lacuna percepção–operação. Embora os modelos frequentemente possam descrever os elementos visuais de um diagrama (por exemplo, contar cruzamentos ou identificar linhas), eles falham em agir sobre essa estrutura percebida. Especificamente, não conseguem decidir de forma confiável a equivalência topológica, prever as consequências de mudanças estruturais (movimentos de Reidemeister) ou traduzir diagramas visuais em representações simbólicas que possam ser verificadas. Este artigo argumenta que a falha não reside meramente em "ver", mas na incapacidade de simular operações sobre estruturas espaciais percebidas.

Metodologia: O Benchmark KnotBench
Para isolar e medir essa lacuna, os autores introduzem o KnotBench, um benchmark de diagnóstico construído sobre o domínio da teoria dos nós, onde a verdade fundamental é matematicamente rigorosa, e não anotada por humanos.

• Construção do Corpus: O conjunto de dados consiste em 858.318 renderizações PNG geradas a partir de 1.951 protótipos de nós primos (números de cruzamento de 3 a 19). O processo de geração utiliza passeios aleatórios de movimentos de Reidemeister (R1, R2, R3) sobre protótipos, garantindo que, embora as aparências visuais variem amplamente (diferentes contagens de cruzamento, quiralidades, texturas), a identidade topológica subjacente permaneça constante.
• Verdade Fundamental: A equivalência é determinada pela assinatura canônica de nó do Regina (knotSig), uma impressão digital em string que é invariante sob movimentos de Reidemeister. Isso serve como um oráculo para verificar se dois diagramas representam o mesmo nó.
• Negativos Difíceis: O benchmark inclui pares mutantes (por exemplo, K11n34 vs. K11n42), que são nós topologicamente distintos que compartilham invariantes clássicos idênticos (Jones, Alexander, assinatura, determinante). Estes impedem que os modelos resolvam tarefas por meio de invariantes memorizados em vez de raciocínio topológico.
• Design da Tarefa: O benchmark compreende 14 tarefas organizadas em quatro famílias, divididas por modalidade de entrada:
  • Família A (Equivalência): Julgar se dois diagramas representam o mesmo nó, mesma quiralidade, mesma contagem de cruzamentos ou mesmo código PD canônico.
  • Família B (Previsão de Ação): Identificar qual movimento de Reidemeister conecta dois diagramas consecutivos em uma trajetória.
  • Família C (Identificação): Contar cruzamentos (C0) e transcrever diagramas em códigos Dowker-Thistlethwaite (DT) (C1).
  • Família D (Fundamentação Cross-Modal): Verificar se um código PD dado descreve uma imagem (D0) ou selecionar o código correto entre quatro opções (D1).
  • Divisão por Modalidade (-I vs. -S): As tarefas são apresentadas como imagens (-I) ou como texto de código PD (-S). Isso permite que os autores distingam entre falhas em percepção (extração de estrutura a partir de pixels) e falhas em operação (raciocínio sobre a estrutura).

Configuração Experimental
O estudo avalia quatro configurações de dois modelos de código fechado: Claude Opus 4.7 e GPT-5, cada um testado com e sem raciocínio em "modo de pensamento". Todas as avaliações utilizam um orçamento de 64K tokens de saída correspondente para garantir comparação justa entre fornecedores.

Principais Resultados
Os resultados em 56 pares (tarefa, modelo) revelam um déficit gritante nas capacidades operacionais:

1. Desempenho da Linha de Base Aleatória: 15 dos 56 pares tarefa-modelo performam no nível ou abaixo da linha de base aleatória. 8 das 14 tarefas têm uma pontuação máxima inferior a 1,5× a aleatória.
2. A Lacuna Percepção–Operação:
   • Entrada Simbólica (-S): Quando a informação estrutural é fornecida como texto (códigos PD), os modelos frequentemente performam bem. Por exemplo, o GPT-5 com pensamento atinge 88% em B0-S (prever movimentos entre códigos PD) e 99% em A3-S (verificar identidade de código PD canônico).
   • Entrada Visual (-I): Quando as mesmas tarefas exigem extrair estrutura a partir de pixels, o desempenho colapsa. O GPT-5 cai para 21% em B0-I, e nenhum modelo produz uma transcrição de código DT estritamente correta (C1) a partir de uma imagem (0/100 correspondência estrita; apenas 4/100 recuperação permissiva).
3. Modos de Falha Específicos:
   • Contagem (C0): Os modelos falham em contar cruzamentos com precisão além de baixa complexidade (nx > 10), caindo para níveis próximos ao aleatório.
   • Transcrição (C1): Nenhum modelo consegue gerar uma impressão digital simbólica decodificável a partir de uma imagem.
   • Atalhos: Sem pensamento, o GPT-5 em B0-I recorre a um atalho "sempre R3", alcançando alta precisão apenas na classe de movimento mais frequente, falhando nas demais.
4. Impacto do Pensamento: O raciocínio em "modo de pensamento" fornece um aumento agregado modesto (+1,65 pontos para o Claude, +9,25 para o GPT-5), mas esse ganho está quase inteiramente concentrado em tarefas simbólicas (-S). Não fecha significativamente a lacuna em tarefas apenas com imagem, onde o gargalo é a extração inicial da estrutura.

Significado e Alegações
O artigo alega que o KnotBench fornece o primeiro conjunto de dados para testar rigorosamente VLMs de propósito geral em raciocínio diagramático com verdade fundamental topológica formal. Os autores argumentam que o padrão observado — modelos que podem perceber elementos do diagrama, mas não podem simular movimentos sobre eles — é consistente com arquiteturas atuais que carecem de um simulador interno condicionado à ação.

Diferentemente de benchmarks anteriores que dependem de anotação humana ou dificuldade heurística, o KnotBench utiliza invariantes matemáticos e pares mutantes para criar negativos estruturais falsificáveis e difíceis. Os autores concluem que os VLMs atuais carecem do "aparelho para simular movimentos" sobre características percebidas, uma capacidade que humanos recrutam para o raciocínio espacial. Eles posicionam o KnotBench não como um teste do estado da arte atual, mas como um alvo para arquiteturas futuras (por exemplo, modelos de mundo ou híbridos neuro-simbólicos) que visam bridgear a lacuna entre percepção e operação.