The Gordian Knot for VLMs: Diagrammatic Knot Reasoning as a Hard Benchmark

기술적 요약: VLM 을 위한 고디우스의 매듭

문제 제기
현재의 비전 - 언어 모델 (VLM) 은 '지각 - 조작 간극 (perception–operation gap)'이라 명명된 특정 실패 양상을 보입니다. 모델들은 종종 다이어그램의 시각적 요소 (예: 교차점 수 세기 또는 선 식별) 를 설명할 수는 있지만, 지각된 구조에 따라 행동하는 데는 실패합니다. 구체적으로, 위상적 동치성을 신뢰성 있게 판단하거나, 구조적 변화 (라이데마이어 이동) 의 결과를 예측하거나, 시각적 다이어그램을 검증 가능한 기호적 표현으로 변환하지 못합니다. 본 논문은 이 실패가 단순히 '보는 것'에 있는 것이 아니라, 지각된 공간적 구조에 대한 조작을 시뮬레이션하지 못하는 능력 부재에 있다고 주장합니다.

방법론: KnotBench 벤치마크
이 간극을 격리하고 측정하기 위해 저자들은 위상수학의 영역에 기반한 KnotBench를 도입했습니다. 이는 인간이 주석을 다는 것이 아니라 수학적으로 엄밀한 정답 (ground truth) 을 제공하는 진단용 벤치마크입니다.

• 말뭉치 구성: 데이터셋은 3 에서 19 까지의 교차수를 가진 1,951 개의 소매듭 (prime-knot) 프로토타입에서 생성된 858,318 개의 PNG 렌더링으로 구성됩니다. 생성 과정은 프로토타입 위에 라이데마이어 이동 (R1, R2, R3) 의 무작위 보행을 사용하여, 시각적 외양 (서로 다른 교차점 수, 키랄리티, 질감) 이 극도로 다양하게 변함에도 불구하고 근본적인 위상적 정체성은 일정하게 유지되도록 보장합니다.
• 정답 (Ground Truth): 동치성은 라이데마이어 이동 하에서 불변인 문자열 지문인 **Regina 의 표준 매듭 서명 (knotSig)**에 의해 결정됩니다. 이는 두 다이어그램이 동일한 매듭을 나타내는지 확인하는 오라클 역할을 합니다.
• 하드 네거티브 (Hard Negatives): 벤치마크는 고전적 불변량 (존스, 알렉산더, 서명, 행렬식) 이 동일한 위상적으로 구별되는 매듭 (예: K11n34 대 K11n42) 인 **뮤테이션 쌍 (mutant pairs)**을 포함합니다. 이는 모델들이 위상적 추론이 아닌 기억된 불변량을 통해 과제를 해결하는 것을 방지합니다.
• 작업 설계: 벤치마크는 입력 모달리티에 따라 나뉜 네 가지 계열로 구성된 14 가지 작업으로 구성됩니다.
  • 계열 A (동치성): 두 다이어그램이 동일한 매듭, 동일한 키랄리티, 동일한 교차점 수, 또는 동일한 표준 PD 코드를 나타내는지 판단합니다.
  • 계열 B (행동 예측): 궤적에서 두 연속된 다이어그램을 연결하는 라이데마이어 이동을 식별합니다.
  • 계열 C (식별): 교차점을 세고 (C0) 다이어그램을 다우커 - 티슬스웨이트 (DT) 코드로 전사합니다 (C1).
  • 계열 D (교차 모달 그라운딩): 주어진 PD 코드가 이미지를 설명하는지 확인 (D0) 하거나 네 가지 옵션 중 올바른 코드를 선택 (D1) 합니다.
  • 모달리티 분할 (-I 대 -S): 작업은 이미지 (-I) 또는 PD 코드 텍스트 (-S) 로 제시됩니다. 이를 통해 저자들은 픽셀에서 구조를 추출하는 지각의 실패와 구조에 대한 추론인 조작의 실패를 구분할 수 있습니다.

실험 설정
본 연구는 Claude Opus 4.7과 GPT-5라는 두 개의 폐쇄형 소스 모델의 네 가지 구성을 평가합니다. 각 모델은 '사고 모드 (thinking-mode)' 추론 유무로 테스트됩니다. 모든 평가는 벤더 간 공정한 비교를 위해 일치된 64K 출력 토큰 예산을 사용합니다.

주요 결과
56 개의 (작업, 모델) 쌍에 걸친 결과는 조작 능력의 극심한 결핍을 드러냅니다.

1. 무작위 기준선 성능: 56 개의 작업 - 모델 쌍 중 15 개가 무작위 기준선 수준이거나 그 이하로 수행됩니다. 14 개 작업 중 8 개는 최우수 점수가 무작위의 1.5 배 미만입니다.
2. 지각 - 조작 간극:
   • 기호적 입력 (-S): 구조적 정보가 텍스트 (PD 코드) 로 제공될 때 모델들은 종종 잘 수행합니다. 예를 들어, 사고 모드를 사용하는 GPT-5 는 PD 코드 간의 이동을 예측하는 B0-S 에서 88%, 표준 PD 정체성을 확인하는 A3-S 에서 **99%**의 점수를 달성합니다.
   • 시각적 입력 (-I): 동일한 작업이 픽셀에서 구조를 추출해야 할 때 성능은 붕괴됩니다. GPT-5 는 B0-I 에서 **21%**로 떨어지며, 어떤 모델도 이미지에서 엄격하게 정확한 DT 코드 전사 (C1) 를 생성하지 못합니다 (엄격한 일치 0/100; 허용적 복구 4/100 만).
3. 특정 실패 양상:
   • 세기 (C0): 모델들은 낮은 복잡도 (nx > 10) 를 넘어서면 교차점을 정확하게 세지 못하며, 무작위 수준까지 떨어집니다.
   • 전사 (C1): 어떤 모델도 이미지에서 해독 가능한 기호적 지문을 생성하지 못합니다.
   • 단축 (Shortcutting): 사고 모드 없이 GPT-5 는 B0-I 에서 '항상 R3'라는 단축 경로로 기본 설정되며, 가장 빈번한 이동 클래스에서만 높은 정확도를 달성하고 나머지는 실패합니다.
4. 사고의 영향: '사고 모드' 추론은 소폭의 집계적 상승 (+Claude 1.65 점, +GPT-5 9.25 점) 을 제공하지만, 이 이득은 거의 전적으로 기호적 (-S) 작업에 집중되어 있습니다. 초기 구조 추출이 병목인 이미지 전용 작업에서 간극을 유의미하게 좁히지는 못합니다.

의의 및 주장
본 논문은 KnotBench 가 형식적 위상적 정답을 가진 다이어그램 추론에 대해 범용 VLM 을 엄격하게 테스트하는 최초의 데이터셋을 제공한다고 주장합니다. 저자들은 다이어그램 요소를 지각할 수는 있지만 그 위에서의 이동을 시뮬레이션하지 못하는 모델들이 관찰된 패턴은 **내부 행동 조건부 시뮬레이터 (internal action-conditioned simulator)**가 결여된 현재 아키텍처와 일치한다고 논합니다.

인간 주석이나 휴리스틱 난이도에 의존하는 이전 벤치마크와 달리, KnotBench 는 수학 불변량과 뮤테이션 쌍을 사용하여 반증 가능하고 구조적인 하드 네거티브를 생성합니다. 저자들은 현재 VLM 들이 공간적 추론을 위해 인간이 동원하는 '지각된 특징에 대한 이동을 시뮬레이션하는 장치'가 부족하다고 결론지으며, KnotBench 를 현재 최첨단 기술의 테스트가 아니라 지각과 조작 사이의 간극을 메우려는 미래 아키텍처 (예: 월드 모델 또는 신경 - 기호 하이브리드) 를 위한 목표로 위치시킵니다.