QSTRBench: a New Benchmark to Evaluate the Ability of Language Models to Reason with Qualitative Spatial and Temporal Calculi

QSTRBench: 언어 모델의 정성적 공간 및 시간 계산에 대한 추론 능력을 평가하기 위한 새로운 벤치마크에 대한 기술 요약

문제 제기
정성적 공간 및 시간 추론 (QSTR) 은 형식적 계산 (formal calculi) 을 사용하여 정성적 정보 (예: "왼쪽", "이전", "부분") 를 표현하고 추론하는 것과 관련된 잘 정립된 분야입니다. 대규모 언어 모델 (LLM) 이 자연어 처리에서 놀라운 능력을 입증해 왔지만, 이러한 형식적 체계 내에서 엄격한 추론을 수행하는 능력은 아직 검증되지 않았습니다. 기존 벤치마크는 종종 핵심 QSTR 추론 작업의 체계적인 범위를 다루지 못하거나 특정 계산에 기반하지 않은 비공식적인 질문에 의존합니다. furthermore, LLM 이 진정으로 추론하는지 아니면 단순히 훈련 데이터에서 패턴을 재현하는지에 대한 논쟁이 존재합니다. 본 논문은 현대 LLM 이 QSTR 계산과 관련된 특정 추론 작업, 즉 역관계 결정, 관계 합성 계산, 개념적 이웃 식별을 수행할 수 있는지 여부를 다루고 있습니다.

방법론
저자들은 Point Algebra(PA), Allen's Interval Algebra(IA), Interval and Duration(INDU), Region Connection Calculus(RCC-5, RCC-8, RCC-22), Nine Intersection Model(9IM), Cardinal Direction Calculus(CDC), Revised STAR 등 9 가지 서로 다른 QSTR 계산에 대해 LLM 을 테스트하도록 설계된 포괄적인 벤치마크인 QSTRBench를 소개합니다.

이 벤치마크는 각 계산에 대해 세 가지 특정 추론 작업을 평가합니다:

1. 역관계 (Converse): 관계 $R(x, y)$가 주어졌을 때, 관계 $R^{-1}(y, x)$를 결정합니다.
2. 합성 테이블 (Composition Table, CT): $R_1(x, y)$와 $R_2(y, z)$가 주어졌을 때, $x$와 $z$ 사이의 가능한 관계를 결정합니다.
3. 개념적 이웃 (Conceptual Neighbourhood, CN): 연속적인 변형이나 이동 하에서 주어진 관계에 직접 뒤따를 수 있는 관계를 식별합니다.

데이터셋은 선택된 계산 전반에 걸쳐 102 개의 기본 관계를 다루는 1,806 개의 질문으로 구성됩니다. 견고성과 패턴 매칭 대 진지한 추론의 잠재력을 테스트하기 위해 저자들은 14,372 개의 질문을 포함한 확장 데이터셋 (QSTRBenchExtended) 을 생성했습니다. 이 확장 세트는 다음과 같이 프롬프트 제시 방식을 다양화합니다:

• 표기법: 접두사 대 중위 표기.
• 용어: 표준 영어 단어, 수학 기호, 그리고 의미 없는 의미 (semantic meaning) 가 없는 무작위 생성된 용어인 "nonce" 단어.
• 설명 스타일: 자연어 텍스트, 개략적 ASCII 다이어그램, 그리고 LaTeX 수식.
• 익명화: 관계 이름을 바꾸는 것 (예: "TPP"를 "EC"로 레이블링) 을 통해 모델이 훈련 데이터에 의존하는지 프롬프트 특정 논리에 의존하는지 테스트합니다.

이 연구는 최첨단 상용 모델 (예: GPT-5.2, Gemini-2.5-Pro, Grok-4) 에서부터 작은 오픈 가중치 모델 (예: Llama-3, Gemma-3) 에 이르기까지 32 개의 현대 LLM을 평가했습니다. 실험은 무작위성을 최소화하기 위해 엄격한 온도 설정 (0.01) 으로 수행되었으며, 결과는 정확도의 마이크로 평균으로 보고되었습니다.

주요 기여

1. 벤치마크 생성: 여러 계산과 프롬프트 변형에 걸쳐 LLM 의 QSTR 추론을 평가하기 위한 최초의 광범위한 오픈 소스 데이터셋인 QSTRBench 및 QSTRBenchExtended 의 출시.
2. 새로운 데이터: 저자에 의해 도출되고 검증된 **RCC-22 개념적 이웃 (CN)**의 최초 공개.
3. 체계적 평가: 세 가지 추론 작업에 걸쳐 32 개 모델을 엄격하게 평가하여 정확도뿐만 아니라 토큰 사용량, 추론 흔적, 반복 간 일관성으로도 성능을 분석.
4. 방법론적 엄밀성: 모델이 기억된 사실을 검색하는지 아니면 논리적 추론을 수행하는지 탐구하기 위해 nonce 단어와 개략적 설명을 사용.

결과

• 일반적 성능: 테스트된 모든 모델이 무작위 추측보다 잘 수행했지만, 어떤 모델도 모든 질문에 일관되게 정답을 내지 못했습니다. 성능은 계산 및 작업 유형에 따라 크게 달라졌습니다.
• 작업 난이도: 모델은 역관계 (Converse) 질문에서 가장 잘 수행했으며, 이어 합성 테이블 (CT) 질문, 그리고 개념적 이웃 (CN) 질문이 가장 어려웠습니다.
• 계산 난이도: **Point Algebra(PA)**가 가장 직관적 (가장 높은 정확도) 이었으며, RCC-22가 가장 어려웠습니다. 흥미롭게도 정확도는 기본 관계의 수와 엄격하게 상관관계가 없었습니다. 예를 들어, INDU(25 개 관계) 는 RCC-22(22 개 관계) 보다 쉬웠습니다.
• 모델 성능:
  • GPT-5.2(높은 추론 노력 포함) 는 전반적으로 최상위 성능을 보였으며, PA, CDC, STAR 에서는 거의 완벽한 점수를 달성했으나 RCC-22 에서는 여전히 어려움을 겪었습니다.
  • OpenAI 의 GPT-5.1은 낮은 성능 (0.22 정확도) 을 보였으며, 이전 모델 (GPT-5) 과 후속 모델 (GPT-5.2) 보다 현저히 못 미쳐 "적응형 추론" 구성에 문제가 있음을 시사합니다.
  • 소규모 모델: 작은 모델들 (예: Gemma-3 1B, Llama-3 8B) 은 매우 poor하게 수행되었으며, 종종 기본 동일성 또는 추이성 검사를 실패했습니다.
• 추론 대 검색:
  • 모델들은 일반적으로 표준 프롬프트에서는 높은 정확도를 유지했지만, 관계 이름이 바뀌거나 nonce 단어로 대체되었을 때 성능이 저하되어 훈련 데이터 패턴에 의존함을 시사했습니다.
  • 그러나 o1과 GPT-5.2는 설명이 개략적이거나 이름이 익명화되었을 때에도 일반화하는 능력을 일부 보였으나, 텍스트에 비해 개략적 다이어그램에서는 정확도가 크게 떨어졌습니다.
  • 할루시네이션: 모델들은 자주 존재하지 않는 관계 이름 (예: "TPPPi" 또는 유효하지 않은 INDU 관계) 을 할루시네이션하여 계산에 대한 깊은 의미적 이해가 부족함을 나타냈습니다.
• 토큰 사용량: RCC-22 와 같은 복잡한 계산은 고추론 모델의 경우 PA 보다 훨씬 많은 출력 토큰 (수십 배 이상) 을 필요로 했지만, 이것이 완벽한 정확성을 보장하지는 않았습니다.

의의 및 주장
이 논문은 LLM 이 추론을 시뮬레이션할 수 있는 능력 (무작위 확률 초과) 을 보여주지만, 형식적 QSTR 계산에 대해 신뢰할 수 있고 일관된 추론 능력을 아직 갖추지 못했다고 주장합니다. 저자들은 다음과 같은 점을 강조합니다:

• 불일치: 고정된 시드 (seed) 를 사용하더라도 최상위 모델조차도 동일한 질문에 대해 반복 시 다른 답변을 생성합니다.
• 훈련 데이터의 한계: nonce 단어와 개략적 프롬프트에서의 성능 저하는 현재 모델들이 1 차 원리에서 답을 도출하기보다는 훈련 코퍼스에서 암기된 패턴에 크게 의존함을 시사합니다.
• 복잡성 장벽: 단순한 계산에 비해 RCC-22 의 어려움은 복잡한 공간 위상에 대한 현재 모델 능력의 한계를 강조합니다.
• 미래 활용성: 이 벤치마크는 AI 추론의 진전을 추적하기 위한 필수 도구 역할을 합니다. 저자들은 LLM 이 결국 심볼릭 추론기를 대체할 수 있겠지만, 현재 신경-심볼릭 접근법 (LLM 을 사용하여 자연어를 심볼릭 솔버로 번역) 은 하류 실패를 초래하는 번역 오류에 여전히 취약하다고 제안합니다.

이 논문은 평가가 급변하는 분야의 스냅샷임을 겸손하게 언급하며, 주요한 영구적 가치는 벤치마크 자체와 추론 견고성을 테스트하는 방법론에 있음을 결론지었습니다.