기술 요약: GeoBuildBench

문제 제기

대규모 언어 모델 (LLM) 과 멀티모달 LLM(MLLM) 이 GeoQA 및 Geometry3K 와 같은 기하학 벤치마크에서 강력한 성능을 보여주고 있지만, 이러한 평가는 주로 정답의 정확성이나 정적 다이어그램 해석에 초점을 맞추고 있습니다. 기존 접근법은 형식화된 표현이나 기존 다이어그램을 전제로 하는 경우가 많아, 비공식적인 자연어 설명을 일관성 있고 실행 가능한 기하학적 구조로 변환하는 모델의 능력이라는 근본적인 격차가 존재합니다.

현재의 "텍스트-대-다이어그램" 방법들은 종종 시각적 유사성 지표나 파서 의존적 검사를 rely 하는데, 이는 평행성이나 접선성과 같은 기하학적 관계가 의미적으로 충족되는지 여부를 검증하지 못합니다. 또한, 텍스트 환경에서 테스트된 에이전트 프레임워크는 모든 행동이 엄격한 공간적 제약을 만족해야 하며, 실패 (예: 평행선이 교차하는 경우) 가 즉시 관찰 가능한 영역에서는 엄격하게 평가된 바 없습니다. 본 논문은 기하학이 구성 오류가 시각적으로 유효하지 않은 다이어그램으로 이어지는, grounded 추론을 위한 독특하게 엄격한 테스트베드를 제공한다고 주장하며, 이는 구조적 할루시네이션을 연구하기에 이상적이라고 봅니다.

방법론

GeoBuildBench 환경

저자들은 자연어 평면 기하학 문제를 실행 가능한 구성으로 변환하는 에이전트를 평가하기 위해 설계된 대화형 벤치마크인 GeoBuildBench를 소개합니다. 이 환경은 폐쇄된 에이전트 - 환경 루프에서 작동합니다:

1. 작업 정의: 각 작업은 자연어 문제, 필요한 기하학적 객체 집합, 그리고 검증 조건 목록으로 구성됩니다. 본 벤치마크는 단일 "골드" 다이어그램을 가정하지 않으며, 실행 가능하고 의미적으로 정확하다면 여러 구성이 유효합니다.
2. 도메인 특화 언어 (DSL): 실행 지향적인 간결한 기하학 DSL 이 정의되었습니다. 이는 선언적 제약 언어가 아닌 구성 언어입니다. 에이전트는 객체 (점, 선, 원) 와 관계 (교차, 평행) 를 단정하는 것이 아니라 명시적으로 구성해야 합니다. 이 DSL 은 기하학적 엔티티를 위한 원시 연산자와 일반적인 구성을 위한 연산자를 지원합니다.
3. 실행 및 검증: 생성된 DSL 프로그램은 기하학 커널에 의해 실행됩니다. 검증 모듈은 세 가지 차원에서 결과를 평가합니다:
   • 실행 가능성: 프로그램이 오류 없이 실행되는가?
   • 객체 커버리지: 필요한 모든 객체가 존재하는가?
   • 제약 조건 충족: 검증 가능한 조건 (접점, 평행성, 측정적 제약, 각도) 이 충족되는가?
4. 상호작용 프로토콜: 에이전트는 제한된 반복 설정 (최대 5 단계) 에서 작동합니다. 오류, 누락된 객체, 또는 위반된 제약 조건에 대한 시각적 렌더링과 구조화된 피드백을 받아 반복적 수정이 가능합니다.

데이터셋 큐레이션

이 벤치마크는 GeoQA 및 온라인 저장소에서 선별된 489 개의 중국어 교과서 스타일 기하학 문제로 구성됩니다. 텍스트만으로 해결 가능하도록 보장하기 위해 3 단계 큐레이션 파이프라인이 사용되었습니다:

1. 텍스트 기반 필터링: LLM(GPT-4.1) 이 다이어그램에만 의존하는 단서, 정의되지 않은 참조, 또는 불완전한 제약 조건이 포함된 문제를 필터링합니다.
2. 작업 표현 추출: 두 번째 LLM 패스가 구조화된 작업 표현 (필요한 객체 및 검증 조건) 을 고정된 스키마로 추출합니다.
3. 인간 검증: 대학원 수준의 수학 애너테이터가 스키마 준수 여부와 기하학적 실현 가능성을 검증하여 원칙적으로 유효한 구성이 존재하는지 확인합니다.

평가 설정

저자들은 제로샷 또는 퓨샷 프롬프팅을 사용하여 네 가지 최첨단 멀티모달 모델 (GPT-5.1, Gemini-3-Flash, Qwen3-VL-235B, LLaMA-3.2-90B-Vision) 을 평가했습니다. 모델들은 성공률, 반복 단계, 할루시네이션 빈도, 누락된 객체, 실패한 제약 조건에 대해 평가되었습니다.

주요 기여

1. 반복적 환경: 최소한의 DSL 와 결정론적 렌더링을 갖춘 새로운 실행 가능한 기하학 구성 환경으로, grounded 에이전트 상호작용과 피드백 루프를 가능하게 합니다.
2. GeoBuildBench 데이터셋: 단일 골드 구성을 가정하지 않고 보조 구성 (예: 보조 점) 을 허용하여 인간 실습과 유사하게 평가할 수 있도록 제약 조건이 주석된 489 개 문제의 큐레이션 벤치마크입니다.
3. 실증 분석: 기존 MLLM 이 전통적인 기하학 QA 에서는 잘 수행하지만, 실행 가능한 구성 작업에서 구조적 정확성과 반복적 자기 수정에는 어려움을 겪는다는 것을 보여주는 포괄적인 평가입니다.

결과

평가 결과 모델 간 성능에 상당한 격차가 드러났습니다:

• 성공률: 최첨단 모델인 GPT-5.1(78.9%) 과 Gemini-3-Flash(75.3%) 가 가장 높은 성공률을 기록했습니다. 반면, Qwen3-VL-235B(42.2%) 와 LLaMA-3.2-90B-Vision(21.3%) 은 현저히 낮은 성능을 보였습니다.
• 구조적 할루시네이션: 모든 모델에서 주요 실패 모드는 아직 인스턴스화되지 않은 기하학적 객체를 참조하는 "정의되지 않은 참조"였습니다. 약한 모델들은 문제당 2 회 이상의 할루시네이션률을 보인 반면, 최첨단 모델은 약 0.3~0.4 회였습니다.
• 피드백 활용: 최첨단 모델은 오류에서 더 빠르게 회복하는 모습을 보였습니다 (Gemini-3-Flash: 할루시네이션당 1.17 단계) 반면, 약한 모델은 약 1.75 단계가 소요되었습니다.
• 비전 제거 실험: 비전 입력을 활성화한 결과는 혼재되었습니다. Qwen3-VL 의 경우 비전이 성공률을 약간 높였지만 심볼 바인딩을 불안정하게 만들어 (누락된 객체와 할루시네이션 증가) 오히려 악영향을 미쳤습니다. LLaMA-3.2 의 경우 비전은 구조적 오류를 줄였으나 전체 성공률은 개선되지 않아, 기하학적 계획이 여전히 주요 병목 현상임을 시사합니다.
• 보조 구성: 성공한 모델들은 제약 조건을 충족시키기 위해 보조 구성 (예: 보조 원) 을 자주 활용했지만, 약한 모델들은 필요한 관계를 생략하거나 필요한 기하학적 지원을 구성하지 못했습니다.

중요성 및 주장

본 논문은 GeoBuildBench 가 텍스트적 타당성이나 시각적 유사성을 넘어선 grounded 실행 가능 추론을 위한 엄격한 테스트베드 역할을 한다고 주장합니다. 결과는 다음과 같이 시사합니다:

• 현재 MLLM 은 표준 기하학 QA 에서 강력한 성능을 보임에도 불구하고, 다단계 구성 과정에서 일관된 기하학적 상태를 유지하고 관계적 제약을 존중하는 데 어려움을 겪습니다.
• 많은 실패 모들 (구조적 할루시네이션, 실행 불가능한 구성) 은 시각적 타당성이나 정답 정확성에만 의존하는 평가 프로토콜에서는 놓쳐질 수 있습니다.
• 효과적인 기하학 구성은 단순한 모델 크기나 일반적인 비전 - 언어 역량이 아니라, 명시적 구조적 피드백에 대한 민감성과 이에 따라 내부 표현을 업데이트하는 능력을 요구합니다.

저자들은 GeoBuildBench 가 이러한 한계를 진단하기 위한 통제된 테스트베드를 제공하며, 기하학을 위한 구조적으로 grounded 된 에이전트 추론에 대한 향후 연구를 지원한다고 결론지었습니다. 또한 벤치마크가 중국어 평면 기하학과 특정 조건 유형 집합으로 제한되어 있으며, 다른 상호작용 프로토콜이나 도구에 따라 성능이 달라질 수 있음을 인정합니다.