💻 computer science

FrameShift-CAD: Executable Coordinate-Frame Interventions for Diagnosing Text-to-CAD Generation

이 논문은 FrameShift-CAD를 소개하는데, 이는 텍스트-투-CAD 모델들이 명시적인 매핑 지침이 제공되더라도 평행 이동에 비해 순수 회전 좌표계 변환을 정확하게 수행하는 데 어려움을 겪는다는 것을 보여줌으로써 텍스트-투-CAD 모델의 상당한 신뢰성 격차를 드러내는 진단 벤치마크이다.

원저자: Shengyao Sun

게시일 2026-09-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shengyao Sun

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

평범한 영어로 기계 부품을 묘사하면 컴퓨터가 즉각적으로 정밀한 3차원 설계도를 그려내는 세상을 상상해 보십시오. 이것이 바로 텍-투-CAD(text-to-CAD) 시스템이 약속하는 미래입니다. 이는 인공지능이 자연어를 자동차 엔진부터 의료 기기에 이르기까지 모든 것을 설계하는 데 사용되는 구조적이고 수학적인 명령어로 번역하는 급격히 발전하는 분야입니다. 이러한 시스템이 진정으로 유용해지려면 단순히 형태가 그럴싸해 보이는 스케치를 하는 것을 넘어, 공간 내의 모든 조각의 정확한 위치와 방향을 이해해야 합니다. 만약 설계자가 컴퓨터에 부품을 오른쪽으로 3인치 이동시킨 후 90도 회전시키라고 요청한다면, 기계는 그 특정 지시를 완벽한 정확도로 실행해야 합니다. 만약 실패한다면, 결과물인 설계도는 사용할 수 없게 되어 부품이 맞지 않거나 기계가 작동하지 못하는 상황을 초래할 수 있습니다. 핵심적인 과제는 이 지능형 시스템이 요청된 좌표계(coordinate frame)를 통해 설계를 신뢰성 있게 이동시킬 수 있는지 여부이며, 이는 단순한 시각적 근사가 아닌 기하학에 대한 깊은 수치적 이해를 요구하는 작업입니다.

상하이 교통대학교의 슨셩야오(Shengyao Sun)가 이끄는 연구진은 이러한 특정 능력을 테스트하기 위한 새로운 방법을 개발하였으며, 이를 통해 현재의 모델들이 공간 변환을 처리하는 방식에서 놀라운 약점을 가지고 있음을 밝혀냈습니다. 그들은 '프레임시프트-CAD(FrameShift-CAD)'라는 진단 도구를 만들었는데, 이는 이러한 AI 시스템을 위한 통제된 스트레스 테스트 역할을 합니다. 연구진은 모델에게 처음부터 설계를 생성하도록 요청하는 대신, 완전하고 유효한 설계도를 제공한 다음 전체 설계를 이동하거나 회전시키라는 단 하나의 명확한 지시를 내렸습니다. 테스트의 공정성과 엄격함을 보장하기 위해, 그들은 모든 설계에 대해 두 가지 버전의 지시문을 만들었습니다. 하나는 물체를 고정된 공간 내에서 물리적으로 이동시키도록 요청하는 것이었고, 다른 하나는 물체는 가만히 둔 채 주변 공간이 움직인 것처럼 설명하도록 요청하는 것이었습니다. 이 쌍을 이룬 지시문들을 수학적으로 완벽한 정답과 비교함으로써, 연구진은 모델이 어디에서 성공하고 어디에서 실패하는지를 정확히 짚어낼 수 있었습니다.

다양한 단순 기하학적 형상을 조사하고 여러 가지 대규모 언어 모델을 대상으로 테스트한 이 연구는, 물체를 이동시키는 것과 회전시키는 것 사이의 극명한 성능 차이를 발견했습니다. 설계를 새로운 위치로 이동(translate/shift)하라는 지시가 내려졌을 때, 모델들은 대체로 성공적이었으며 약 3분의 2의 경우에서 위치를 정확히 맞추었습니다. 그러나 축을 중심으로 설계를 회전시키라는 지시가 내려졌을 때, 성공률은 급락했습니다. 12개의 서로 다른 형상군을 포함한 확인 단계에서, 모델들이 회전을 올바르게 수행한 비율은 단 8%에 불과했습니다. 이 격차는 일시적인 현상이 아니었습니다. 이는 수평 및 수직 축을 중심으로 한 회전 등 다양한 유형의 회전에서도 지속되었으며, 심지어 회전이 이동과 결합된 경우에도 마찬가지였습니다. 모델들은 지시가 어떻게 표현되든 상관없이 요청된 대로 물체를 회전시키는 데 지속적으로 어려움을 겪었습니다.

아마도 가장 드러나는 발견은 모델이 왜 실패했느냐가 아니라, '어떻게' 실패했느냐일 것입니다. 연구진은 모델이 회전을 틀렸다면 단순히 반대 방향으로 돌려 지시를 뒤집는 식의 오류를 범할 것이라고 예상했습니다. 하지만 데이터에 따르면, 회전 실패 사례의 거의 80%에서 모델은 물체를 전혀 회전시키지 않았습니다. 모델은 원래의 회전되지 않은 설계도와 똑같이 생긴 결과물을 만들어냈습니다. 마치 회전하라는 지시는 들었으나 무시된 것처럼, 모델은 물체를 시작 위치에 그대로 두었습니다. 이러한 '무작업(no-operation)' 오류 패턴은 모델이 회전 방향에 대해 혼동하고 있는 것이 아니라, 회전 자체를 실행하는 데 실패하고 있음을 시사합니다. 지시가 더 복잡해져서 물체를 이동시키고 회전시키라는 요청이 들어왔을 때, 모델들은 종로 종종 물체를 올바르게 이동시켰지만 회전은 완전히 누락하여, 물체를 새로운 위치에는 두되 방향은 잘못된 상태로 남겨두었습니다.

연구진은 또한 이러한 어려움이 이러한 움직임을 설명하는 데 사용되는 모호한 언어에서 비롯된 것인지 조사했습니다. 그들은 '프레임(frame)'이나 '액티브(active)' 및 '패시브(passive)' 움직임에 대한 묘사적인 단어 없이 오직 회전에 대한 수학적 공식만을 사용한 지시문으로 테스트했습니다. 또한 묘사적인 단어 없이 공식만을 사용한 지시문으로도 테스트했습니다. 결과는 묘사적인 단어들이 난이도를 높이기는 했지만, 이를 제거한다고 해서 문제가 해결되지는 않는다는 것을 보여주었습니다. 순수한 수학적 매핑이 주어졌을 때조차도, 모델들은 여전히 높은 비율로 물체를 올바르게 회전시키지 못했습니다. 이는 문제가 단순히 용어의 오해에 있는 것이 아니라, 생성된 코드 내에서 회전이라는 기하학적 연산을 수행하는 데 있어 더 깊은 무능력에 기인함을 나타냅니다. 모델들은 선형적인 이동은 처리할 수 있는 듯 보이지만, 자신의 출력물에 회전 변환을 적용하는 신뢰할 수 있는 메커니즘은 부족해 보입니다.

이 발견은 자동화된 설계의 미래에 중요한 시사점을 줍니다. 이는 단순히 언어 모델에게 "이 부품을 회전시켜라"라고 요청하는 것만으로는, 모델이 텍스트 설명으로부터 완벽한 설계를 생성할 수 있다 하더라도 올려바른 결과를 보장할 수 없음을 의미합니다. 이 연구는 모델이 방향을 틀리는지, 크기를 틀리는지, 아니면 단순히 아무것도 하지 않는지를 구분하여 이러한 실패를 진단하는 명확한 방법을 제공합니다. 주요 실패 모드가 부호(sign)의 혼동이 아니라 회전 실행의 실패라는 점을 밝힘으로써, 연구는 구체적인 공학적 해결책을 제시합니다. 미래의 시스템은 언어 모델이 실시간으로 회전을 계산하도록 의존하는 대신, 형상의 생성과 변환의 적용을 분리하여 형상이 생성된 후 결정론적이고 규칙 기반인 단계를 통해 회전을 처리해야 할 수도 있습니다. 이러한 안전장치가 마련되기 전까지, 완전히 자율적인 텍-투-CAD 생성의 약속은 이 구체적이고 측정 가능한 공간 추론의 격차에 의해 제한될 것입니다.

기술 요약: FrameShift-CAD

문제 정의

현재의 Text-to-CAD 시스템 평가는 종종 독립적으로 생성된 객체들에 의존하며, 이는 모델이 특정 설계에 요청된 좌표 연산을 성공적으로 전달(transport)할 수 있는지 판단하는 것을 어렵게 만든다. 모델은 구문론적으로 유효하고 시각적으로 그럴듯한 CAD 프로그램을 생성할 수는 있지만, 정밀한 공간 변환(예: 객체의 회전 또는 위치 이동)을 실행하는 데는 실패할 수 있다. 기존 벤치마크(예: C2CAD-Bench, Text2CAD-Bench, CADTest-Bench)는 일반적인 기하학적 품질이나 기능적 편집을 측정하지만, 생성기가 설계 사양에 부가된 특정 명시적 좌표 연산을 직접 실행하는지 여부를 분리하여 측정하지는 못한다. 이러한 실패 모드의 혼재(예: 부호 반전, 부분 적용 또는 연산의 완전한 누락)는 타겟팅된 시스템 진단과 수리를 저해한다.

방법론

FrameShift-CAD는 실행 가능한 좌표계 개입을 사용하는 통제된 진단 프레임워크를 도입한다. 본 연구는 단계적인 발견-확인(discovery-to-confirmation) 설계를 따른다:

프롬프트 구성: 시스템은 단일 베이스 CAD 사양으로부터 매칭된 "활성(active)" 및 "수동(passive)" 프롬프트를 생성한다.
- 활성 조건 (Active Condition): 물리적 객체가 고정된 월드 프레임 내에서 변환된다 (회전/이동).
- 수동 조건 (Passive Condition): 객체는 고정되어 있으나, 좌표가 역변환된 프레임 내에서 표현된다.
- 두 조건 모두 정확한 아핀 변환(예: $p' = Rp + d$ )을 명시하는 "FRAME OPERATION" 블록을 포함한다.
역사실적 오라클 분류 체계 (Counterfactual Oracle Taxonomy): 모델 출력은 프로그램 방식으로 구축된 역사실적 결과물들과 비교되어 오류를 분류한다:
- 정확 (Correct): 요청된 변환과 일치함.
- 역 (Inverse): 반대되는 변환을 적용함 (부호 오류).
- 변화 없음 (Unchanged): 아무런 변환도 적용하지 못함 (no-op).
- 부분적 (Partial): 일부 구성 요소에만 변환을 적용함.
- 순서 틀림 (Wrong Order): 비가환 연산(예: 회전 후 이동 vs 이동 후 회전)을 준수하지 못함.
- 구성 요소 전용 (Component-Only): 어셈블리의 특정 부분만을 생성함.
실험 단계:
- M0-M5 (발견): 3개의 모델 제품군(Qwen, DeepSeek, MiMo)과 18개의 CAD 패밀리를 사용하여 Z축 회전 및 이동을 대상으로 파이프라인을 검증하고 초기 신호를 확립하였다.
- M6 (확인): 12개의 새로운 패밀리, 두 개의 안정적인 배포 모델, 그리고 더 넓은 범위의 변환(새로운 이동, X/Y축에 대한 90도 회전, 120도 대각선 축 회전, 그리고 비가환 회전-후-이동 합성)을 사용하는 전망적 동결 실험을 수행하였다.
분석: 본 연구는 의도-치료 분석(intent-to-treat analysis, 전달/파싱 실패를 부정확한 것으로 카운트)과 패밀리-클러스터 부트스트래핑을 사용하여 신뢰 구간을 추정한다. 또한 정확한 이동 성공률을 순수 회전 성공률과 비교한다.

주요 결과

1. 이동-회전 간극 (The Translation-Rotation Gap)

본 연구는 이동(translation)의 실행과 회전(rotation)의 실행 사이에 유의미하고 재현 가능한 간극이 존재함을 확인하였다.

확인 분석 (M6): 정확한 이동은 **32/48 출력(66.7%)**에서 올바르게 수행되었으나, 순수 회전은 **12/144 출력(8.3%)**에서만 올바르게 수행되었다.
간극 크기: 정확도의 차이는 0.583 (95% 패밀리-클러스터 부트스트랩 CI: 0.410–0.743)이다.
일관성: 이 간극은 X축, Y축, 대각선 축 회전뿐만 아니라 활성 및 수동 프롬프트 구성에서도 지속되었다. 이러한 대조에 대한 Holm-조정 p-값은 0.0029였다.

2. 회전 오류의 성격

모델이 주로 활성/수동 관례를 혼동하여 역변환(inverse transforms)을 일으킬 것이라는 가설과 달리, 지배적인 실패 모드는 **미실행(under-execution)**이었다.

개수 매칭이 된 순수 회전 출력 중, **77.3% (99/128)**가 변화 없음(unchanged) 참조(no-op 동작)에 가장 가까웠다.
단 **3.9% (5/128)**만이 역(inverse) 변환에 가장 가까웠다.
이는 모델들이 요청된 회전을 적용하는 대신, 베이스 기하 구조를 그대로 유지하며 회전을 아예 적용하지 못하는 경향이 있음을 시사한다.

3. 합성 연산 (Compound Operations)

비가환 합성 지침(회전 후 이동)에서:

9/44 출력만이 완전히 정확했다.
정확하지 않은 것으로 분류된 출력 중, **74.1% (20/27)**는 회전 구성 요소를 완전히 누락했거나 구성 요소의 순서를 잘못 적용했다.
이동은 빈번하게 유지되었으나 회전이 탈락되었으며, 이는 회전이 구체적인 약점이라는 발견을 뒷받침한다.

4. 프롬프트 제어

프롬프트 용어(활성/수동 라벨)와 명시적 좌표 공식을 변화시킨 실험 결과:

프레임 용어를 제거해도 간극이 사라지지 않았다.
명시적 공식만을 제공하는 것이 회전 결핍을 신뢰성 있게 해결하지 못했다 (모델에 따라 효과가 달랐음).
용어 중심의 프롬프트는 가장 낮은 회전 정확도를 보였으며, 이는 의미론적 부담이 요인이긴 하지만 핵심 문제는 기하학적 변환 자체를 실행하는 데 있음을 나타낸다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장한다:

통제된 프로토콜: 쌍을 이루는 활성/수동 프롬프트와 스키마를 보존하는 아핀 연산을 사용하여, 설계 콘텐츠로부터 좌표 전달을 격리하여 구조화된 Text-to-CAD 생성을 테스트하는 방법을 명시한다.
오류 분류 체계: 정확한 실행, 부호 오류, no-op, 부분 적용, 순서 오류를 구분하는 역사실적 오라클 프레임워크를 제공하여 구체적인 진단 통찰을 가능하게 한다.
실증적 증거: 현재의 Text-to-CAD 배포 모델들이 회전보다 정확한 이동을 실질적으로 더 자주 실행한다는 것을 입증한다. 오류 구조는 역변환보다는 "변화 없음(unchanged/no-op)" 출력에 의해 지배된다.

저자는 좌표 전달이 별개의 신뢰성 병목 구간이라고 결론짓는다. 이들은 벤치마크 스위트가 연산 계열(이동 vs 회전)을 분리해야 하며, 시스템 개선을 위해서는 단순한 무제한 생성에 의존하기보다 좌표-연산 계획을 외재화하거나 no-op 형태의 결과를 거부하는 검증 루프를 구현해야 한다고 주장한다. 본 연구는 문제를 해결하는 것을 목표로 하는 것이 아니라, 이러한 특정 기하학적 실패를 진단하고 정량화하는 재현 가능한 방법을 제공하는 데 목적이 있다.