🤖 AI

Large Language Models and their Awareness of Mechanics and Spatial Geometry

이 논문은 텍스트 설명을 기반으로 시뮬레이션 준비가 된 다체 역학 모델을 생성하는 능력을 테스트함으로써 34개 대규모 언어 모델의 기계 공학적 인지 능력을 평가하는 완전 자동화된 벤치마크인 MecEng를 소개하며, 현재의 모델들이 강체 작업에서는 빠른 개선과 높은 성공률을 보이는 반면 복잡한 유연 다체 시스템에는 여전히 어려움을 겪고 있음을 밝히고 있다.

원저자: Johannes Gerstmayr, Sebastian Weyrer, Tobias Möltner, Peter Manzl, Michael Pieber

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Johannes Gerstmayr, Sebastian Weyrer, Tobias Möltner, Peter Manzl, Michael Pieber

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

엔지니어가 설계도와 렌치를 들고 만드는 것을 넘어, 문장을 읽고 물리적 세계가 어떻게 작동하는지 이해할 수 있는 컴퓨터가 기계를 설계하는 세상을 상상해 보십시오. 수십 년 동안 컴퓨터는 언어를 처리하고, 텍스트를 번역하거나, 간단한 컴퓨터 코드를 작성하는 데 탁월한 능력을 보여왔습니다. 그러나 새로운 경계가 나타났습니다. 과연 이 인공지능 시스템들이 물리 법칙을 진정으로 파악할 수 있을까요? 구체적으로, 이들은 고체 물체가 어떻게 움직이고, 휘어지고, 상호작용하는지를 연구하는 역학(mechanics)과 이를 제작하는 데 필요한 복잡한 기하학을 이해할 수 있을까요? 이것이 바로 인스브루크 대학교와 아우크스부르크 대학교의 연구진이 답을 찾고자 했던 질문입니다. 그들은 현대의 AI가 크레인이나 로봇 팔과 같은 기계에 대한 서술된 설명을 받아들여, 실제 사물과 동일한 운동 및 힘의 법칙을 따르는 작동 가능한 디지털 시뮬레이션으로 바꿀 수 있는지 알고 싶었습니다.

이를 알아내기 위해 연구팀은 인공지능에게 기계 공학 과제를 부여하여 도전하게 만드는 완전 자동화된 벤치마크인 MecEng이라는 엄격한 테스트를 만들었습니다. 연구진은 많은 현대적인 챗봇의 배후에 있는 강력한 AI 시스템인 대규모 언어 모델들에게, 단순한 설정부터 복잡한 기계에 이르기까지 일련의 텍스트 설명을 입력했습니다. 이 설명에는 질량, 크기, 관절, 그리고 서로 다른 부품들이 어떻게 연결되어야 하는지에 대한 세부 사항이 포함되었습니다. AI의 임무는 해당 기계의 디지털 모델을 구축하는 데 필요한 특정 컴퓨터 코드를 작성하는 것이었습니다. 함정은 모델이 완벽해야 한다는 점이었습니다. AI가 대략적인 스케치나 시각적으로 보기 좋은 이미지를 만들어내는 것만으로는 부족했습니다. 그것은 실행 중에 충돌하지 않고 올바른 물리적 동작을 생성할 수 있는 정밀하고 수학적으로 정확한 시뮬레이션을 생성해야 했습니다. 연구진은 이후 AI의 작업물을 전문가가 구축한 '그라운드 트루스(ground truth)' 모델과 비교하여, 부품의 형상부터 시간이 지남에 따라 움직이는 방식까지 모든 것을 점검했습니다.

결과는 급격한 발전과 지속적인 한계가 공존하는 양상을 보여주었습니다. AI가 단순한 강체 기계(흔들리는 추나 연결된 막대처럼 휘거나 늘어나지 않는 물체)를 다룰 때, 최고의 AI 모델들은 놀라운 성능을 보였습니다. 가장 강력한 독점 모델인 Claude-Opus-4.8은 91.4%의 성공률을 달ach성했고, 최고의 오픈 웨이트 모델인 qwen3.6:27b는 82.1%에 도달했습니다. 이는 이러한 시스템이 기본적인 기계적 개념에 대해 강한 직관을 발달시켰음을 시사합니다. 그들은 어떤 부품이 필요한지, 어떻게 연결해야 하는지, 그리고 무게와 강성 같은 물리적 특성을 어떻게 할당해야 하는지를 정확하게 식별할 수 있습니다.

그러나 연구진이 유연성을 도입하자 난이도가 급격히 높아졌습니다. 현실 세계에서 많은 기계 부품은 풍력 터빈 날개나 유연한 로봇 팔처럼 압력에 의해 휘거나 뒤틀리고 변형됩니다. 이를 시뮬레이션하기 위해 AI는 형태를 묘-사할 뿐만 아니라, 물체의 부피를 정의하는 작은 삼각형들의 디지털 그물망인 상세한 3D 메쉬(mesh)를 생성해야 했으며, 그 후 해당 형상이 어떻게 진동하고 움직일지를 계산해야 했습니다. 여기서 성능이 크게 떨어졌습니다. 상위 독점 모델들이 올바른 부품을 생성하는 데 약 82%의 성공률을 보인 반면, 이러한 유연한 부품들을 하나의 완성된 작동 가능한 기계 시뮬레이션으로 조립하는 성공률은 가장 뛰어난 모델들의 경우 약 65%로 떨어졌습니다. 오픈 웨이트 모델들은 훨씬 더 고전했으며, 가장 복잡한 조립 작업에 대한 그룹의 평균 성공률은 25% 근처를 맴돌았고, gemma4:26b와 같은 개별 모델은 고작 5%라는 현저히 낮은 성능을 보였습니다.

연구는 AI가 정확히 어디에서 실패하는지를 짚어냈습니다. 그것은 대개 전체적인 그림에 대한 이해의 부족 때문이 아닙니다. 모델들은 일반적으로 기계가 어떻게 생겨야 하는지 알고 있습니다. 대신, 오류는 종종 세부 사항에서 발생합니다. AI는 부품의 일반적인 형태는 맞게 잡을 수 있지만 특정 모따기(chamfer)를 놓칠 수 있고, 혹은 잘못된 재료 밀도를 할당하여 부정확한 무게 계산을 초래할 수 있습니다. 어떤 경우에는 AI가 외관상으로는 올바르게 보이지만, 시뮬레이션을 중단시키거나 불가능한 물리를 생성하게 만드는 미세한 기하학적 오류를 포함한 모델을 생성하기도 했습니다. 연구진은 이러한 오류가 무작위가 아니라는 것을 발견했습니다. 그것들은 종종 부품의 순서를 정하거나 연결 관계를 정의하는 방법에 대한 특정 지침을 AI가 따르지 못하는 데서 기인했습니다.

흥미롭게도, 연구진은 AI에게 주는 프롬프트 방식보다 모델 자체의 내재된 능력이 더 중요하다는 것을 발견했습니다. 지침의 어구를 바꾸거나 AI에게 문제를 단계별로 "생각"하도록 요청하는 것이 일부 경우에는 도움이 되었지만, 이는 답변을 얻기 위해 필요한 시간과 컴퓨터 자원을 극적으로 증가시키기도 했습니다. 가장 복잡한 과제의 경우, "생산적인 사고" 과정이 AI를 더 느리게 만들 뿐 더 나은 결과를 보장하지는 못했습니다. 연구는 또한 시간에 따른 명확한 추세를 보여주었습니다. 2025년과 2026년에 출시된 최신 모델들이 이전 모델들보다 일관되게 우수한 성능을 보였는데, 이는 이러한 시스템이 더 많은 데이터로 학습됨에 따라 기계 공학을 이해하는 능력이 빠르게 향상되고 있음을 시사합니다.

인상적인 진전에도 불구하고, 연구진은 현재의 인공지능이 복잡한 설계 작업을 수행하는 인간 엔지니어를 대체할 준비가 아직 되지 않았다고 결론지었습니다. 시스템이 단순한 기계는 높은 신뢰도로 다룰 수 있지만, 복잡한 기하학 및 유연한 시스템의 물리 법칙에 직면했을 때는 미세하고 탐지하기 어려운 오류를 일으키기 쉽습니다. 이 연구는 AI가 공학의 언어를 흉내 내는 법은 배웠을지라도, 현실 세계를 지배하는 물리 법칙을 아직 완전히 내면화하지는 못했다는 점을 강조합니다. 앞으로의 길은 이러한 모델을 정교하게 다듬어 작지만 결정적인 실수들을 줄임으로써, 이들을 단순한 보조자를 넘어 미래를 형성할 기계 설계의 신뢰할 수 있는 파트너로 만드는 데 있습니다.

기술 요약: 대규모 언어 모델(LLM)의 기계적 인식 및 공간 기하학적 이해도

1. 문제 정의

대규모 언어 모델(LLM)은 코드 생성 및 수학적 추론 능력에서 뛰어난 성능을 입증해 왔으나, 기계 공학적 인식—구체적으로 다체 시스템(MultiBody Systems, MBS) 내에서의 공간 관계, 정확한 기하학적 형상, 물리적 파라미터 및 제약 조건에 대한 이해력—에 대한 능력은 아직 정량화되지 않았다. 기존의 3D 기하학 생성 방식(예: NeRF, Gaussian Splatting)은 유한 요소법(FEM) 시뮬레이션에 요구되는 결정론적이고, 워터타이트(watertight)하며, 파라미터화된 제약 조건보다는 시각적 미학을 우선시한다. 또한, 현재의 벤치마크들은 논리적 구문 오류와 공간 조립에서의 근본적인 기계적 추론 실패를 구분할 수 있는 엄격함이 부족하다. 따라서 강체부터 정밀한 3D 기하학 생성 및 모델 차수 축소(model order reduction)가 필요한 유연 다체 시스템에 이르기까지, 시뮬레이션 준비가 된 기계 모델 생성을 평가할 수 있는 벤치마크가 필요하다.

2. 방법론: MecEng 벤치마크

저자들은 매개변수화된 텍스트 설명을 바탕으로 다체 시뮬레이션 모델을 생성하는 능력을 평가하기 위해 설계된 완전 자동화 벤치마크인 MecEng를 소개한다. 이 프레임워크는 다체 시뮬레이션 코드인 Exudyn과 기하학 생성을 위한 Netgen을 활용한다.

2.1 과업 구조 및 난이도 단계

본 벤치마크는 세 가지 난이도 단계에 걸쳐 84개의 일반적인 과업으로 구성된다:

Level 1: 질점(mass points)과 단일 강체가 스프링 및 거리 제약 조건으로 연결된 단순 기계 모델 (예: 단일 질량 진동자, 슬라이더-크랭크 메커니즘).
Level 2: 고전적인 조인트(prismatic, revolute, rolling) 및 접촉 역학을 포함하는 중간 복잡도의 강체 시스템 (예: 뉴턴의 요람, 이중 진자).
Level 3: 두 단계로 나뉘는 유연 다체 시스템:
- 3a (부품 생성): 3D 기하학을 생성하여 테트라헤드럴(tetrahedral) 유한 요소 메쉬로 변환하고, 조인트 인터페이스와 Hurty–Craig–Bampton 모델 차수 축소를 적용함.
- 3b (조립): 생성된 유연 부품들을 완전한 MBS로 조립하여, 인터페이스의 올바른 연결 여부를 테스트함.

2.2 생성 파이프라인

이 워크플로우는 텍는 설명을 기능적인 Python 시뮬레이션 모델로 변환한다:

컨텍스트 생성: LLM은 올바른 토폴로지를 보장하기 위해 사전 정의된 목록에서 필요한 시뮬레이션 구성 요소를 선택한다 (검색 증강 생성(RAG) 방식 활용).
코드 생성: LLM은 시뮬레이션 모델(Exudyn) 또는 부품 생성(Netgen/OCCT)을 위한 Python 코드를 생성한다.
그라운드 트루스(Ground Truth) 생성: 병렬 파이프라인을 통해 동일한 무작위 파라미터를 사용하여 전문가 수준의 "그라운드 트루스" 모델을 생성한다.
검증: LLM 출력물은 다단계 평가 파이프라인을 통해 그라운드 트루스와 비교된다.

2.3 평가 지표

프레임워크는 계층적 검증 프로세스를 채택한다:

구조적 검증:
- 구성 요소 선택: 올바른 시뮬레이션 부품이 선택되었는지 확인한다.
- 그래프 동형성(Graph Isomorphism): networkx를 사용하여 시스템 토폴로지(조인트, 연결) 및 노드 주석(질량, 관성, 강성)을 검증한다.
수치적 검증:
- 솔버 성공 여부: 시뮬레이션이 운동학적 또는 적분 오류 없이 끝까지 실행되는지 확인한다.
- 솔루션 일치도: 시간-계열 출력(물체 좌표)을 오차 허용 범위 $10^{-5}$ 내에서 Frobenius norm을 사용하여 그라운드 트루스와 비교한다.
부품별 지표 (Level 3):
- 메쉬 일치도: 생성된 메쉬와 그라운드 트루스 메쉬 간의 정점(vertex)당 거리를 검증한다.
- 고유 진동수 일치도: 강성과 질량 행렬을 검증하기 위해 상위 3개의 고유 진동수를 비교한다.
- 질량 및 재료 일치도: 물리적 특성을 검증한다.

3. 주요 기여

기계 공학적 인식의 정량화: 본 논문은 공간 기하학 및 다체 역학에 대한 LLM의 능력을 체계적으로 정량화하는 최초의 연구로서, 단순한 코드 실행 가능성과 개념적인 기계적 정확성을 구분한다.
완전 자동화된 시뮬레이션 파이프라인: 텍스트로부터 정확한 3D 솔리드 기하학과 유한 요소 메쉬를 생성하여, 복셀 환각(voxel hallucination)을 우회하고 워터타이트하며 시뮬레이션 준비가 된 출력을 보장하는 새로운 파이프라인을 제공한다.
포괄적인 벤치마킹: 1,000개 이상의 테스트 케이스(파라미터 의존성, 온도, 추론, 모델 크기, 출시일 분석 포함)를 통해 32개의 오픈 웨이트 모델과 2개의 독점(proprietary) 모델(Claude-Opus-4.8, GPT-5.2)을 평가하였다.
차별화된 오류 분석: 코딩 오류(구문, 구성 요소 선택)와 기계적 추론 오류(토폴로지, 물리적 파라미터)를 분리하여 실패 모드에 대한 세밀한 통찰을 제공한다.

4. 결과

4.1 강체 성능 (Levels 1 & 2)

독점 모델: 가장 강력한 독점 모델인 Claude-Opus-4.8은 **91.4%**의 전체 성공률을 달성했으며, GPT-5.2는 **86.0%**를 기록했다.
오픈 웨이트 모델: 최고의 오픈 웨이트 모델인 qwen3.6:27b는 **82.1%**의 전체 성공률을 달성했으며, gemma4:31b와 qwen3.5:27b가 그 뒤를 바짝 쫓았다. 상위 8개 오픈 웨이트 모델의 평균 전체 성공률은 **73.0%**였다.
성능 저하: "토폴로지 일치"(~~88.6%)와 "수치 솔루션 일치"(~~77.5%) 사이에서 상당한 성능 저하가 관찰되었다. 이는 LLM이 일반적인 기계적 구조는 포착하지만, 미세한 파라미터 선택(예: 관성, 하중)에서는 자주 실패함을 나타낸다.
시간적 추세: 성능은 출시 날짜와 강한 상관관관계를 보이며, 2024년 중반 이후의 모델들이 눈에 띄는 개선을 보였다. 오픈 웨이트 모델은 일반적으로 독점 모델보다 6~12개월의 성능 격차(delay)를 보인다.

4.2 유연 다체 시스템 성능 (Level 3)

증가된 난이도: 유연한 과업은 훨씬 더 어려운 것으로 나타났다. 최고의 독점 모델(Claude-Opus-4.8)은 유연 MBS 조립에서 **65.4%**의 전체 성공률을 달성했다.
부품 생성 병목 현상: 주요 실패 지점은 올바른 유연 부품(메쉬, 인터페이스)을 생성하는 것이었다. 오픈 웨이트 모델의 경우, 부품 생성의 평균 성공률은 **50.7%**였으며, 최종 조립 단계에서는 **24.6%**로 떨어졌다.
특정 실패 사례: 모델들은 베어링 블록의 챔퍼(chamfer)와 같은 특정 기하학적 특징이나 조립을 위한 참조 위치 오프셋(예: "flexible table" 과업)을 처리하는 데 어려움을 겪었다.

4.3 하이퍼파라미터의 영향

온도(Temperature): 비추론 모델의 경우 낮은 온도(0.0)가 일반적으로 더 나은 결과를 냈다. 높은 온도는 기계적 과업의 성능을 저하시킨다.
추론(Thinking): "생각하기" 모드(예: GPT-OSS, Gemma 4)를 활성화하면 운동학 및 관성 관련 오류가 크게 감소(3~5배)하지만, 토큰 수와 추론 시간이 최대 10배까지 급격히 증가한다. 일부 모델(Qwen)의 경우 추론 모드가 오히려 성능을 저하시켰다.
프롬프트 디자인: 파이프라인은 프롬프트 변동에 대해 중간 정도의 불감성을 보였으며, 이는 근본적인 모델의 능력에 의한 견고함이지 프롬프트 엔지니어링의 결과가 아님을 시사한다.

5. 의의 및 주장

본 논문은 MecEng가 단순한 코드 생성을 넘어 엔지니어링 등급의 모델 합성을 평가하는 중요한 진전임을 주장한다.

현재 상태: 결과에 따르면 현재의 LLM은 빠르게 발전하고 있으나 여전히 오류가 발생하기 쉬운 기계 공학적 인식을 가지고 있다. LLM은 기계 시스템의 "골격"은 구축할 수 있지만, 유효한 시뮬레이션에 필요한 정밀한 "살(파라미터, 기하학, 제약 조건)"을 채우는 데는 자주 실패한다.
한계점: 저자들은 Level 3 과업의 순차적 특성(하나의 부품 오류가 전체 조립을 무효화함)이 실제 공학적 제약을 반영하지만, LLM에게는 난이도를 가중시킨다고 언급했다.
향ational 전망: 현재의 오류율을 극적으로 극복하기 위해서는 시뮬레이션 출력을 기반으로 한 반복적인 모델 개선 기능을 갖춘 에이전트 프레임워크(self-validation capabilities)가 필요할 수 있다고 제안한다. 이 벤치마크는 "기계적 인식"의 진화를 추적하기 위한 기초 도구로서, 발전은 뚜렷하지만 신뢰할 수 있는 자율적 공학 설계는 여전히 도전 과제임을 강조한다.

결론적으로, LLM은 기계 공학 분야에서 강력한 도구가 되어가고 있으나, 인간의 감독이나 반복적인 교정 메커니즘 없이는 완전하게 신뢰할 수 있는 자율적 시뮬레이션 모델 생성 능력을 갖추지 못했다.