FEM-Bench: A Structured Scientific Reasoning Benchmark for Evaluating Code-Generating LLMs

이 논문은 대규모 언어 모델이 과학적으로 유효한 유한 요소법 코드를 생성하는 능력을 엄격하게 평가하기 위해 설계된 계산 역학 작업 기반의 구조화된 벤치마크인 FEM-Bench를 소개하며, 최첨단 모델들조차 이러한 비자명한 문제들을 일관되게 해결하는 데 어려움을 겪는다는 점을 밝히고 있습니다.

핵심

당신이 아주 똑똑하고 박학다식한 로봇에게 구조 공학자가 되는 법을 가르치고 있다고 상상해 보십시오. 당신은 단순히 작동하는 것처럼 보이는 코드를 짜는 것이 아니라, 중력, 인장력, 재료의 굽힘과 같은 물리 법칙을 실제로 이해하는 코드를 작성하기를 원합니다.

이 논문은 대규모 언어 모델(LLM)—ChatGPT와 같은 도구의 뒤에 있는 AI 두뇌—이 이러한 진지한 과학적 공학을 수행할 수 있는지 테스트하기 위해 특별히 설계된 "기말고사"인 FEM-Bench를 소개합니다.

다음은 비유를 사용하여 이 논문을 쉽게 풀어낸 내용입니다.

1. 문제점: "계산기" vs. "엔지니어"

현재의 AI 모델을 매우 빠른 계산기라고 생각하십시오. 만약 당신이 숫자를 더하거나 리스트를 정렬하는 간단한 프로그램을 작성하라고 요청한다면, 그들은 매우 뛰어납니다. 하지만 다리가 무거운 트럭의 무게를 견디지 못하고 무너지는 과정을 시뮬레이션하라고 요청하면, 그들은 종종 실패합니다.

왜 그럴까요? 물리 시뮬레이션을 구축하는 것은 단순히 코드를 작성하는 것이 아니라 다음과 같은 능력을 필요로 하기 때문입니다:

• 규칙의 이해: 힘이 보(beam)를 통해 어떻게 이동하는지 정확히 아는 것.
• 연결 고리 찾기: 퍼즐의 작은 조각들(구조물의 작은 부분들)을 가져와서 완벽하게 결합하여 전체 그림을 만드는 것.
• 검증 작업: 시뮬레이션이 거짓을 말하고 있지 않다는 것을 증명할 테스트 코드를 작성하는 것.

저자들은 이 특정 분야를 위한 AI용 "운전 면허 시험"이 존재하지 않는다는 사실을 깨달았습니다. 기존의 테스트들은 AI가 웹사이트를 만들거나 수학 퍼즐을 푸는 능력은 확인하지만, 물리적 세계의 과학적으로 유효한 모델을 구축할 수 있는지는 확인하지 않습니다.

2. 해결책: FEM-Bench (The "Driving Test")

저자들은 계산 역학의 대학원 1학년 과정에 기반한 33가지의 구체적인 과제로 구성된 FEM-Bench를 만들었습니다.

• 비유: 운전 면허 시험을 상상해 보십시오. 당신은 운전자에게 단순히 "운전하라"고 하지 않습니다. 평행 주차를 하고, 고속도로에 합류하며, 회전교차로를 통과하라고 요구합니다.
• 과업: FEM-Bench에서 "운전"이란 다음과 같은 것들을 포함합니다:
  • 3D 보(beam)를 밀었을 때 보가 어떻게 휘는지 계산하기.
  • 매끄럽고 연속적인 형태(예: 곡선형 다리)를 작은 삼각형들의 디지털 격자(이를 "메싱(meshing)"이라고 함)로 변환하기.
  • 구조물이 압력에 의해 언제 좌굴(붕괴)될지 예측하기 위해 복잡한 방정식을 풀기.

3. 반전: 두 가지 요소가 있는 시험

이 벤치마크는 AI에게 단순히 코드를 작성하라고 요구하는 데 그치지 않습니다. AI에게 두 가지를 요구합니다:

1. 코드: 실제 시뮬레이션 프로그램.
2. 테스트: 자신의 코드가 작동함을 증명하기 위해 AI가 직접 작성해야 하는 "점검" 규칙(단위 테스트).

비유: 이것은 학생에게 아이스크림 막대로 다리를 만들라고 할 뿐만 아니라, 그 다리가 무너지지 않을 것임을 증명하는 체크리스트를 작성하라고 요구하는 것과 같습니다. 만약 학생이 멋져 보이지만 무게를 올렸을 때 무너지는 다리를 만들었다면, 그는 낙제입니다. 만약 다리는 잘 만들었지만 그것이 제대로 작동한다는 것을 증명할 테스트를 작성하지 못했다면, 그 역시 낙제입니다.

4. 결과: AI는 똑똑하지만, 아직 갈 길이 멀다

저자들은 최고 수준의 10개 AI 모델(Google, OpenAI, Anthropic의 최신 모델 포함)을 이 시험에 투입했습니다. 결과는 다음과 같았습니다:

• 쉬운 문제: AI는 기초적인 부분에서 뛰어납니다. 단순한 직선 문제(예: 단일 목재 보)는 쉽게 처리합니다. 이는 마치 그들이 평행 주차를 완벽하게 해내는 것과 같습니다.
• 어려운 문제: 비틀림 힘, 곡선 형태를 다루거나 구조물의 좌굴을 예측하는 것과 같이 문제가 복잡해지면 AI는 비틀거리기 시작합니다.
  • "지식의 격차": 때때로 AI는 복잡한 물리 현상에 대한 특정 공식 자체를 알지 못했습니다. 이는 자동차 운전법은 알지만 회전교차로의 규칙은 모르는 운전자와 같았습니다.
  • "조립의 격차": 때때로 AI는 각 부품은 알고 있었지만, 그것들을 올바르게 결합하지 못했습니다. 이는 레고 설명서는 모두 가지고 있지만 엉뚱한 브릭을 끼워 맞추는 것과 같았습니다.
  • "테스트의 격차": 설령 AI가 완벽한 시뮬레이션을 작성했더라도, 그것이 옳다는 것을 증명하기 위한 테스트를 작성하는 데는 자주 실패했습니다. "체크리스트"를 작성하는 것이 "다리"를 만드는 것보다 더 어려웠습니다.

성적:

• 가장 우수한 모델(Gemini 1.5 Pro)은 단순한 과제의 약 **90%**를 성공적으로 수행했습니다.
• 그러나 도움 없이 복잡한 물리학을 다뤄야 하는 가장 어려운 과제에서는, 어떤 모델도 일관되게 문제를 해결하지 못했습니다.
• 흥미롭게도, AI는 코드를 작성하는 것보다 그 코드를 검증하기 위한 테스트를 작성하는 데 더 어려움을 겪는 경우가 많았습니다.

5. "컨닝 페이퍼" 실험

연구진은 AI에게 "컨닝 페이퍼"(추가 지침이 담긴 시스템 프롬프트)를 제공하여 도움을 줄 수 있는지 실험했습니다.

• 결과: AI에게 부족했던 특정 복잡한 공식들을 제공하자, AI는 갑자기 어려운 문제들을 훨씬 더 잘 해결하기 시작했습니다.
• 교훈: AI가 "멍청한" 것이 아닙니다. 단지 특정 물리 공식에 대한 깊은 지식이 부족할 뿐입니다. AI는 무너지는 다리의 수학적 원리를 즉석에서 "발명"할 수는 없지만, 공식이 주어진다면 그것을 완벽하게 사용할 수 있습니다.

요약

FEM-Bench는 과학 분야에서의 AI에 대한 현실 점검입니다. 이는 AI가 일반적인 코딩에는 매우 능숙해지고 있지만, 복잡한 물리적 문제를 해결하기 위해 독립적이고 신뢰할 수 있는 엔지니어가 되기에는 여전히 어려움이 있음을 보여줍니다. AI는 지시를 따르고 단순한 모델을 구축할 수는 있지만, 실제 세계를 시뮬레이션하는 데 필요한 깊고 복잡하며 정밀한 물리 법칙을 인간의 도움 없이 스스로 추론할 수는 아직 없습니다.

논문은 이러한 벤치마크가 발전 궤적을 추적하는 데 필요하다고 결론짓습니다. AI가 더 똑똑해짐에 따라, 실질적인 개선을 측정하기 위해 "운전 시험"의 난이도 또한 계속 높아져야 할 것입니다.

기술 요약

기술 요약: FEM-Bench: 코드 생성 LLM 평가를 위한 구조화된 과학적 추론 벤치마크

문제 정의

대규모 언어 모델(LLM)이 물리적 세계에 대해 추론하는 능력이 발전함에 따라, 과학적으로 유효한 물리 모델을 생성하는 능력을 엄격하게 평가하기 위한 중요한 격차가 존재한다. 기존의 벤치마크들은 일반적인 프로그래밍 로직, 소프트웨어 엔지니어링 기술, 또는 수학적 추론을 평가하지만, 고급 과학 계산에 필요한 물리적 모델링, 수치적 이산화, 그리고 구조화된 계산적 추론 능력을 구체적으로 평가하는 것은 없다. 계산 역학 분야와 같은 영역에서, 코드는 실행되지만 수렴하지 않거나 불안정하거나 물리적으로 불가능한 결과를 생성하는 프로그램은 과학적 가치가 없다. 이 학문 분야는 지배 방정식, 수치적 일관성, 그리고 기하학적 변환에 대한 엄격한 준수를 요구하지만, 현재의 벤치마크들은 이러한 도메인 특화된 제약 조건을 포착하지 못하고 있다. 단순한 코드 생성을 넘어 물리 기반의, 수치적으로 일관된 알고리즘을 구현하는 능력을 구분할 수 있는 벤치마크가 필요하다.

방법론

저자들은 유한 요소법(FEM) 및 행렬 구조 해석(MSA) 코드를 올바르게 생성하는 능력을 평가하기 위해 설계된 진단용 벤치마크인 FEM-Bench를 소개한다. 대규모 학습 데이터셋과 달리, FEM-Bench는 계산 역학의 첫 대학원 과정에 맞춘 33개의 기초적이면서도 난이도가 있는 과제들로 구성된 정교한 세트이다.

벤치마크 구조

• 태스크 설계: 각 태스크는 참조 구현(reference implementation), pytest 스타일의 단위 테스트 세트, 그리고 변별력을 테스트하기 위해 설계된 알려진 오답 구현("기대되는 실패" 사례)을 포함하는 독립적인 Python 모듈이다.
• 도메인: 이 세트는 세 가지 도메인을 포괄한다:
  • FEM 1D: 기초적인 이산화 및 선형 탄성.
  • FEM 2D: 고차 보간, 다차원 적분, 및 기하학적 매핑.
  • MSA 3D: 국부 요소 루틴, 좌표 변환, 전역 조립, 및 고유값 문제(좌굴 해석).
• 계층적 난이도: 태스크는 CC/H/T 식별자를 사용하여 분류된다. CC는 개념적 도전 과제(선형 대 기하학적 비선형성)를 나타내고, H는 참조 구현 내의 헬퍼 함수 수를 나타내며, T는 모델에게 제공된 헬퍼 함수의 계층을 나타낸다(T0: 제공 없음; T1: 모두 제공; T2/T3: 부분 제공 또는 없음). 이러한 설계는 도메인 지식 결핍(누락된 구성 요소를 구축하지 못함)과 구성적 추론 결핍(제공된 구성 요소들을 체인처럼 연결하지 못함)을 분리하여 평가한다.
• 평가 파이프라인: 프레임워크는 두 가지 능력을 평가한다:
  1. 함수 정확성: 생성된 코드를 검증된 입력값에 대해 실행하고, 재귀적 수치 매칭을 통해 참조 출력값과 비교한다.
  2. 테스트 스위트 평가: 생성된 단위 테스트는 참조 구현에서는 통과해야 하며, 제공된 모든 "기대되는 실패" 구현에서는 실패해야 한다. 주요 지표는 **평균 결합 성공률(Average Joint Success Rate)**이다.

실험 설정

저자들은 10개의 최첨단 LLM(Gemini 3 Pro, GPT-5, Claude Opus 4.5, 그리고 Qwen3 및 Llama 4와 같은 오픈 웨이트 모델 포함)을 대상으로 33개 태스크에 걸쳐 평가를 수행했다. 추론은 낮은 온도(0.1)와 지원되는 경우 높은 추론 설정을 사용하여 수행되었다. 또한 저자들은 성능 격차가 프롬프트 엔지니어링 때문인지 아니면 내재적인 도메인 지식 결핍 때문인지를 결정하기 위해 GEPA 프롬프트 최적화 알고리즘을 사용한 예비 연구를 진행했다.

주요 결과

• 성능 상한선: 어떤 모델도 FEM-Bench 2025 전체 세트를 성공적으로 완료하지 못했다. 함수 작성에서 가장 우수한 성능을 보인 모델인 Gemini 3 Pro는 5번의 시도 중 30/33개 태스크를 최소 한 번 이상 해결했으며, 26/33개 태스크를 일관되게(5/5) 해결했다. 단위 테스트 작성에서 가장 우수한 모델인 GPT-5는 **73.8%**의 평균 결합 성공률을 달 기록했다.
• 태스크 난이도 경사: 모델들은 기초적인 빌딩 블록(예: 1D 선형 탄성, 기본 메쉬 생성)은 안정적으로 재현했으나, 기하학적 비선형성이 도입되거나 직접적인 공식 적용 이상의 추론을 요구하는 태스크에서는 크게 어려움을 겪었다.
  • 미해결 태스크: 어떤 모델도 단 한 번도 해결하지 못한 세 가지 태스크가 있었다: MSA_3D_assemble_global_geometric_stiffness_T3, MSA_3D_elastic_critical_load_T3, 그리고 MSA_3D_local_geometric_stiffness_T0. 이 태스크들은 헬퍼 함수 없이 복잡한 기하학적 강성 행렬을 생성해야 한다.
• 오류 분석: 실패는 세 가지 결핍으로 분류되었다:
  1. 도메인 지식 결핍: 특정 역학 공식(예: 기하학적 강성 결합 항)을 회상하지 못함.
  2. 구성적 추론 결핍: 제공된 헬퍼 함수들을 올바르게 연결하는 데 실패함.
  3. 알고리즘 충실도 결핍: 인덱싱 오류, 부호 규약 불일치, 또는 불완전한 루틴.
• 프롬프트 최적화: GEPA 최적화 결과, 일반적인 추론 지시(예: "신중하게 생각하라")는 성능을 개선하지 못했다. 유의미한 이득은 최적화된 시스템 프롬프트가 특정 도메인 지식(예: 기하학적 강성 행렬의 정확한 공식)을 명시적으로 주입했을 때만 관찰되었으며, 이는 주요 병목 현상이 일반적인 추론 능력이 아니라 구체적인 도메인 지식의 부족임을 확인시켜 주었다.

의의 및 주장

본 논문은 FEM-Bench가 단순한 구문 정확도를 넘어 물리적 타당성과 수치적 일관성을 평가함으로써, AI가 생성한 과학적 코드를 평가하기 위한 구조적 토대를 구축한다고 주장한다.

• 진단적 유용성: 이 벤치마크는 과학 계산에서의 구체적인 실패 모드를 효과적으로 식별하며, 지시를 따를 수 있는 모델과 필요한 물리적 추론 능력을 갖춘 모델을 구분한다.
• 현재의 한론: 결과는 최첨단 LLM들이 구조화된 수치 작업에 기여하는 능력이 점차 향상되고 있음에도 불구하고, 외부의 스캐폴딩(scaffolding)이나 명시적인 도메인 지식 주입 없이는 기하학적 비선형성이나 복잡한 고유값 문제를 포함하는 고급 과학 계산 워크플로우를 자율적으로 구현하거나 검증할 준비가 아직 되지 않았음을 나타낸다.
• 향 향후 방향: 저자들은 향-미래의 FEM-Bench가 진전을 추적하기 위해 점점 더 정교한 태스크를 포함할 것이라고 상정한다. 그들은 이 격차를 메우기 위해서는 단순히 사전 학습된 지식에 의존하기보다, 기호적 추론, 자동 코드 실행, 그리고 권위 있는 정보 검색을 위한 외부 도구와 LLM을 통합하는 것이 필요할 것이라고 제안한다.

이 연구는 과학적 코드 생성의 "라스트 마일(last mile)"이 현재의 모델들이 단일 패스(single-pass)의 제로샷(zero-shot) 설정에서 어려움을 겪는 수준의 정밀도와 도메인 특화된 추론을 요구한다는 점을 강조하며, 커뮤니티를 위한 베이스라인 역할을 한다.