💻 computer science

ThermoQA: A Three-Tier Benchmark for Evaluating Thermodynamic Reasoning in Large Language Models

이 논문은 CoolProp 를 기반으로 생성된 293 개의 열역학 문제로 구성된 3 단계 벤치마크 'ThermoQA'를 제시하여, 최신 대규모 언어 모델들의 열역학적 추론 능력을 평가하고 모델 간 성능 차이와 일관성을 분석했습니다.

원저자: Kemal Düzkar

게시일 2026-04-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kemal Düzkar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

열역학의 '진짜 실력'을 가르는 시험: THERMOQA 설명

이 논문은 최신 인공지능 (LLM) 이 단순히 지식을 외우는 것과 복잡한 공학 문제를 실제로 푸는 것 사이에서 얼마나 차이가 나는지 보여주는 흥미로운 실험 결과입니다. 마치 "공식을 암기하는 학생"과 "그 공식을 써서 실제 다리를 설계할 수 있는 엔지니어"를 구분하는 시험과 같습니다.

이 연구를 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드리겠습니다.

1. 이 시험은 무엇인가요? (THERMOQA)

저자는 THERMOQA라는 새로운 시험지를 만들었습니다. 이 시험은 공학 열역학 (에어컨, 발전소, 엔진 등이 어떻게 작동하는지) 을 다루며, 총 293 개의 문제로 구성되어 있습니다.

시험은 **3 단계 (Tier)**로 나뉩니다.

1 단계 (기초 지식): "물이 400 도, 50 기압일 때 어떤 성질을 가질까?"라고 묻는 사전을 찾는 문제입니다. (약 110 문제)
2 단계 (부품 분석): 터빈이나 압축기 같은 기계 부품 하나를 분석하는 중급 문제입니다. (약 101 문제)
3 단계 (종합 분석): 발전소 전체 사이클을 설계하고 효율을 계산하는 최고급 문제입니다. (약 82 문제)

2. 왜 이 시험이 중요할까요?

기존의 AI 시험들은 대부분 "네 가지 중 하나를 고르는 객관식"이었습니다. 하지만 이 시험은 서술형입니다. AI 가 정답을 맞히기 위해선 단순히 기억해 둔 숫자를 대입하는 게 아니라, 물리 법칙을 적용해 여러 단계를 거쳐 직접 계산해야 합니다.

비유: 객관식 시험은 "정답이 A, B, C, D 중 하나일 때, A 가 정답인 줄 알고 찍는 것"이라면, 이 시험은 "빈 종이에 직접 계산을 해보라고 하는 것"입니다.

3. 주요 발견: "암기왕" vs "문제 해결사"

6 개의 최신 AI 모델을 이 시험에 출시시켰더니 놀라운 결과가 나왔습니다.

1 단계 (기초 지식)에서는: 구글의 'Gemini'가 1 위를 했습니다. AI 는 방대한 데이터를 통해 물의 성질표를 거의 완벽하게 암기하고 있었습니다.
3 단계 (종합 분석)에서는: 'Claude Opus'가 1 위가 되었습니다. 반면, 1 단계에서 1 위였던 'Gemini'는 순위가 뚝 떨어졌습니다.

결론: "자료를 잘 찾는 능력 (암기)"과 "복잡한 문제를 논리적으로 푸는 능력 (추론)"은 완전히 다른 기술이라는 것이 증명되었습니다.

4. AI 가 가장 어려워한 '함정'들

이 시험은 AI 가 어디에서 막히는지 정확히 보여줍니다.

초임계수 (Supercritical Water) 함정:
- 상황: 물이 끓는점과 기체 상태의 경계인 '초임계' 영역에서는 물의 성질이 매우 비선형적으로 변합니다.
- 결과: AI 는 교과서에 있는 일반적인 숫자는 잘 외웠지만, 그 사이사이의 복잡한 변화를 유추하지 못해 큰 실수를 했습니다.
- 비유: "서울과 부산 사이의 거리는 400km 야"라고 외웠지만, "서울에서 10km 떨어진 지점의 정확한 고도는?"이라고 물으면 망하는 것과 같습니다.
냉매 (R-134a) 와 압축기:
- 상황: 에어컨이나 냉장고에 쓰이는 냉매 데이터는 AI 가 많이 접하지 못했고, '압축기' 계산은 터빈 계산과 공식이 정반대입니다.
- 결과: AI 는 익숙한 터빈 공식을 압축기에 그대로 적용해 실수했습니다.
- 비유: "왼손으로 커피를 마신다"는 습관이 있는데, 갑자기 "오른손으로 커피를 마셔라"고 하면 머리가 혼란스러워하는 것과 같습니다.

5. AI 의 '일관성' 문제

이 연구는 AI 가 같은 문제를 여러 번 풀 때, 매번 같은 답을 내놓는지도 확인했습니다.

어떤 AI 는 100 번 풀면 100 번 같은 답을 냈지만 (GPT-5.4),
어떤 AI 는 같은 문제를 풀어도 매번 결과가 2~3% 씩 달라졌습니다 (DeepSeek-R1).

비유: 같은 레시피로 케이크를 굽는데, 한 명은 매번 똑같은 맛이지만, 다른 한 명은 오늘 달고, 내일 짜게 나오는 경우입니다. 공학 설계에서는 일관성이 정확도만큼이나 중요합니다.

6. 요약 및 시사점

이 논문은 우리에게 다음과 같은 메시지를 줍니다:

AI 는 아직 '엔지니어'가 아닙니다: 데이터를 잘 찾아내고 암기하는 능력은 뛰어나지만, 복잡한 물리 법칙을 적용해 새로운 문제를 해결하는 능력은 아직 부족합니다.
암기만으로는 부족합니다: 시험지 1 단계 (기초) 점수가 높다고 해서 3 단계 (응용) 점수가 높은 것은 아닙니다.
새로운 평가 기준 필요: AI 의 능력을 볼 때는 단순히 "정답률"만 보지 말고, "복잡한 문제에서의 일관성"과 "실제 공학 시나리오에서의 성능"을 함께 봐야 합니다.

마지막으로, 이 연구의 모든 데이터와 코드는 공개되어 있어, 누구나 이 '열역학 시험'을 직접 확인하고 AI 들을 다시 시험해 볼 수 있습니다. AI 가 진정한 공학적 지능을 갖추기 위해서는 아직 넘어야 할 산이 많다는 것을 보여주는 흥미로운 연구입니다.

THERMOQA: 대규모 언어 모델의 열역학적 추론 능력 평가를 위한 3 단계 벤치마크

1. 연구 배경 및 문제 제기

공학 열역학은 정량적 학문으로, 터빈 입구 엔탈피의 2% 오차가 사이클 열효율 10% 오차로 이어지는 등 오류가 다단계 계산에서 증폭되는 특징이 있습니다. 기존 LLM 벤치마크 (GPQA, SciBench, MMLU 등) 는 열역학을 포괄적인 과학 평가의 일부로만 다루거나, 이상 기체 (Ideal Gas) 와 단순한 다지선다형 (MCQ) 문제에 국한되어 있어, 실제 유체 (Real Fluids) 의 특성, 다성분 시스템, 엑서지 (Exergy) 분석 등을 포함한 공학 열역학의 전 범위를 평가하지 못했습니다. 또한, 다지선다형은 추측이나 패턴 매칭을 통한 정답 유도가 가능하여 진정한 추론 능력을 측정하기 어렵습니다.

이러한 공백을 메우고 LLM 의 열역학적 추론 능력을 정밀하게 평가하기 위해 THERMOQA가 제안되었습니다.

2. 방법론 (Methodology)

2.1 벤치마크 구조 (3 단계)

THERMOQA 는 총 293 개의 개방형 (Open-ended) 공학 열역학 문제를 3 단계로 구성하여 점진적인 복잡도를 테스트합니다.

Tier 1: 물성치 조회 (Property Lookups, 110 문항)
- 주어진 상태 (압력, 온도 등) 에 따른 물성치 (엔탈피, 엔트로피, 비체적 등) 와 상(phase) 을 식별하는 문제.
- 과냉각 액체, 포화 상태, 과열 증기, 초임계 영역 등 8 가지 카테고리 포함.
Tier 2: 구성 요소 분석 (Component Analysis, 101 문항)
- 터빈, 압축기, 펌프, 열교환기 등 7 가지 장치에 대한 다단계 분석.
- 에너지 균형, 엔트로피 생성, 엑서지 파괴 등 3 단계의 분석 깊이를 포함.
Tier 3: 전체 사이클 분석 (Cycle Analysis, 82 문항)
- 랭킨, 브레이튼, 증기 압축 냉동, 복합 가스 터빈 (CCGT) 등 10 가지 사이클 변형에 대한 전체 계산.
- 물, 공기, R-134a, 혼합 유체 등 4 가지 작동 유체 적용.

2.2 정답 생성 및 평가 기준

프로그램 기반 정답 (Programmatic Ground Truth): 모든 정답은 CoolProp 7.2.0 (수용액: IAPWS-IF97, R-134a: 헬름홀츠 상태방정식) 과 NASA 7 계수 다항식 (공기) 을 사용하여 프로그램적으로 생성되었습니다. 이는 인간의 주관적 개입을 배제하고 NIST 기준 데이터와 0.01% 미만의 오차로 검증되었습니다.
점수 체계:
- Tier 1: 물성치별 ±2% 상대 오차 또는 ±0.5 절대 오차 (더 관대한 기준 적용).
- Tier 2-3: 단계별 가중치 점수 (Step-weighted scoring). 엔지니어링 중요도에 따라 단계별 가중치 (1~6) 를 부여하여, 최종 공학적 결과 (순 일, 효율 등) 에 높은 가중치를 두었습니다.
평가 프로토콜: 6 개의 최첨단 LLM 을 대상으로 각 모델당 3 회 독립적인 실행 (Multi-run) 을 수행하여 평균 점수와 표준 편차 (일관성) 를 측정했습니다.

3. 주요 기여 (Key Contributions)

계층적 벤치마크 설계: 단순 암기 (Tier 1) 와 다단계 추론 (Tier 2, 3) 을 분리하여 평가함으로써, 모델의 능력 차이를 명확히 구분했습니다.
프로그램 기반 정답 생성: 인간이 작성한 해설이 아닌 CoolProp 을 통한 정량적 정답 생성으로 재현성과 객관성을 확보했습니다.
다중 실행 일관성 분석: 단일 실행 평가에서 놓치기 쉬운 모델의 추론 일관성 (Standard Deviation) 을 정량화했습니다.
자연스러운 식별자 (Natural Discriminators): 모델 간 성능 차이를 극대화하는 문제 유형 (초임계 물, R-134a, 압축기 분석, 가변 비열 브레이튼 사이클 등) 을 식별했습니다.
오픈 소스 공개: 데이터셋, 코드, 평가 스크립트, 모든 모델 응답을 공개하여 커뮤니티의 재현과 확장을 지원했습니다.

4. 실험 결과 (Results)

4.1 전체 리더보드 및 모델별 성능

6 개 모델 (Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro, Grok 4, DeepSeek-R1, MiniMax M2.5) 을 평가한 결과, 종합 점수는 **Claude Opus 4.6 (94.1%)**이 1 위를 차지했습니다.

성능 격차: 최상위 모델 (94.1%) 과 최하위 모델 (73.0%) 간의 격차는 21.1%p 로, 공학 열역학이 LLM 을 구분하는 유의미한 지표임을 입증했습니다.
순위 변동: Tier 1(물성치 조회) 에서는 Gemini 3.1 Pro 가 1 위였으나, Tier 3(사이클 분석) 에서는 Claude Opus 4.6 으로 순위가 뒤바뀌었습니다. 이는 물성치 암기 능력과 공학적 추론 능력이 별개의 기술임을 보여줍니다.

4.2 주요 발견 사항

초임계 수 (Supercritical Water) 의 붕괴: Tier 1 의 초임계 영역 (T > 373.95°C, P > 22.064 MPa) 문제에서 모델들의 성능이 급격히 떨어졌습니다. GPT-5.4 는 89.5%, MiniMax 는 45.0% 로 44.5%p 의 격차가 발생했습니다. 이는 모델이 교과서적 데이터는 암기했으나, 비선형성이 극심한 임계점 근처의 연속적인 상태 방정식을 내재화하지 못했음을 시사합니다.
냉매 (R-134a) 에 대한 취약성: 모든 모델이 물 (75~~98%) 에 비해 R-134a(44~~63%) 에서 성능이 크게 저하되었습니다. 이는 훈련 데이터의 편향 (수증기 도표는 풍부하지만 냉매 데이터는 부족함) 을 반영합니다.
압축기 (Compressor) 난이도: Tier 2 에서 압축기는 모든 모델에게 가장 어려운 구성 요소였습니다 (성능 55~75%). 효율 공식의 역수 관계 ( $\eta_s$ 로 나누는 것 vs 곱하는 것) 와 이중 보간법 필요성 등이 주요 오류 원인이었습니다.
일관성 (Consistency): GPT-5.4 는 Tier 3 에서 표준 편차 $\sigma \approx \pm 0.1\%$ 로 거의 결정론적인 안정성을 보인 반면, DeepSeek-R1 은 Tier 2 에서 $\pm 2.5\%$ 의 큰 변동을 보였습니다. 공학 응용에서는 평균 점수보다 일관성이 더 중요할 수 있습니다.
토큰 효율성: Claude Opus 는 Tier 3 에서 최대 53K 토큰을 사용하여 높은 정확도를 냈으나, Gemini 와 Grok 4 는 3K 토큰 미만으로 6%p 정도의 성능 차이를 보이며 더 높은 비용 효율성을 입증했습니다.

4.3 오류 패턴

오류 전파 (Error Cascading): 등엔트로피 출구 상태 ( $h_{2s}$ ) 의 오류가 실제 출구 엔탈피 ( $h_2$ ) 로 전파되는 상관관계 ( $\phi = 0.94$ ) 가 매우 높았습니다.
주요 오류 유형: "값이 없음 (Missing)"이 "오류 (Wrong)"보다 더 흔했습니다. 모델은 계산 시도를 할 경우 대부분 허용 오차 내의 값을 내놓지만, 중간 단계에서 막히면 이후 모든 단계를 생략하는 경향이 있었습니다.

5. 의의 및 결론

THERMOQA 는 LLM 이 공학 열역학 분야에서 단순한 지식 회상 (Memorization) 을 넘어, 비선형 물성치 처리, 다단계 에너지/엔트로피/엑서지 균형, 그리고 실제 유체를 활용한 시스템 분석 능력을 갖추고 있는지 평가할 수 있는 첫 번째 포괄적인 벤치마크입니다.

주요 시사점은 다음과 같습니다:

암기와 추론의 분리: 높은 물성치 조회 점수가 복잡한 사이클 분석 능력을 보장하지 않습니다.
훈련 데이터 편향: 수증기 도표에 비해 냉매 및 복합 사이클 관련 데이터가 부족하여 실제 공학 응용 (냉동, HVAC 등) 에서 모델의 성능이 제한될 수 있습니다.
일관성의 중요성: 공학 설계와 같은 분야에서는 평균 정확도보다 실행 간 일관성 (낮은 분산) 이 더 중요한 평가 지표가 되어야 합니다.
도구 사용의 필요성: 본 연구는 도구 없이 모델의 내재적 지식을 평가했으나, 향후 CoolProp 등 외부 도구와 결합된 평가 (Tool-augmented) 가 실제 엔지니어링 워크플로우에 더 적합할 것입니다.

이 연구는 LLM 이 과학 및 공학 분야에서 신뢰할 수 있는 도구가 되기 위해서는 단순한 패턴 매칭을 넘어, 엄격한 물리 법칙과 비선형 시스템에 대한 깊은 추론 능력이 필요함을 강조합니다.