ThermoQA: A Three-Tier Benchmark for Evaluating Thermodynamic Reasoning in Large Language Models
यह शोध पत्र ThermoQA को प्रस्तुत करता है, जो CoolProp 7.2.0 ग्राउंड ट्रुथ के विरुद्ध मूल्यांकित 293 ऊष्मागतिकी (thermodynamics) समस्याओं का एक तीन-स्तरीय ओपन-सोर्स बेंचमार्क है, जो यह प्रकट करता है कि जबकि फ्रंटियर LLMs उच्च सटीकता प्राप्त करते हैं, उनकी तर्क करने की क्षमता कार्य की जटिलता के साथ काफी कम हो जाती है और रन के दौरान उल्लेखनीय परिवर्तनशीलता प्रदर्शित करती है।