💻 computer science

ThermoQA: A Three-Tier Benchmark for Evaluating Thermodynamic Reasoning in Large Language Models

تقدم الورقة البحثية ThermoQA، وهو معيار مفتوح المصدر ثلاثي المستويات يتكون من 293 مسألة في الديناميكا الحرارية تم تقييمها مقابل الحقيقة المرجعية لـ CoolProp 7.2.0، والذي يكشف أنه بينما تحقق النماذج اللغوية الكبيرة الرائدة دقة عالية، فإن قدراتها على الاستنتاج تتدهور بشكل كبير مع زيادة تعقيد المهام وتظهر تباينًا ملحوظًا عبر عمليات التشغيل.

المؤلفون الأصليون: Kemal Düzkar

نُشر 2026-04-23

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Kemal Düzkar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف مهندساً جديداً لتصميم محطة طاقة. لديك مرشحان:
المرشح (أ) هو موسوعة بشرية حفظت كل صفحة في جداول البخار الموجودة في المكتبة.
المرشح (ب) هو صاحب حل مشكلات بارع، يفهم كيف يتصرف البخار، حتى لو لم يحفظ كل رقم بعينه.

لفترة طويلة، اختبرنا نماذج الذكاء الاصطناعي (مثل تلك التي تشغل روبوتات الدردشة) باستخدام اختبارات الاختيار من متعدد. الأمر يشبه سؤال: "هل السماء زرقاء؟ أ) نعم، ب) لا". كلاهما يمكنه تخمين الإجابة الصحيحة.

لكن هذا البحث الجديد، THERMOQA، يغير قواعد اللعبة. فبدلاً من مجالك الاختبار، فإنه يسلم المرشحين مسألة هندسية معقدة من واقع الحياة ويقول لهم: "أرني خطوات عملك، خطوة بخطوة، واحسب الكفاءة الدقيقة لمحطة الطاقة هذه."

إليك تفصيل ما وجده البحث، باستخدام تشبيهات بسيطة.

1. المستويات الثلاثة للاختبار

أنشأ الباحثون "لعبة فيديو" بثلاثة مستويات من الصعوبة لمعرفة كيف يتعامل الذكاء الاصطناعي مع أنواع مختلفة من التفكير:

المستوى 1: اختبار البطاقات التعليمية (البحث عن الخصائص).
- المهمة: "ما هي طاقة الماء عند 400 درجة مئوية و5 ميجا باسكال؟"
- المهارة: ذاكرة بحتة. الأمر يشبه البحث عن كلمة في قاموس.
- النتيجة: كانت نماذج الذكاء الاصطناعي رائعة في هذا. لقد تصرفت كموسوعات فائقة السرعة.
المستوى 2: اختبار المكونات (تحليل المكونات).
- المهمة: "إليك توربين ومضخة. احسب مقدار الطاقة المفقودة كحرارة ومقدار الشغل الناتج."
- المهارة: منطق متعدد الخطوات. لا يمكنك مجرد البحث عن الإجابة؛ بل يجب عليك القيام بسلسلة من العمليات الحسابية، مثل اتباع وصفة طبخ حيث إذا أخطأت في الخطوة الثانية، ستحترق الكعكة بأكملها.
- النتيجة: بدأت النماذج في التعثر. بعضها أخطأ في الحسابات؛ والبعض الآخر نسي قواعد الفيزياء.
المستوى 3: معركة الزعيم (تحليل الدورة الكاملة).
- المهمة: "صمم دورة محطة طاقة كاملة تتضمن توربين غازي، وتوربين بخاري، ومبادل حراري. احسب الكفاءة الإجمالية."
- المهارة: التفكير المنظومي. هذا هو المستوى الأصعب. يتطلب ربط عشرات الخطوات معاً.
- النتيجة: هنا فشل "الحفظة" وفاز "المفكرون".

2. المفاجأة الكبرى: الحفظ لا يعني الذكاء

كان الاكتشاف الأكثر صدمة هو أن التميز في المستوى 1 لم يعني بالضرورة التميز في المستوى 3.

"تأثير جيمناي" (Gemini): كان أحد النماذج (Gemini) هو البطل المطلق في المستوى 1 (حفظ الحقائق). ولكن عندما أصبح الاختبار أصعب، انخفض أداؤه بشكل كبير. كان الأمر أشبه بطالب تفوق في اختبار المفردات لكنه رسب في المقال لأنه لم يفهم المفاهيم.
"تأثير كلود" (Claude): نموذج آخر (Claude Opus) كان أبطأ قليلاً في حفظ الحقائق، لكنه كان بارعاً في التفكير المعقد متعدد الخطوات. لقد ارتقى إلى المركز الأول بمجرد أن أصبح الاختبار صعباً.

الدرس المستفادة: مجرد قدرة الذكاء الاصطناعي على استرجاع الحقائق بدقة لا يعني أنه يفهم كيف تعمل هذه الحقائق معاً.

3. فخ "الحالة فوق الحرجة" (Supercritical)

وجد الباحثون "فخاً" محدداً في الاختبار: الماء فوق الحرج.

التشبيه: تخيل أنك تتعلم القيادة على طريق مستقيم وخالٍ (الماء العادي). أنت تقود بشكل مثالي. ولكن بعد ذلك يُطلب منك القيادة على ممر جبلي متعرج وجليدي حيث تتغير قواعد الطريق فورياً (الماء فوق الحرج).
النتيجة: تعطلت نماذج الذكاء الاصطناعي. لقد حفظت بيانات "الطريق المستقيم" من الكتب الدراسية، ولكن عندما أصبحت الفيزياء غريبة وغير خطية (بالقرب من النقطة الحرجة)، فشل منطق "التخمين" لديهم بشكل ذريع. كان أحد النماذين مخطئاً بنسبة 27% في عملية حسابية واحدة. أثبت هذا أنهم كانوا يتبعون نمط المطابقة فقط، وليس "الفهم" الفعلي للفيزياء.

4. الثغرة في "الثلاجة"

تدربت نماذج الذكاء الاصطناعي بشكل أساسي على بيانات حول الماء والبخار (لأن هذا ما تستخدمه محطات الطاقة). لم يعرفوا شيئاً تقريباً عن R-134a، وهو مبرد يستخدم في مكيفات الهواء والثلاجات المنزلية.

التشبيه: الأمر يشبه طباخاً ماهراً في طهي اللحم، لكنه لم يرَ خضروات قط. عندما طُلب منه صنع سلطة، حاول طهي الخس كما يطهي اللحم.
النتيجة: كان أداء النماذج سيئاً في دورات التبريد، مما كشف عن فجوة كبيرة في بيانات تدريبها.

5. مشكلة "الاتساق"

طلب الباحثون من نفس الذكاء الاصطناعي إجراء الاختبار ثلاث مرات.

النموذج المستقر: أعطى نموذج (GPT-5.4) نفس الإجابة تقريباً في كل مرة. كان يشبه الآلة الحاسبة الموثوقة.
النموذج غير المستقر: أعطى نموذج آخر (DeepSeek) إجابة ممتازة في المرة الأولى، وإجابة متوسطة في الثانية، وتخميناً عشوائياً في الثالثة.
لماذا يهم هذا: إذا كنت تبني جسراً أو محطة نووية، فأنت بحاجة إلى مهندس يعطيك نفس الإجابة في كل مرة. لا تريد مهندساً يحالفه الحظ بنسبة 50% من الوقت.

6. كفاءة الرموز (Token Efficiency): تكلفة "التفكير"

قاس البحث أيضاً مقدار "قوة الدماغ" (رموز الحوسبة/Tokens) التي استخدمتها النماذج.

استخدم أحد النماذج (Claude) قدراً هائلاً من "وقت التفكير" للوصه إلى الإجابة الصحيحة. كان دقيقاً ولكن مكلفاً.
نموذج آخر (Gemini) أعطى إجابة سريعة مع القليل من "التفكير"، لكنه كان أقل دقة.
المقايضة: إنه الفرق بين طالب يقضي 3 ساعات في حل مسألة رياضية ليصل إلى الحل الصحيح، وبين آخر يخمن في 5 دقائق.

الخلاصة

إن بحث THERMOQA هو جرس إنذار لعالم الذكاء الاصطناعي.

لا تنخدع بالبطاقات التعليمية: الدرجات العالية في اختبارات استرجاع الحقائق البسيطة لا تعني أن الذكاء الاصطناعي يمكنه القيام بهندسة معقدة.
الفيزياء الواقعية صعبة: عندما تصبح الأمور غريبة (مثل السوائل فوق الحرجة) أو تتضمن مواد حقيقية (مثل المبردات)، تعاني نماذج الذكاء الاصطناعي الحالية.
الاتساق هو المفتاح: بالنسبة للهندسة، النموذج الذي تبلغ دقته 90% ولكنه دائماً 90% أفضل من نموذج تبلغ دقته 95% يوماً ما و70% في يوم آخر.

لقد نشر المؤلفون جميع أسئلتهم وأكوادهم مجاناً، داعين الجميع لتجربة بناء ذكاء اصطناعي يمكنه حقاً أن يفكر كمهندس، وليس فقط أن يقرأ كواحد.

إليك ملخص تقني مفصل لورقة البحث THERMOQA: معيار ثلاثي المستويات لتقييم الاستدلال الديناميكي الحراري في النماذج اللغوية الكبيرة.

1. بيان المشكلة

الديناميكا الحرارية الهندسية هي تخصص كمي حيث تنتشر الأخطاء عبر حسابات متعددة الخطوات (على سبيل المثال، خطأ بنسبة 2% في المحتوى الحراري "enthalpy" يمكن أن يؤدي إلى خطأ بنسبة 10% في كفاءة الدورة). تفشل معايير النماذج اللغوية الكبيرة (LLM) الحالية في تقييم هذا المجال بشكل كافٍ لأنها:

تفتقر إلى التماسك: تقوم معايير العلوم العامة (مثل GPQA وMMLU) بتوزيع الديناميكا الحرارية عبر فئات واسعة دون عزلها كجال هندسي متماسك.
محدودية النطاق: تركز المعايير المخصصة مثل UTQA فقط على الغازات المثالية والأسئلة متعددة الخيارات، بينما تقتصر معايير أخرى (مثل Loubet et al.) على السوائل المثالية وتفتقر إلى خصائص السوائل الحقيقية (الماء، مبردات) أو تحليل الإكسيرجي (exergy).
التخمين مقابل الاستدلال: تسمح صيغ الأسئلة متعددة الخيارات للنماذج بالتخمين أو مطابقة الأنماط، بينما تتطلب الديناميكا الحرارية الهندسية استرجاع بيانات الخصائص بدقة، وتطبيق قوانين الحفظ، وإجراء استدلال جبري متسق متعدد الخطوات.

يعالج THERMOQA هذه الفجوات من خلال توفير معيار صارم مفتوح النهايات يختبر النطاق الكامل لمساق الديناميكا الحرارية الهندسية، بدءاً من البحث عن الخصائص وصولاً إلى تحليل الدورات المعقدة باستخدام سوائل عاملة حقيقية.

2. المنهجية

تصميم المعيار

يتكونت مجموعة البيانات من 293 سؤالاً مفتوح النهايات مقسمة إلى ثلاثة مستويات تزداد تعقيداً:

المستوى الأول: البحث عن الخصائص (110 سؤال): يجب على النماذج تقديم الخصائص الديناميكية الحرارية (المحتوى الحراري، الإنتروبيا، الحجم، إل�خ) ومناطق الطور بناءً على مواصفات الحالة. ويغطي 8 فئات تشمل السائل تحت المبرد، البخار الرطب، السوائل فوق الحرجة، والبحث العكسي.
المستوى الثاني: تحليل المكونات (101 سؤال): تقوم النماذج بتحليل أجهزة محددة (توربينات، ضواغط، مضخات، مبادلات حرارية، إلخ) مع إعطاء ظروف المدخل والمخرج وكفاءة الإنتروبيا (isentropic efficiency). يتفاوت عمق التحليل بين: (أ) توازن الطاقة، (ب) الطاقة + الإنتروبيا، (ج) الطاقة + الإنتروبيا + الإكسيرجي.
المستوى الثالث: تحليل الدورات (82 سؤال): حسابات دورة كاملة لـ 10 متغيرات (دورة رانكن، دورة برايتون، دورة ضغط البخار، دورة التوربين الغازي ذات الدورة المركبة). تتضمن هذه الدورات من 15 إلى 60 خطوة عددية لكل مسألة.

السوائل العاملة: يختبر المعيار أربعة سياقات للسوائل: الماء (باستخدام IAPWS-IF97)، R-134a (باستخدام معادلة حالة هلمهولتز)، الهواء (باستخدام كثيرات حدود ناسا ذات 7 معاملات للحرارة النوعية المتغيرة)، وأنظمة الهواء+الماء المشتركة.

توليد الحقيقة الأرضية (Ground Truth)

الحساب البرمجي: تم توليد جميع الإجابات الـ 293 برمجياً باستخدام CoolProp 7.2.0 وكثيرات حدود ناسا، مع التحقق من صحتها مقابل بيانات مرجعية من NIST (بنسبة انحراف أقل من 0.01%).
لا يوجد وسم بشري: هذا يلغي الخطأ البشري ويضمن قابلية التكرار.
التسجيل (Scoring):
- المستوى الأول: تسجيل لكل خاصية بنسبة سماحية نسبية ±2% أو ±0.5 مطلقة.
- المستويات 2-3: تسجيل مرجح بالخطوات. الدرجة النهائية هي متوسط مرجح للخطوات الصحيحة، حيث تعكس الأوزان ( $w_i$ ) الأهمية الهندسية (على سبيل المثال، قيم الكفاءة النهائية تحمل أوزاناً أعلى من عمليات البحث الوسيطة). وهذا يعاقب النماذج التي تسترجع المدخلات بشكل صحيح ولكنها تفشل في التحليل الهندسي الجوهري.

بروتوكول التقييم

النماذج: تم تقييم ستة نماذج لغوية رائدة: Claude Opus 4.6، GPT-5.4، Gemini 3.1 Pro، Grok 4، DeepSeek-R1، و MiniMax M2.5.
البروتوكول: تقييم صفري المحاولات (Zero-shot) (بدون أمثلة قليلة) مع تفعيل أوضاع الاستدلال. تم تشغيل كل نموذج ثلاث مرات مستقلة لكل مستوى لقياس الاتساق (الانحراف المعياري).
الاستخراج: يضمن خط استخراج ثنائي المراحل (regex + إعادة استخراج بواسطة LLM) التقاط رموز الاستدلال وتنسيقها بشكل صحيح للتسجيل.

3. المساهمات الرئيسية

تصميم معيار متدرج: يثبت أن حفظ الخصائص (المستوى 1) والاستدلال متعدد الخطوات (المستوى 3) هما مهارتان منفصلتان، كما يتضح من إعادة ترتيب التصنيفات عبر المستويات.
حقيقة أرضية برمجية: أول معيار يستخدم CoolProp لجميع القيم المرجعية، مما يضمن فيزياء عالية الدقة للسوائل الحقيقية دون تحيز بشري.
تحليل اتساق تعدد التشغيل: يقدم الانحراف المعياري ( $\sigma$ ) كمحور تقييم متميز، مما يحدد موثوقية الاستدلال (تتراوح بين $\pm0.1\%$ إلى $\pm2.5\%$ ).
المميزات التمييزية الطبيعية: يحدد مجموعات فرعية محددة (الماء فوق الحرج، R-134a، دورات برايتون ذات الحرارة النوعية المتغيرة) التي تنتج أوسع نطاق في الأداء، مما يوفر قيمة تشخيصية للمطورين.
الإصدار مفتوح المصدر: مجموعة البيانات، الكود، واستجابات النماذج متاحة للجمهور بموجب رخصة CC-BY-4.0/MIT.

4. النتائج الرئيسية

الأداء العام

لوحة الصدارة: يتصدر Claude Opus 4.6 بدرجة مركبة قدرها 94.1%، يليه GPT-5.4 (93.1%) و Gemini 3.1 Pro (92.5%). الفجوة في الأداء بين أفضل وأدنى النماذج هي 21.1 نقطة مئوية.
تدهور الأداء عبر المستويات: هناك انخفاض كبير في الأداء مع زيادة التعقيد.
- أظهر Claude Opus 4.6 الاستدلال الأكثر متانة، حيث تراجع بمقدار 2.8 نقطة مئوية فقط من المستوى 1 إلى المستوى 3.
- تراجع MiniMax M2.5 بشكل حاد بمقدار 32.5 نقطة مئوية (85.2% $\to$ 52.7%)، مما يشير إلى اعتماده الكبير على الحفظ بدلاً من الاستدلال.

النتائج الحاسمة

الماء فوق الحرج (المستوى 1): هذه الفئة هي الأقوى في التمييز. تحفظ النماذج جداول البخار المدرسية لكنها تفشل في الاستكمال (interpolation) بالقرب من النقطة الحرجة ( $T_c \approx 374^\circ C$ ). الفجوة في الأداء هنا هي 44.5 نقطة مئوية (GPT-5.4 عند 89.5% مقابل MiniMax عند 45.0%).
السوائل الحقيقية (R-134a): تعاني جميع النماذج مع المبردات (44–63% دقة) مقارنة بالماء (75–98%)، مما يسلط الضوء على وجود تحيز في بيانات التدريب نحو جداول البخار.
صعوبات المكونات: الضواغط (Compressors) هي أصعب مكون (دقة 55–75%) بسبب صيغة القسمة غير البديهية لكفاءة الإنتروبيا ( $w_{in} = \Delta h / \eta$ )، والتي تعكسها النماذج بشكل متكرر. أما المضخات فهي بسيطة تقريباً ( $\ge 97.5\%$ ).
الاتساق: يعد GPT-5.4 الأكثر اتساقاً ( $\sigma = \pm0.1\%$ في المستوى 3)، بينما يظهر DeepSeek-R1 تبايناً عالياً ( $\sigma = \pm2.5\%$ في المستوى 2).
كفاءة الرموز (Tokens): يستثمر Opus عدداً أكبر بكثير من الرموز (يصل إلى 53 ألف) مقابل مكاسب طفيفة عن Gemini (الذي يستخدم أقل من 3 آلاف)، مما يشير إلى تناقص العوائد من عملية "التفكير" لبعض النماذج.

أنماط الخطأ

الأخطاء المتتالية: تنتشر الأخطاء بقوة ( $\phi = 0.94$ معامل ارتباط). الخطأ في حالة الخروج الإنتروبية ( $h_{2s}$ ) يبطل جميع حسابات الدورة اللاحقة.
المفقود مقابل الخاطئ: نمط الخطأ المهيمن هو "المفقود" (إغفال الخطوات) بدلاً من "الخاطئ" (حساب قيمة خارج نطاق السماحية).
الفشل المنهجي: غالباً ما تطبق النماذج صيغ الثابت $c_p$ حتى عندما يُطلب صراحة استخدام الحرارة النوعية المتغيرة، أو تعكس صيغ الكفاءة للضواغط مقابل التوربينات.

5. الأهمية والآثار المترتبة

فصل المهارات: يثبت THERMOQA أن الدقة العالية في البحث عن الخصائص لا تضمن قدرة الاستدلال الهندسي. وهذا يتحدى الافتراض بأن قوانين القياس (scaling laws) وحدها تحل مشكلات الاستدلال المعقد في المجالات المتخصصة.
تحيز بيانات التدريب: يكشف الأداء الضعيف في R-134a والسوائل فوق الحرجة عن فجوة في بيانات التدريب، وهو أمر بالغ الأهمية نظراً لانتشار دورات التبريد في العالم الحقيقي.
الموثوقية الهندسية: إن إدخال مقاييس الاتساق ( $\sigma$ ) أمر حيوي للتطبيقات الهندسية حيث تكون المخرجات الحتمية مطلوبة. فالنموذج الذي يحقق 90% $\pm 0.1\%$ أكثر فائدة من نموذج يحقق 91% $\pm 2.5\%$ .
الاتجاهات المستقبلية: يقترح المؤلفون أن تشمل الأعمال المستقبلية التقييم المعزز بالأدوات (السماح بالوصول إلى CoolProp) لعزل أخطاء الاستدلال عن أخطاء الاسترجاع، بالإضافة إلى التقييم متعدد الوسائط لتفسير مخططات T-s و P-h.

في الختام، يضع THERMOQA معياراً جديداً لتقييم النماذج اللغوية الكبيرة في المجالات الهندسية الكمية، مؤكداً أنه بينما تتفوق النماذج الرائدة في الحفظ، فإنها لا تزال تواجه صعوبة في الاستكمال غير الخطي والاستمرار المنطقي متعدد الخطوات المطلوب للتصميم الديناميكي الحراري في العالم الحقيقي.