A Benchmark on LLM-Based Power Flow Computation: Do More Structured Prompts Help?

ملخص تقني: اختبار مرجعي للحوسبة القائمة على النماذج اللغوية الكبيرة (LLMs) لتدفق القدرة

بيان المشكلة
تعد حوسبة تدفق القدرة عنصراً أساسياً في تخطيط الشبكات، وتشغيلها، وتحليل استقرارها. وبينما يتم استكشاف النماذج اللغوية الكبيرة (LLMs) بشكل متزايد كأدوات لدعم القرار في الشبكات الذكية — بدءاً من تشخيص الأعطال وصولاً إلى استفسارات المشغلين — فإن قدرتها على تنفيذ الخوارزميات العددية الدقيقة لا تزال غير مثبتة. وتحديداً، تتطلب طريقة "غاوس-سايدل" (Gauss–Seidel)، وهي حل تكراري نموذجي يُدرس في مناهج هندسة القوى، عمليات حسابية معقدة، وتمريرات متعددة للتقارب، وتتبعاً دقيقاً لتقديرات الجهد الوسيطة. تعالج هذه الورقة الفجوة في فهم ما إذا كانت النماذج اللغوية الكبيرة قادرة على تنفيذ مثل هذه الخوارزميات التكرارية الكلاسيكية بموثوقية، وتتقصى كيف تؤثر استراتيجيات هندسة الأوامر (مثل المدخلات المهيكلة، وسلسلة الأفكب (Chain-of-Thought)، والأمثلة القليلة (Few-shot)) على الأداء في هذه المهام.

المنهجية
صمم المؤلفون اختباراً مرجعياً مضبوطاً يقيم ثلاثة نماذج لغوية كبيرة عبر أربعة تنسيقات مختلفة للأوامر باستخدام نظام تدفق قدرة مترابط ثلاثي الحافلات (Three-bus AC power flow system).

• النظام والمحلل: منصة الاختبار هي نظام ثلاثي الحافلات متصل بالكامل (حافلة مرجعية واحدة، وحافلتان للأحمال PQ) مع معاملات فروع ($R, X$) وقيم أحمال عشوائية. تم حساب الحلول المرجعية عددياً باستخدام لغة بايثون (NumPy) مع حسابات الدقة المزدوجة. تم اختيار طريقة "غاوس-سايدل" بدلاً من طريقة "نيوتن-رافسون" لعزل صعوبة الحساب التكراري عن تعقيد تحليل المصفوفات، مما يضمن أن الاختبار يقيس قدرة النموذج على اتباع إجراء خوارزمي معروف.
• النماذج التي تم تقييمها:
  1. Gemini 2.5 Pro (من Google DeepMind)
  2. Claude Sonnet 4.5 (من Anthropic)
  3. GPT-3.5 Turbo (من OpenAI) كخط أساس ذو قدرة أقل.
• تنسيقات الأوامر: تم اختبار أربعة تنسيقات لتنويع التعقيد التمثيلي:
  1. السرد النهائي (Narrative-final): وصف باللغة الطبيعية للمشكلة (على نمط الكتب الدراسية) يطلب الإجابة النهائية فقط.
  2. السرد + المثال (Narrative+Example): نفس السرد بالإضافة إلى مثال كامل مشروح من كتاب مدرسي.
  3. النص الإجرائي (Procedural-text): إجراء مرقم خطوة بخطوة مع بيانات في شكل نقاط، يتطلب جدول تتبع للتكرار والإجابة النهائية.
  4. تنسيق JSON المهيكل (Structured-JSON): مدخلات قابلة للقراءة آلياً بتنسيق JSON مع الإجراء المكتوب، يتطلب نفس تتبع التكرار والإجابة النهائية.
• التقييم: أُجري الاختبار على 50 حالة، مع تكرار مستقل لـ 100 حالة. شملت المقاييس متوسط الخطأ المطلق (MAE) بالميجاوات/الميغافار (MW/MVar) ونسبة الحالات التي تقع ضمن نطاقات خطأ نسبية محددة (<1%، 1–5%، 5–10%، 10–20%، >20%). كما تم احتساب حالات الفشل (المخرجات غير القابلة للتحليل) ضمن فئة الخطأ >20% لتعكس الموثوقية الشاملة.

المساهمات الرئيسية

1. تصميم الاختبار المرجعي: تقدم الورقة أول دراسة مضبوطة تنوع بشكل منهجي تنسيقات الأوامر لمحلل تدفق قدرة AC تكراري كلاسيكي، مع تثبيت الخوارزمية والشبكة المختبرة.
2. تحليل حساسية الأوامر: تُظهر الدراسة أن تأثيرات هندسة الأوامر تعتمد بشكل كبير على النموذج. بالنسبة للنموذج الأكثر قدرة (Gemini 2.5 Pro)، أدى زيادة تعقيد الأمر (الانتقال من السرد إلى JSON المهيكل مع تتبع التكرار) إلى تدهور الأداء بشكل كبير، حيث زاد متوسط الخطأ المطلق (MAE) بمقدار 3.1 ضعفاً. وعلى العكس من ذلك، أدى إضافة مثال مشروح إلى تدهور أداء Gemini ولكنه حقق مكسباً طفيفاً لنموذج Claude.
3. حدود القدرة: يثبت المؤلفون أنه لم يحقق أي تكوين تم اختباره الموثوقية الكافية للاستخدام المباشر كمحلل عددي. فشل نموذج GPT-3.5 Turbo في 90% على الأقل من الحالات عبر جميع التنسيقات، بينما حقق أفضل تكوين (Gemini مع أمر سردي بسيط) 54% فقط من الحالات ضمن خطأ نسبي بنسبة 5%.

النتائج

• Gemini 2.5 Pro: أظهر أوسع نطاق من الحساسية لتنسيق الأمر. حقق التنسيق الأبسط (السرد النهائي) أفضل النتائج (MAE = 0.257 MW/MVar؛ 54% من الحالات ضمن خطأ 5%). أما التنسيق الأكثر تعقيداً (JSON المهيكل) فقد أدى إلى أسوأ أداء (MAE = 0.789). كما أدت إضافة مثال مشروح إلى زيادة الخطأ بنسبة 73%.
• Claude Sonnet 4.5: أظهر ملف دقة شبه مسطح عبر جميع التنسيقات، مع حوالي 38% من الحالات ضمن خطأ 5% بغض النظر عن هيكل الأمر. كان تنسيق النص الإجرائي يعمل بشكل أفضل قليلاً لـ Claude مقارنة بـ Gemini، مما يشير إلى أن التوجيه الأمثل يعتمد على النموذج.
• GPT-3.5 Turbo: أظهر عدم فعالية شبه كاملة، حيث تجاوزت 90-96% من الحالات خطأ نسبياً بنسبة 20% عبر جميع التنسيقات.
• القدرة الحقيقية مقابل القدرة التفاعلية: لوحظ عدم تماثل مستمر حيث تجاوزت أخطاء القدرة التفاعلية ($Q_g$) أخطاء القدرة الحقيقية ($P_g$) في معظم التكوينات، وهو ما قد يعود إلى قلة تمثيل استخراج الجزء التخيلي في بيانات التدريب.
• التكرار: أكد تكرار الـ 100 حالة الترتيب النوعي (Gemini $\gg$ Claude > GPT-3.5) وعدم وجود دقة بمستوى المحلل العددي. ومع ذلك، تحول التنسيق الأمثل لـ Gemini من السرد إلى النص الإجرائي في العينة الأكبر، مما يشير إلى الحساسية لصعوبة الحالة أو تباين العينات.

الأهمية والادعاءات
تخلص الورقة إلى أنه بينما تُظهر النماذج اللغوية الكبيرة إمكانات واعدة للمهام عالية المستوى في الشبكات (الشرح، الأسئلة والأجوبة)، إلا أنها تفتقر حالياً إلى الموثوقية المطلوبة للحوسبة العددية المباشرة لتدفق القدرة. وتتحدى النتائج الافتراض الشائع في هندسة الأوامر بأن توفير تعليمات أكثر صراحة وهيكلية يؤدي دائماً إلى تحسين الدقة الحسابية؛ ففي هذا المجال، حققت الأوامر الأبسط نتائج أفضل للنموذج الأكثر قدرة.

يضع المؤلفون هذا العمل كخط أساس تشخيصي للممارسين والباحثين. ويتمثل الأثر الأساسي في أن نشر النماذج اللغوية الكبيرة لدعم القرار في الشبكات الذكية يتطلب معايرة دقيقة لتنسيقات الأوامر بناءً على النموذج المحدد، حيث يمكن أن يكون "التوجيه الأكثر تفصيلاً" ذا نتائج عكسية. علاوة على ذلك، تؤكد الدراسة أن التكوينات الحالية للنماذج اللغوية الكبيرة لا ينبغي استخدامها كبدائل للمحللات العددية التقليدية في بيئات الإنتاج، وإن كان يمكن استخدامها كأدوات استدلال تقريبية أو أدوات تعليمية.