Beyond Executable Models: The Pufibara Agent Harness and the Modelica Agent Workflow Benchmark for Physical System Modeling

في عالم الهندسة، يتطلب بناء جسر أو شبكة طاقة أو نظام تدفئة ما هو أكثر من مجرد كتابة كود يمكن للكمبيوتر قراءته. إنه يتطلب أن يتصرف النموذج الرقمي تماماً مثل الشيء الفيزيائي الحقيقي الذي يمثله. لعقود من الزمن، استخدم المهندسون لغة متخصصة تسمى "Modelica" لوصف هذه الأنظمة المعقدة. وخلافاً للبرمجة القياسية، حيث يتبع الكمبيوتر قائمة صارمة من التعليمات من الأعلى إلى الأسفل، تعمل Modelica من خلال ذكر العلاقات بين الكميات، مثل كيفية ارتباط الضغط بالتدفق أو كيفية ارتباط الجهد بالتيار الكهربائي. ثم يقوم الكمبيوتر باستنتاج ترتيب العمليات لحل هذه العلاقات. هذه المرونة قوية، لكنها تخلق مشكلة فريدة للذكاء الاصطناعي. إذ يمكن للذكاء الاصطناعي بسهولة كتابة كود Modelica يبدو صحيحاً وحتى يعمل دون توقف، ومع ذلك يصف نظاماً فيزيائياً ينتهك قوانين الفيزياء أو يفشل في تلبية الاحتياجات المحددة للمشروع. لقد اتبع الجهاز قواعد القواعد النحوية (syntax)، لكنه أخطأ في جوهر الهندسة.

هذه الفجوة بين نموذج "يعمل ببساطة" ونموذج "صحيح حقاً" هي التحدي المركزي الذي تناولته دراسة جديدة من باحثين في جامعة TU Dresden. فقد سعى الفريق، بقيادة وانغ زي زي، لمعرفة ما إذا كان يمكن الوثوق بوكلاء الذكاء الاصطناعي (AI agents) — وهي برامج يمكنها التفكير والعمل واستخدام الأدوات — لإصلاح وبناء وضبط نماذج الأنظمة الفيزيائية هذه بمفردها. ووجدوا أنه بينما تمتلك أدوات الذكاء الاصطناعي الحالية القدرة على توليد الكود، إلا أنها غالباً ما تفقد المسار الخاص بالأهداف الهندسية الأصلية أثناء إجراء التغييرات، أو تعتمد على نتائج اختبارات من نسخ قديمة للنموذج لم تعد قابلة للتطبيق. ولحل هذه المشكلة، بنى الباحثون نظاماً جديداً يسمى "Pufibara". يعمل هذا النظام كـمشرف صارم يحتفظ بسجل دائم لما يتطلبه المشروع، مما يضمن أنه في كل مرة يغير فيها الذكاء الاصطناعي النموذج، فإنه يعيد التحقق من النسخة الجديدة مقابل الأهداف الأصلية. وقد اختبروا هذا النظام مقابل أداة برمجة ذكاء اصطناعي تجارية رائدة باستخدام مجموعة ضخمة من 232 مهمة هندسية مختلفة. وأظهرت النتائج أن النظام الجديد لم يحل المزيد من المشكلات فحسب، بل فعل ذلك باستخدام موارد حوسبة أقل بكثير، مما يثبت أن كيفية توجيه الذكاء الاصطناعي لا تقل أهمية عن الذكاء الذي يستخدمه.

لقد تناول الباحثون هذه المشكلة من خلال الإدراك بأن الهندسة الفيزيائية تختلف عن كتابة برنامج كمبيوتر قياسي. في مشروع برمجيات نموذجي، إذا عمل البرنامج دون أخطاء، فغالباً ما يُعتبر ناجحاً. أما في النمذجة الفيزيائية، فيمكن للنموذج أن يعمل بشكل مثالي ومع ذلك يكون خاطئاً. على سبيل المثال، قد يولد الذكاء الاصطناعي نموذجاً لمضخة مياه يعمل ويحاكي بسلاسة، ولكن إذا توقع النموذج أن الماء يتدفق للأعلى بدون مضخة، فقد فشل في الاختبار الهندسي. تكمن الصعوبة الجوهرية في الطبيعة التكرارية للعمل. فبينما يحاول وكيل الذكاء الاصطناعي إصلاح نموذج ما، قد يغير معاملاً، ويجري محاكاة، ويرى نتيجة، ثم يغير معاملاً آخر. وبدون نظام ذاكرة دقيق، قد ينسى الوكيل أن التغيير الأول كان ضرورياً، أو قد يعتقد خطأً أن نتيجة المحاكاة من النسخة القديمة من النموذج لا تزال تنطبق على النسخة الجديدة. هذا الارتباك يمكن أن يؤدي بالوكيل إلى تقديم نموذج نهائي يبدو جيداً في الظاهر ولكنه يفشل في تلبية المتطلبات الفيزيائية المحددة للمهمة.

ولمنع حديد ذلك، صمم الفريق نظام Pufibara بهيكلية معينة تعامل المتطلبات الهندسية كالتزامات مستمرة. تخيل مدير مشروع يحتفظ بقائمة مرجعية لكل قاعدة يجب أن يتبعها المبنى، من قوة الفولاذ إلى تدفق الهواء. في كل مرة يقوم فيها المهندس المعماري بإجراء تغيير، يتحقق المدير من التصميم الجديد مقابل تلك القائمة نفسها، متجاهلاً أي نتائج اختبار قديمة لم تعد تتوافق مع التصميم الحالي. يقوم Pufibara بهذا بالضبط لوكلاء الذكاء الاصطناعي؛ فهو يحافظ على "سجل" للمتطلبات الهندسية يظل نشطاً طوال العملية. كما يربط كل نتيجة محاكاة مباشرة بالنسخة المحددة من النموذج التي أنتجتها. وإذا تغير النموذج، يعرف النظام أن النتائج القديمة لم تعد صالحة ويجبر الوكيل على إعادة تقييم النسخة الجديدة. والأهم من ذلك، أن النظام يتطلب من الوكيل اتخاذ قرار صريح بتقديم الإجابة النهائية؛ فلا يمكن للذكاء الاصطناعي التوقف ببساطة لأنه نفد من الوقت أو لأن الكود تم تجميعه (compiled)، بل يجب عليه أن يعلن بوضوح أنه جمع أدلة كافية لإثبات أن النموذج يلبي جميع القواعد الهندسية.

ولاختبار ما إذا كان هذا النهج فعالاً حقاً، احتاج الباحثون إلى طريقة عادلة وواقعية لقياس الأداء. لم يكن بإمكانهم ببساطة استخدام النماذج العامة الموجودة، لأن الذكاء الاصطناعي قد يكون قد رآها بالفعل أثناء تدريبه وقام بمجرد حفظ الإجابات. بدلاً من ذلك، أنشأوا معياراً جديداً يسمى "Modelica Agent Workflow Benchmark". بدأوا بنماذج هندسية حقيقية وعاملة، ثم أدخلوا أعطالاً محددة، أو متطلبات تصميم جديدة، أو أهداف ضبط لخلق 232 تحدياً فريداً. تراوحت هذه المهام بين إصلاح النماذج المعطلة وبناء نماذج جديدة من الصفر وتعديل المعلمات لتلبية أهداف أداء محددة. تضمن المعيار "مقوماً" مخفياً عمل كحكم مستقل؛ هذا الحكم لم يرَ عملية التفكير الداخلية للذكاء الاصطناعي أو خطواته المتوسطة، بل نظر فقط إلى النموذج النهائي الذي قدمه الوكيل وتحقق مما إذا كان قد اجتاز مجموعة صارمة من الاختبارات الفيزيائية والسلوكية. وقد ضمن ذلك اختبار قدرة الذكاء الاصطناعي على حل المشكلة، وليس قدرته على تخمين شكل الاختبار.

قارنت الدراسة نظام Pufibara الجديد بـ Claude Code، وهو مساعد برمجة ذكاء اصطناعي تجاري معروف، باستخدام نموذجين لغويين كبيرين مختلفين كـ "عقل" خلف الوكيل. كانت النتائج واضحة ومتسقة؛ فعبر جميع المهام الـ 232، نجح Pufibara في إكمال مشكلات أكثر من الأداة التجارية. عند استخدام "عقل" ذكاء اصطناعي محدد، حل Pufibara 202 مهمة بينما حلت الأداة الأخرى 185 مهمة. ومع "عقل" ذكاء اصطناعي مختلف، حل Pufibara أيضاً 202 مهمة مقارنة بـ 187 للأداة المنافسة. وكان الفرق أكثر وضوحاً في المهام التي تتطلب بناء نموذج من الصفر، حيث حل Pufibura مشكلات أكثر بكثير من النظام الآخر. وفضلاً عن حل المزيد من المشكلات، كان Pufibara أيضاً أكثر كفاءة؛ فقد استخدم حوالي 76% إلى 82% أقل من وحدات المعلومات (tokens) — وهي الوحدات الأساسية للمعلومات التي يعالجها الذكاء الاصطناعي — وأكمل المهام في وقت أقل بكثير، حيث استغرقت بعض التشغيلات وقتاً أقل بنسبة تصل إلى 58% من المنافس.

ولعل النتيجة الأكثر أهمية لم تكن فقط أن Pufibara حل مشكلات أكثر، بل أنه حل النوع "الصحيح" من المشكلات. فقد اكتشف الباحثون أن الأداة المنافسة غالباً ما تنتج نماذج قابلة للتنفيذ وتجتاز الفحوصات الأساسية، لكنها تفشل في المتطلبات الفيزيائية الأعمق. ففي مجموعة من المهام الصعبة، قدمت الأداة التجارية نماذج تعمل دون أخطاء ولكنها لا تتصرف بشكل صحيح وفقاً للقواعد الهندسية في 21 حالة من أصل 38 حالة. بينما ارتكب Pufibara هذا الخطأ في أربع حالات فقط. يشير هذا إلى أن الأداة التجارية كانت غالباً ما تكتفي بنموذج "يعمل ببساطة"، في حين أن شرط Pufibara الصارم بربط الأدلة بالنسخة الحالية من النموذج والتحقق صراحة من جميع الالتزامات الهندسية منع وقوعه في الحلول المعيبة. وتظهر الدراسة أن هيكلية سير عمل الذكاء الاصطناعي — كيف يتذكر، وكيف يفحص، وكيف يقرر — لا تقل أهمية عن ذكاء النموذج اللغوي نفسه.

تمتد آثار هذا العمل إلى ما هو أبعد من مجرد نوع واحد من لغات الهندسة. يوضح البحث أنه لكي يكون الذكاء الاصطناعي مفيداً حقاً في المجالات المعقدة والواقعية مثل الفيزياء والهندسة، لا يمكنه أن يكون مجرد مولد للكود، بل يجب أن يكون "وكيلاً" يدرك الفرق بين برنامج يعمل ونظام صحيح فيزيائياً. ومن خلال الاحتفاظ بسجل دائم للمتطلبات وإجبار الذكاء الاصطناعي على إعادة التحقق من عمله مقابل تلك المتطلبات في كل مرة يجرى فيها تغييراً، يضمن النظام أن المخرج النهائي موثوق به. ويشير الباحثون إلى أنه رغم قوة نتائجهم، إلا أنها محددة بالمهام والظروف التي اختبروها، وهم لا يدعون أنهم حلوا مشكلة الذكاء الاصطناعي في الهندسة إلى الأبد، لكنهم قدموا مخططاً واضحاً لكيفية بناء أنظمة ذكاء اصطناعي أقل عرضة لارتكاب أخطاء خطيرة. ومع تقدم المجال، سينتقل التركيز على الأرجح إلى اختبار هذه الأساليب على مشكلات صناعية أكثر تعقيداً واستكشاف كيفية عملها مع أنواع مختلفة من نماذج الذكاء الاصطناعي، لضمان أن تكون أدوات المستقبل موثوقة بقدر الأنظمة التي صُممت لبنائها.