Can LLMs Perform Synthesis?
تقيم هذه الورقة أداء الأدوات الرمزية مقابل النماذج اللغوية الكبيرة (Qwen وGPT-5) عبر أربعة مجالات لتخليق البرامج، حيث وجدت أن الحلّالات الرمزية تحل باستمرار عددًا أكبر من الاختبارات المرجعية وتعمل بشكل أسرع من كل من النماذج اللغوية الكبيرة مفتوحة المصدر والرائدة، حتى عندما يتم تشغيل الأخيرة على أجهزة أكثر قوة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء روبوت مثالي لا يرتكب الأخطاء أبدًا. لديك دليل تعليمات صارم للغاية (مواصفات) يحدد بالضبط ما يجب على الروبوت فعله. هدفك هو جعل آلة تقرأ هذا الدليل وتقوم ببناء الروبوت لك تلقائيًا. يُسمى هذا "توليد البرامج" (Program Synthesis).
لعقود من الزمن، استخدمنا "الأدوات الرمزية" (Symbolic Tools)—فكر فيها كأنها روبوتات رياضية فائقة الدقة والصلابة. هي تشبه صانع الأقفال الماهر الذي يجرب كل مفتاح في حلقة مفاتيح ضخمة، واحدًا تلو الآخر، حتى يجد المفتاح الذي يفتح الباب. إنهم بطيئون، ومنهجيون، ومضمونون في العثور على المفتاح الصحيح إذا كان موجودًا.
مؤخرًا، دخل منافس جديد إلى الحلبة: النماذج اللغوية الكبيرة (LLMs). فكر فيها كأنها عباقرة مبدعون وفطريون. لقد قرأوا كل كتاب تقريبًا في المكتبة. عندما تطلب منهم بناء روبوت، هم لا يجربون كل مفتاح؛ بل "يخمنون" المفتاح الصحيح بناءً على حدسهم وخبرتهم. إنهم سريعون وغالبًا ما يكونون بارعين، لكنهم أحيانًا يخترعون أشياء تبدو جيدة ولكنها لا تعمل في الواقع.
يسأل هذا البحث سؤالاً بسيطاً: هل يمكن لهؤلاء العباقرة المبدعين (LLMs) استبدال صانعي الأقفال المنهجيين (الأدوات الرمزية) في مهمة بناء روبوتات مثالية؟
التجربة: سباق في أربع ساحات
قام الباحثون بإعداد سباق بين روبوتات الرياضيات القديمة وعباقرة الذكاء الاصطناعي الجدد عبر أربع "ساحات" (أنواع من المشكلات):
- ساحة إشارات المرور (LTL Reactive Synthesis): بناء نظام يتفاعل مع إشارات المرور والمشاة بشكل مثالي.
- ساحة الليغو (Syntax-Guided Synthesis): بناء دالة باستخدام قطع "ليغو" محددة (قواعد لغوية) يوفرها المستخدم.
- ساحة العمل الجماعي (Distributed Protocol Synthesis): كتابة تعليمات لفريق من الحواسيب للعمل معًا دون جدال.
- ساحة المتاهة التكرارية (Recursive Program Synthesis): كتابة كود يستدعي نفسه لحل ألغاز معقدة.
لقد وضعوا الأدوات الرمزية (صانعي الأقفال) في مواجهة Qwen (ذكاء اصطناعي مفتوح المصدر وذكي جدًا) و GPT-5 (أقوى ذكاء اصطناي خاص متاح).
قواعد السباق
لجعل السباق عادلاً، وضع الباحثون بعض القواعد:
- قاعدة "التحقق من العمل": بما أن الذكاء الاصطناعي قد يهذي (يخترع معلومات)، لم يكتفوا بالثقة في إجابة الذكاء الاصطناعي فحسب. بل وضعوا "مدققًا" (مصححًا) صارمًا يفحص كل إجابة. إذا أخطأ الذكاء الاصطناعي، وجب عليه المحاولة مرة أخرى.
- قاعدة "لا تلميحات": لم يُسمح للذكاء الاصطناعي برؤية سبب فشله. لم يكن بإمكانه القول: "أوه، لقد فاتني خطوة"، ثم يصلحها. كان عليه فقط الاستمرار في التخمين حتى ينجح أو ينفد وقته. هذا اختبر ما إذا كان بإمكان الذكاء الاصطناعي القيام بالمهمة بمفرده، وليس فقط كمساعد للبشر.
- الحد الزمني: حصل الجميع على 10 دقائق لحل كل لغز.
النتائج: من الفائز؟
إليك الحكم، مقسمًا حسب ما حدث في السباق:
1. بطل السرعة والدقة: الأدوات الرمزية
في معظم الساحات، فازت الأدوات الرمزية التقليدية. لقد حلوا ألغازًا أكثر من الذكاء الاصطناعي.
- التشبيه: تخيل أن الذكاء الاصطناعي هو عداء سريع ولكنه يتعثر في أربطة حذائه كثيرًا. الأداة الرمزية هي السلحفاة التي تمشي ببطء ولكنها لا تتعثر أبدًا. في النهاية، أنهت السلحفاة سباقات أكثر.
- الفجوة: في ساحة "إشارات المرور"، حلّت الأداة الرمزية 354 لغزًا، بينما حل أفضل ذكاء اصطناعي (GPT-5) 229 لغزًا فقط. كان الذكاء الاصطناعي أبطأ وأقل دقة بشكل ملحوظ.
2. قوة الذكاء الاصطناعي: حل "المستحيل"
كانت هناك مفاجأة واحدة. في بعض الحالات، تعثرت الأدوات الرمزية. إنهم صارمون للغاية، فإذا تطلب اللغز قفزة إبداعية غريبة، فإنهم يستسلمون.
- فوز الذكاء الاصطناعي: تمكن الذكاء الاصطناعي من حل بعض الألغاز التي لم تستطع الأدوات الرمزية حلها على الإطلاق.
- التشبيه: إذا كان الباب مغلقًا بقفل غريب وغير قياسي، فقد يستسلم صانع الأقفال لأن مفاتيحه لا تناسبه. أما الذكاء الاصطناعي، فقد ينظر إلى القفل، ويدرك أنها خدعة، ويقوم بفتحه باستخدام مشبك ورق.
3. مشكلة "التكرار"
كان للذكاء الاصطناعي عيب مضحك. عندما يعلق، غالبًا ما يكرر نفس الإجابة الخاطئة مرارًا وتكرارًا.
- التشبيه: تخيل طالبًا يؤدي اختبارًا. يخطئ في سؤال ما. وبدلاً من المذاكرة، يكتب نفس الإجابة الخاطئة 50 مرة، آملًا أن يغير المعلم رأيه. أما الأدوات الرمزية، وبما أنها منطقية، فلا تكرر نفس الخطأ أبدًا؛ فهي تجرب مفتاحًا جديدًا تمامًا في كل مرة.
4. تكلفة الوقت والمال
- الوقت: كانت الأدوات الرمزية أسرع بكثير. على الرغم من أن الذكاء الاصطناعي يعمل على شرائح حاسوبية قوية جدًا (GPUs)، إلا أن روبوتات الرياضيات على الشرائح العادية كانت أسرع في حل هذه الألغاز المنطقية المحددة.
- المال: استخدام الذكاء الاصطناعي كلف مالاً حقيقيًا (حوالي 40 دولارًا لسباق إشارات المرور). أما الأدوات الرمزية فكانت مجانية (بمجرد امتلاكك للبرنامج).
الخلاصة الكبرى
هل يمكن للنماذج اللغوية الكبيرة (LLMs) القيام بعملية التوليد؟
نعم، ولكن ليس كبديل (بعد).
فكر في الأمر كالتالي:
- الأدوات الرمزية تشبه نظام الملاحة GPS. إنها مملة، لكنها ستوصلك إلى وجهتك في 100% من المرات، ولن تقودك نحو الهاوية.
- النماذج اللغوية الكبيرة (LLMs) تشبه سائق تاكسي محلي. قد يعرف طريقًا مختصرًا رائعًا لا يعرفه نظام الـ GPS، وقد يوصلك بشكل أسرع أحيانًا. لكنه قد يضيع أيضًا، أو يدور في دوائر، أو يقودك إلى بحيرة.
الحكم النهائي:
الاستراتيجية الأفضل ليست الاختيار بين هذا أو ذاك. بل هي استخدام كليهما.
- دع الأداة الرمزية تقوم بالعمل الشاق والمهام القياسية المملة والحرجة.
- دع الذكاء الاصطناعي يحاول حل المشكلات الغريبة والإبداعية التي تحير روبوتات الرياضيات.
يخلص البحث إلى أنه على الرغم من أن الذكاء الاصطناعي أصبح جيدًا بشكل لا يصدق، إلا أنه لا يزال يفتقر إلى ضمان المثالية الذي نحتاجه للأنظمة الحرجة (مثل محطات الطاقة النووية أو السيارات ذاتية القيادة). في الوقت الحالي، لا تزال روبوتات الرياضيات "المملة" هي ملوك الساحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.