Ask, Then Think: Does Socratic Prompting Help LLMs on Code Tasks?
تقدم الورقة البحثية إطار عمل \textsc{MIND}, وهو إطار توجيه سقراطي للنماذج اللغوية الكبيرة، والذي على الرغم من أساسه النظري في التفكير البشري، إلا أنه يفشل في التفوق على النماذج المرجعية الراسخة مثل "سلسلة الأفكار" (Chain-of-Thought) في مهام البرمجة، وغالبًا ما يتراجع في الأداء بسبب عبء الاستدلال غير الضروري، مما يشير إلى أن آليات استدلال محددة ومعزولة فقط، وليس النقل الشامل لنظريات التفكير البشري، هي التي تحقق الفوائد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الحديث لهندسة البرمجيات، ظهر نوع جديد من الأدوات: النماذج اللغوية الكبيرة. هذه أنظمة حاسوبية مدربة على كميات هائلة من النصوص والبرمجيات، قادرة على توليد تعليمات للحواسيب، أو إصلاح البرامج المعطلة، أو شرح كيفية عمل قطعة من البرمجيات. لقد أصبحت مساعدين أقوياء، ومع ذلك فهي ليست معصومة من الخطأ. فعند مواجهتها بتعليمات غامضة، أو تفاصيل مفقودة، أو افتراضات خاطئة، غالبًا ما تنتج هذه الأنظمة أخطاءً. ولمساعدتها على التفكير بوضوح أكبر، طور الباحثون استراتيجيات متنوعة للتلقين (prompting strategies). وهذه هي طرق محددة لطلب من النموذج العمل على حل مشكلة ما، مثل تشجيعه على سرد خطواته قبل إعطاء الإجابة. والهدف هو نقل الآلة من مجرد التخمين إلى التفكير المنطقي في المهمة، تمامًا كما يفعل البشر.
وضع فريق من الباحثين من جامعات في إيطاليا وهولندا والدنمارك اختبارًا لفكرة محددة: هل يمكنهم جعل هذه الأنظمة الحاسوبية تفكر بشكل يشبه الفيلسوف البشري؟ لقد نظروا إلى المنهج السقراطي، وهو أسلوب تعليمي قديم حيث يطرح المعلم سلسلة من الأسئلة الاستقصائية لمساعدة الطالب على كشف العيوب الخفية في تفكيره. فبدلاً من مجرد قبول الفكرة الأولى للطالب، يقوم المعلم بتحدي الافتراضات، والإشارة إلى المعلومات المفقودة، وإجباره على صقل منطقه قبل الوصول إلى استنتاج. تساءل الباحثون عما إذا كان بإمكانهم ترجمة هذه العملية البشرية إلى مجموعة من التعليمات لنموذج حاسوبي. لقد أنشأوا إطار عمل جديدًا يسمى MIND، وهو اختصار لـ Maieutic INference and Discovery (الاستنتاج والاكتشاف التوليدي). صُمم هذا النظام لجعل الحاسوب يتوقف ويسأل نفسه أسئلة صعبة حول مهمة برمجية قبل أن يكتب سطرًا واحدًا من الكود. كان الهدف منه أن يعمل كناقد لنفسه، يتحقق من الغموض ويختبر خططه الخاصة.
وضع الفريق هذه الفكرة قيد الاختبار على نطاق واسع. فقد أجروا تجارب باستخدام اثني عشر نموذجًا حاسوبيًا مختلفًا بمقاسات وبنيات متنوعة، واختبرتهم في أربع مجموعات مختلفة من التحديات البرمجية. غطت هذه التحديات توليد كود جديد، وإصلاح كود معطل، وشرح كيفية عمل الكود، وكتابة كود فعال. وقارنوا منهجهم السقراطي الجديد بعدة طرق مستقرة لتلقين الحواسيب، بما في ذلك الطرق التي تطلب ببساطة من النموذج التفكير خطوة بخطوة أو تحسين إجاباته بعد رؤية مسودة. كانت النتائج مفاجئة وغير متوقعة إلى حد ما. لم يجعل النهج السقراوي الحواسيب أفضل في وظائفها؛ بل في الواقع، كان الأداء باستخدام الطريقة الجديدة أسوأ من الاستراتيجيات الأكثر مباشرة وبساطة. كانت النماذج التي تستخدم المنهج السراطي أقل دقة واستغرقت وقتًا أطول بكثير لإنتاج إجابة. وفي المتوسط، استغرقت الطريقة الجديدة قرابة خمسة أضعاف الوقت اللازم لتوليد حل مقارنة بنهج الخطوة بخطوة القياسي، ومع ذلك ارتكبت أخطاء أكثر.
تعمق الباحثون لفهم سبب حدوث ذلك. لقد قاموا بتفكيك العملية السقراطية إلى أجزائها الفردية، مع إزالة جزء واحد في كل مرة لمعرفة أي منها كان مفيدًا وأيها كان ضارًا. ووجدوا أن الأجزاء من العملية التي تطلب من الحاسوب التشكيك في الطلب أو التشكيك في خطته الأولية كانت في الواقع تضر بالأداء. فعندما يُجبر النموذج على سؤال نفسه: "هل هذا الطلب غامض؟" أو "ما هو الافتراض الذي أتبناه؟"، فإنه غالبًا ما يبتكر إجابات لتلك الأسئلة بناءً على تخمينات بدلاً من الحقائق. ولأن الحاسوب كان يلعب دور السائل والمجيب في آن واحد، لم يكن هناك أحد ليصحح له. كان يضع افتراضًا، ثم يقنع نفسه بصحته، ثم يمضي قدمًا في كتابة الكود بناءً على ذلك الخطأ. الجزء الوحيد من عملية التساؤل الذي بدا مفيدًا كان عندما يُطلب من النموذج استرجاع ما يعرفه بالفعل بيقين. ومع ذلك، فإن هذه الفائدة الصغيرة لم تكن كافية للتغلب على الضرر الناتج عن خطوات الشك الذاتي.
تشير الدراسة إلى أن المنهج السقراطي، الذي يعمل بشكل جيد مع البشر، لا ينتقل مباشرة إلى النماذج الحاسوبية عندما يُترك النموذج ليتحدث مع نفسه. بالنسبة للطالب البشري، يوفر المعلم المنظور الخارجي اللازم لكشف الأخطاء. أما بالنسبة للنموذج الحاسوبي، فلا يوجد معلم خارجي في التلقين؛ إنه مجرد النموذج يتحدث إلى نفسه. وجد الباحثون أن "النقد" الداخلي للنموذج غالبًا ما كان يقوده إلى المسار الخاطئ، مما يعزز أخطاءه بدلاً من تصحيحها. ظلت الاستراتيجية الأكثر فعالية هي الأبسط: وهي طلب التفكير في الخطوات بوضوح دون إجباره على استجواب منطقه قبل أن يمتلك حلاً لينتقده. وتخلص الدراسة إلى أنه بينما يمكن لنظريات التفكير البشري أن تلهم طرقًا جديدة للتحدث مع الحواسيب، فإن نسخ العملية البشرية بأكملة لا يضمن نتائج أفضل. فأحيانًا، تكون الطريقة الأكثر فعالية لمساعدة الحاسوب هي تركه يركز على المهمة التي بين يديه، بدلاً من جعله يشكك في وجوده.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.