PPDL: LLM-Based Flows as Probabilistic Programs
تقدم هذه الورقة لغة البرمجة الاحتمالية PPDL، التي تمكن المطورين من قياس ونشر عدم اليقين عبر تدفقات التطبيقات القائمة على النماذج اللغوية الكبيرة (LLM) والتجربة مع تقنيات توسيع الاستدلال دون تعديل المنطق الجوهري، كما هو موضح من خلال وكيل إثبات النظريات لمثبت Rocq.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز صعب للغاية، ولكن بدلاً من القيام بذلك بمفردك، لديك صديق ذكي ومبدع يمكنه التحدث إليك. هذا الصديق هو ذكاء اصطناعي يُسمى "نموذج لغوي كبير" (LLM). إنه مذهل في كتابة القصص، وحل المسائل الرياضية، وحتى كتابة أكواد الكمبيوتر. ومع ذلك، فهو ليس مثاليًا؛ فأحيانًا قد يظهر ثقة مفرطة في الإجابة الخاطئة، أو قد يخترع حقائق تبدو حقيقية لكنها ليست كذلك. وهذا ما يسمى بـ "عدم اليقين".
تخيل الآن أنك بحاجة لحل مشكلة صعبة للغاية تتطلب خطوات عديدة. تطلب من صديقك الذكاء الاصطناعي وضع خطة، ثم تطلب منه كتابة كود بناءً على تلك الخطة، ثم تطلب منه فحص الكود، وهكذا. في كل مرة تسأل فيها سؤالاً، يعطيك الذكاء الاصطناعي إجابة، لكن هذه الإجابة قد تكون مهتزة قليلاً. إذا ربطت عشر إجابات مهتزة معاً، فقد تكون النتيجة النهائية فوضى عارمة. الأمر يشبه محاولة بناء برج من مكعبات "جينجا" (Jenga) حيث كل مكعب فيه اهتزاز طفيف؛ فكلما ارتفعت للأعلى، زاد احتمال انهيار البرج بالكامل. غالبًا ما يشعر المطورون والمستخدمون بالضياع هنا: "هل هذه الإجابة صحيحة؟ ما مدى تأكدنا؟ هل يجب أن أثق بها؟"
لإصلاح ذلك، حاول العلماء بعض الحيل. إحدى الأفكار الشائعة هي "توسيع الاستدلال" (Inference Scaling). فكر في هذا الأمر كأنك تطلب من صديقك الذكاء الاصطناعي تجربة نفس اللغز عشر مرات مختلفة ورؤية الإجابة التي تظهر أكثر من غيرها. الأمر يشبه سؤال مجموعة من الأصدقاء لتخمين إجابة لغز ما والاعتماد على رأي الأغلبية. لكن العيب هنا هو أن القيام بذلك يدوياً عملية فوضوية؛ إذ يتعين عليك كتابة أكواد برمجية خاصة لتشغيل تلك المحاولات العشر، وتتبع أي منها يبدو جيداً، ورمي الإجابات السيئة. إنه يشبه الاضطرار لبناء مصنع جديد في كل مرة تريد فيها خبز دفعة من الكعك فقط للتأكد من أن مذاقها صحيح. إنه أمر معقد، ومكلف، ويصعب تغييره إذا أردت تجربة طريقة أخرى للخبز.
الفكرة الكبرى للورقة البحثية: "بطاقة التقييم السحرية"
تقدم هذه الورقة أداة جديدة تسمى PPDL (لغة إعلان المطالبات الاحتمالية). يمكنك التفكير في PPDL كأنها "بطاقة تقييم سحرية" لسير عمل الذكاء الاصطناعي. فبدلاً من مجرد طرح سؤال على الذكاء الاصطناعي والحصول على إجابة واحدة، تتيح لك PPDL كتابة برنامج يفهم بطبيعته أن الذكاء الاصطناعي قد يكون غير متأكد.
إليك كيف يعمل الأمر بلغة بسيطة:
- التدفق: تكتب تعليماتك للذكاء الاصطناعي كما تفعل عادةً (مثل: "خطط للكود"، ثم "اكتب الكود"، ثم "افحص الكود").
- العامل السحري: تضيف تعليمات خاصة تسمى الـ
factor(العامل). هذا يشبه بطاقة تقييم تخبر فيها الذكاء الاصطناعي: "مهلاً، إذا كانت الخطة تبدو منطقية، أعطها درجة عالية. وإذا كان الكود يحتوي على أخطاء، أعطه درجة منخفضة". - النتيجة: عندما تشغل البرنامج، لا يعطيك الكمبيوتر إجابة واحدة فقط. بل يقوم بتشغيل العملية بأكملها عدة مرات بالتوازي (مثل وجود مائة نسخة مختلفة منك تحاول حل اللغز في آن واحد). يستخدم الكمبيوتر "بطاقة التقييم" الخاصة بك لوزن النتائج. إذا بدا مسار ما واعداً للغاية، يركز الكمبيوتر المزيد من الطاقة على ذلك المسار. وإذا بدا المسار سيئاً، فإنه يتجاهله.
الجزء الأروع هو أنك لست مضطراً لكتابة كود "تشغيل الأمر عشر مرات" المعقد بنفسك؛ فـ PPDL تتولى كل هذا العمل الشاق في الخلفية. أنت فقط تكتب المنطق، والنظام يكتشف تلقائياً أفضل طريقة لاستكشاف جميع الاحتمالات.
ما وجدوه
اختبر المؤلفون هذه الفكرة في عدة تحديات، بدءاً من حل مسائل الرياضيات في الصفوف الدراسية وصولاً إلى كتابة أكواد كمبيوتر معقدة وحتى إثبات النظريات الرياضية.
- دقة أفضل: في اختباراتهم، جعل استخدام PPDL مع هذه "البطاقات" الذكاء الاصطناعي أكثر دقة بشكل ملحوظ. على سبيل المثال، في اختبار رياضيات يسمى GSM8k، حصل الذكاء الاصطناعي القياسي على حوالي 83.8% من الإجابات الصحيحة. ولكن عندما استخدموا PPDL مع طريقة تسمى "أخذ العينات بالأهمية" (Importance Sampling) - وهي طريقة ذكية لاختيار أفضل التخمينات - قفزت الدقة إلى 93.7%.
- الطريقة "الذكية" هي الفائزة: قارنوا بين طرق مختلفة لاستخدام بطاقات التقييم. أحياناً، كان مجرد أخذ "تصويت الأغلبية" (الإجابة الأكثر شيوعاً) يعمل بشكل جيد. ولكن في كثير من الأحيان، كانت الطرق الأذكى (مثل أخذ العينات بالأهمية و "مونت كارلو المتسلسلة") أفضل بكثير. هذه الطرق تشبه وجود محقق لا يكتفي فقط بعدّ الأصوات، بل يحقق فعلياً في سبب كون الإجابة جيدة أو سيئة، فيستبعد المسارات السيئة مبكراً ويركز على المسارات الجيدة.
- دراسة حالة مثبت النظريات: لاختبار النظام لأقصى حد، قاموا ببناء وكيل ذكاء اصطناعي لإثبات النظريات الرياضية باستخدام أداة تسمى Rocq. هذه مهمة صعبة للغاية حيث يتعين على الذكاء الاصطناعي كتابة برهان، والتحقق مما إذا كان خاطئاً، وإصلاحه مراراً وتكراراً. وجدوا أن الطريقة "الذكية" (مونت كارلو المتسلسلة) كانت أفضل بكثير في إيجاد البرهان الصحيح من مجرد تجربة تخمينات عشوائية مراراً وتكراراً. لقد استطاعت استكشاف مسارات عديدة في وقت واحد والتخلي بسرعة عن المسارات التي لا تؤدي إلى نتيجة.
ما لم يدّعوه
كان المؤلفون حذرين في عدم القول بأن هذا "حل سحري" لكل شيء. فقد أشاروا إلى أن "بطاقات التقييم" (العوامل) تكون جيدة فقط بقدر المعلومات التي تضعها فيها؛ فإذا كانت بطاقة التقييم الخاصة بك سيئة، فلن يقوم النظام بإصلاحها سحرياً. وأيضاً، بينما تجعل هذه الطريقة الذكاء الاصطناعي أكثر موثوقية، فهذا لا يعني أن الذكاء الاصطناعي أصبح مثالياً فجأة، بل يعني أن لدينا طريقة أفضل بك much لتقدير مدى تأكدنا من الإجابة.
لماذا هذا مهم؟
تشير هذه الورقة البحثية إلى أنه من خلال معاملة سير عمل الذكاء الاصطناعي كـ "برامج احتمالية" (برامج تفهم عدم اليقين)، يمكننا جعل تطبيقات الذكاء الاصطناعي أكثر موثوقية دون جعل بنائها معقداً للغاية. الأمر يشبه منح المطورين مجموعة جديدة من الأدوات التي تتعامل تلقائياً مع العمل الفوضوي لـ "المحاولة مرة أخرى وتكرار الأمر"، حتى يتمكنوا من التركيز على بناء أشياء رائعة بينما يتولى الكمبيوتر أفضل طريقة للحصول على الإجابة الصحيحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.