💬 NLP

Probabilistic Programs of Thought

تقدم هذه الورقة البحثية "البرامج الاحتمالية للفكر"، وهو إطار عمل في وقت الاختبار يستفيد من احتمالات الرمز التالي (next-token probabilities) من توليد نموذج لغوي كبير واحد لبناء برامج احتمالية مدمجة تمثل عددًا هائلاً من النتائج الحتمية، مما يتيح أخذ عينات فعالة لحلول متنوعة لمهام البرمجة والاستدلال دون الحاجة إلى قدرات حوسبة إضافية من وحدة معالجة الرسومات.

المؤلفون الأصليون: Poorva Garg, Renato Lui Geh, Daniel Israel, Todd Millstein, Kyle Richardson, Guy Van den Broeck

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Poorva Garg, Renato Lui Geh, Daniel Israel, Todd Millstein, Kyle Richardson, Guy Van den Broeck

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل مسألة رياضية صعبة أو كتابة كود برمجي، فطلبت المساعدة من مساعد ذكاء اصطناعي فائق الذكاء (نموذج لغوي كبير، أو LLM).

الطريقة القديمة: "التخمين والتحقق" كاليانصيب
عادةً، عندما يتعثر الذكاء الاصطناعي أو يرتكب خطأً صغيراً، فإن النهج القياسي هو سؤاله نفس السؤال مراراً وتكراراً، على أمل أن يحالفه الحظ في تقديم إجابة مختلفة وصحيحة.

التشبيه: تخيل أنك تحاول فتح خزنة برقم سري. الذكأ الاصطناعي هو روبوت يقوم بتدوير قرص الأرقام. إذا حصل على رقم خاطئ، تقول له: "حاول مرة أخرى!" فيقوم بتدوير القرص مجدداً. إذا كان خاطئاً أيضاً، تسأله مرة أخرى.
المشكلة: في كل مرة تطلب من الروبوت تدوير القرص، يتعين عليه أن يستيقظ، ويفكر بعمق، ويستهلك كمية هائلة من الكهرباء (قدرة معالجة الـ GPU). إذا احتجت لسؤاله 20 مرة للحصول على الكود الصحيح، فستكون قد استهلكت الكثير من الطاقة والوقت. إنها عملية مكلفة وبطيئة.

الطريقة الجديدة: البرامج الاحتمالية للفكر (PPoT)
تقدم هذه الورقة البحثية خدعة ذكية تسمى البرامج الاحتمالية للفكر (PPoT). بدلاً من طلب تدوير القرص 20 مرة من الروبوت، تتيح لك PPoT الحصول على 20 سيناريو مختلف لـ "ماذا لو" من خلال تدويرة واحدة فقط.

إليك كيف يعمل ذلك، باستخدام استعارة بسيطة:

1. لقطة "الكرة البلورية"

عندما يقوم الذكاء الاصطناعي بإنشاء كود برمجي، فإنه لا يختار رقماً واحداً أو كلمة واحدة بشكل عشوائي فحسب. في الواقع، هو ينظر خلف الكواليس إلى قائمة كاملة من الاحتمالات.

التشبيه: تخيل أن الذكاء الاصطناعي هو طاهٍ يكتب وصفة طعام. عندما يكتب "أضف 2 كوب من الدقيق"، فهو ليس متأكداً بنسبة 100% أنه يجب أن يضع 2. ربما يعتقد أن هناك احتمال 60% أن يكون 2، و30% أن يكون 3، و10% أن يكون 1.
الخطأ القديم: الطريقة القديمة تتجاهل هذه الخيارات الأخرى. فهي تأخذ الرقم "2" فقط، وتطهو الطبق، وتتذوقه، وإذا كان سيئاً، ترمي الوصفة وتبدأ جلسة طهي جديدة بالكامل من الصفر.
سحر PPoT: تقول PPoT: "انتظر! لا ترمِ هذه الوصفة!" بدلاً من ذلك، تأخذ تلك الوصفة وتحول الأجزاء غير المؤكدة (مثل الرقم "2") إلى نرد سحري.

2. تحويل الكود إلى "اختر مغامرتك الخاصة"

يأخذ الباحثون الكود الذي كتبه الذكاء الاصطناعي ويستبدلون الأرقام أو الرموز المحددة بـ "متغيرات عشوائية" (مثل النرد المذكور أعلاه).

التشبيه: تأخذ الوصفة وتكتب: "أضف X كوب من الدقيق"، حيث X هو نرد يمكنه أن يظهر 1 أو 2 أو 3 بناءً على ثقة الطاهي الأصلية.
الآن، بدلاً من وصفة واحدة محددة، أصبح لديك برنامج احتمالي. هذا البرنامج الواحد يمثل آلاف الوصفات المحتملة في آن واحد.

3. "إعادة التشغيل الفوري"

الآن يأتي الجزء الأفضل. لست بحاجة لاستدعاء الطاهي (الذكاء الاصطناعي) مرة أخرى. ما عليك سوى رمي النرد على جهاز الكمبيوتر الخاص بك (وهذا سريع وغير مكلف للغاية).

الرمية 1: يظهر النرد الرقم 2. تحصل على الوصفة الأصلية.
الرمية 2: يظهر النرد الرقم 3. تحصل على وصفة جديدة تحتوي على 3 أكواب من الدقيق.
الرمية 3: يظهر النرد الرقم 1. تحصل على وصفة تحتوي على كوب واحد.

يمكنك القيام بذلك مئات المرات في الوقت الذي يستغرقه الذكاء الاصطناعي لإنتاج إجابة واحدة فقط. أنت تستكشف "الجوار" لتخمين الذكاء الاصطنا الأول دون دفع فاتورة الكهرباء الباهظة لطلب التفكير مرة أخرى.

لماذا يعد هذا أمراً مهماً؟

أرخص: أنت توفر كميات هائلة من قدرة الكمبيوتر (والمال) لأنك تطلب من الذكاء الاصطناعي التفكير مرة واحدة فقط.
أذكى: إنه يصلح الأخطاء الصغيرة والسخيفة. إذا كتب الذكاء الاصطناعي 200 بينما كان يقصد 20 ، فإن البرنامج الاحتمالي يعرف أن 20 كانت احتمالاً قائماً. يمكنه "رمي النرد" وإنتاج النسخة الصحيحة فوراً دون الحاجة لطلب المساعدة من الذكاء الاصطناعي مجدداً.
أسرع: تحصل على إجابات صحيحة أكثر في وقت أقل.

مثال من الواقع من الورقة البحثية

اختبرت الورقة البحثية هذا الأسلوب في المسائل الرياضية وتوليد الكود.

السيناريو: كتب الذكاء الاصطناعي برنامجاً لحساب درجة طالب، ولكنه استخدم رقماً خاطئاً عن طريق الخطأ.
الطريقة القديمة: اسأل الذكاء الاصطناعي 10 مرات لترى ما إذا كان سيحصل على النتيجة الصحيحة. (مكلف!)
طريقة PPoT: خذ البرنامج الخاطئ، وحوّل الرقم الخاطئ إلى "رمية نرد"، وقم بإنشاء 10 تنويعات فوراً. أحد هذه التنويعات من المرجح أن يكون هو الرقم الصحيح، وقد وجدت ذلك دون الحاجة لطلب المساعدة من الذكاء الاصطناعي مرة أخرى.

باختاً: PPoT يشبه أخذ لقطة واحدة لعملية التفكير لدى الذكاء الاصطناعي واستخدامها لإنشاء معرض كامل من تنويعات "ماذا لو" فوراً، مما يوفر لك الوقت والمال والطاقة مع الحصول على نتائج أفضل.

إليك ملخص تقني مفصل لورقة "البرامج الاحتمالية للفكر" (Probabilistic Programs of Thought - PPoT).

1. بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في توليد الأكواد، والاستدلال الرياضي، ومهام المخرجات المهيكلة. النهج القياسي لتحسين الأداء في هذه المجالات يتضمن استراتيجيات فك التشفير أثناء وقت الاختبار (test-time decoding) مثل أفضل من n (Best-of-n) أو البحث الشعاعي (beam search)، حيث يقوم النموذج بتوليد $n$ من البرامج المتميزة، ثم تنفيذها، واختيار الأفضل بناءً على مُتحقق (verifier).

القصور الجوهري:
يتطلب توليد $n$ من العينات المستقلة إجراء $n$ من عمليات التمرير الأمامي (forward passes) عبر النموذج اللغوي الكبير، وهو أمر مكلف للغاية من حيث استهلاك وحدة معالجة الرسومات (GPU). ومع زيادة أحجام النماذج وعدد العينات المطلوبة ( $n$ )، تصبح هذه العملية باهظة التكاليف من حيث وقت الحوسبة والتكلفة. وتتجاهل الطرق الحالية التوزيع الاحتمالي الغني (logits للرمز التالي) الذي يتم توليده أثناء عملية أخذ العينات الأولية، حيث تتعامل مع المخرج كنص حتمي واحد بدلاً من كونه توزيعاً لمجموعة من النصوص المحتملة.

2. المنهجية: البرامج الاحتمالية للفكر (PPoT)

يقترح المؤلفون PPoT، وهو إطار عمل جديد لوقت الاختبار يعامل البرنامج الذي ولّده النموذج اللغيدي ليس كنص ثابت، بل كـ برنامج احتمالي. يتيح ذلك توليد عدد هائل من العينات الجديدة من استدعاء واحد للنموذج اللغيدي باستخدام استدلال احتمالي رخيص يعتمد على وحدة المعالجة المركزية (CPU).

المفهوم الجوهري

النموذج اللغيدي كبرنامج احتمالي: يصيغ المؤلفون عملية توليد النموذج اللغيدي كبرنامج احتمالي حيث يكون كل رمز $X_i$ متغيراً عشوائياً فئوياً (categorical random variable) يتم ضبط معلماته بواسطة احتمالات الرمز التالي للنموذج $P_M(\cdot | X_{<i}, t)$ .
التجميع (Compilation): بالنظر إلى برنامج حتمي ولّده النموذج اللغيدي، يقوم النظام بتحديد رموز معينة "عالية الإنتروبيا" أو حرجة (مثل الأرقام، أو العمليات الحسابية، أو رموز المقارنة) وتحويلها إلى متغيرات عشوائية ( $X_i$ $X_{i}$ ).
- يتم ضبط توزيع هذه المتغيرات وفقاً لاحتمالات الرمز التالي الأصلية المقدمة من النموذج اللغيدي.
- تظل الرموز التي لم يتم اختيارها للتحويل كثوابت ثابتة.
الاستدلال الاحتمالي: الهيكل الناتج هو برنامج احتمالي يمثل بشكل مدمج توزيعاً عبر عدد هائل من البرامج الحتمية.
إعادة أخذ العينات (Resampling): بدلاً من استدعاء النموذج اللغيدي مرة أخرى، يقوم النظام بإجراء استدلال احتمالي (أخذ عينات) على هذا البرنامج المجمّع. يؤدي هذا إلى توليد تنويعات جديدة وصحيحة من البرامج عن طريق إعادة أخذ عينات من المتغيرات العشوائية مع الحفاظ على بقية الهيكل كما هو.

سير العمل الخوارزمي (الخوارزمية 2)

التوليد (Generate): يولد النموذج اللغيدي برنامجاً أولياً واحداً ( $k=1$ ) ويعيد تسلسل الرموز مع توزيعات احتمالية الرمز التالي.
التحليل والتجميع (Analyze & Compile): تقوم خطوة token_analysis باختيار مجموعة فرعية من مؤشرات الرموز $L$ (مثل الأرقام والعمليات) لمعاملتها كمتغيرات عشوائية. ثم تقوم خطوة compile ببناء برنامج احتمالي حيث تُعامل هذه الرموز كمتغيرات عشوائية ذات توزيعات مستمدة من الـ logits الخاصة بالنموذج اللغيدي.
أخذ العينات (Sample): يقوم النظام بأخذ عينات من $m$ من البرامج الجديدة من هذا البرنامج الاحتمالي.
التنفيذ والتحقق (Execute & Verify): يتم تنفيذ جميع البرامج الـ $m$ الجديدة والتحقق منها.
النتيجة: مقابل تكلفة توليد واحد للنموذج اللغيدي، يحصل النظام على $1 + m$ من الحلول المرشحة.

السلامة النظرية

تعالج الورقة حقيقة أن إعادة أخذ عينة لرمز في تسلسل تلقائي (autoregressive) تتطلب تقنياً إعادة أخذ عينات لجميع الرموز اللاحقة للحفاظ على التوزيع المشترك الحقيقي $P_{code}$ .

الافتراض 1 (الاستقلال): يفترض المؤلفون أن الرموز التي تلي الرمز المعاد أخذ عينته $X_j$ هي مستقلة عن $X_j$ بشرط معرفة الرموز السابقة.
النظرية 1: تحت افتراض الاستقلال هذا، يتقارب التوزيع التجريبي للعينات المولدة بواسطة PPoT بشكل شبه مؤكد مع توزيع النموذج اللغيدي الحقيقي $P_{code}$ . ويجادل المؤلفون بأن هذا الافتراض قوي بما يكفي لمهام توليد الأكواد العملية حيث تؤدي التغييرات المحلية في الرموز (مثل تغيير + إلى -) إلى تغيير جذري في نتائج التنفيذ.

3. المساهمات الرئيسية

تقنية فك تشفير مبتكرة: تقديم PPoT، الذي يستفيد من منظور البرمجة الاحتمالية لإجراء استدلال فعال في وقت الاختبار على الأكواد المولدة من النموذج اللغيدي.
السلامة التوزيعية: إثبات رياضي أن PPoT، تحت افتراضات استقلال محددة، يقارب توزيع النموذج اللغيدي الأساسي دون الحاجة إلى حسابات إضافية لوحدة معالجة الرسومات (GPU).
الكفاءة: يوضح أن PPoT يمكنه توليد مئات العينات بتكلفة ضئيلة على وحدة المعالجة المركزية (CPU)، متجنباً اختناق وحدة معالجة الرسومات الموجود في طرق أفضل من n القياسية.
التحقق التجريبي: تقييم واسع النطاق عبر ثلاثة معايير متنوعة أظهر مكاسب مستمرة في الأداء.

4. النتائج التجريبية

قام المؤلفون بتقييم PPoT على نماذج Qwen2.5 (بأحجام 0.5B، 3B، 7B) عبر ثلاثة معايير:

GSM8k (الاستدلال الرياضي):
- النتيجة: مع $m=5$ من عينات PPoT لكل توليد للنموذج اللغيدي، تحسنت الدقة بنسبة 2–7% عبر جميع أحجام النماذج.
- الكفاءة: حقق PPoT دقة 20 عينة من النموذج اللغيدي باستخدام 8 عينات فقط من النموذج اللغيدي (أي تقليل بنسبة 60% في استدعاءات GPU).
Plot2Code (توليد الكود من الصور):
- النتيجة: حسن متوسط درجات مطابقة النص بنسبة 0.5–6%.
- الجانب النوعي: نجح PPoT في تصحيح أخطاء وقت التشغيل في الأكواد المولدة من النموذج اللغيدي (مثل إصلاح عدم تطابق أبعاد المتجهات) عن طريق إعادة أخذ عينات من رموز محددة.
CRUXEval (المخرجات المهيكلة/فهم الكود):
- النتيجة: حسن الدقة بنسبة 3–7%.
- الطريقة: استخدم أخذ عينات المجموعات الفرعية لإعادة أخذ عينات الرموز في المخرجات المهيكلة (مثل القوائم، السلاسل النصية) للعثور على مدخلات صالحة تلبي مخرجات الدالة.

التكلفة الحسابية:

تتم عمليات التجميع وأخذ العينات في PPoT على وحدة المعالجة المركزية (CPU).
يظهر تحليل وقت التشغيل أن الوقت المستغرق لـ $m=20$ من عينات PPoT يكاد لا يختلف عن $m=0$ (أخذ عينات النموذج اللغيدي القياسي)، مما يؤكد أن مكاسب الدقة تأتي بتكلفة حسابية شبه معدومة.

5. الأهمية والتوجهات المستقبلية

تحول في النموذج الفكري: ينقل PPoT النموذج من "توليد المزيد من العينات عبر القوة الغاشمة" إلى "استخراج المزيد من القيمة من عينة واحدة عبر الاستدلال الاحتمالي".
القابلية للتوسع: مع نمو النماذج اللغيدية وزيادة تكاليف الاستدلال، يوفر PPoT طريقة قابلة للتوسع لتحسين الموثوقية دون زيادة خطية في تكاليف GPU.
القدرة على التعميم: رغم تجربة الإطار على الأكواد، إلا أنه ينطبق على أي مخرجات مهيكلة يوجد لها مُتحقق (مثل توليد JSON، أو الاستدلال المنطقي).
العمل المستقبلي: يقترح المؤلفون توسيع نطاق المتغيرات العشوائية لتشمل ما وراء الرموز البسيطة لتشمل التعبيرات الفرعية وهياكل التحكم، واستخدام هذه البرامج الاحتمالية لحساب التوقعات أو الشرط على قيود معقدة.

باخت-صار، توفر البرامج الاحتمالية للفكر طريقة مؤسسة رياضياً وفعالة حسابياً لـ "تقطير" عدم اليقين المتأصل في مخرجات النماذج اللغيدية، مما يسمح باستكشاف مساحة واسعة من الحلول بأقل قدر من الموارد الحسابية الإضافية.