Distilling Reasoning Without Knowledge: A Framework for Reliable LLMs
تقترح هذه الورقة إطار عمل معياري يعمل على تقطير قدرات التخطيط الصريح في نموذج طالب خفيف الوزن دون الوصول إلى المعرفة الواقعية، مما يؤدي إلى تحسين دقة وكفاءة النماذج اللغوية الكبيرة الباحثة عن الحقائق من خلال فصل خطوات الاستدلال عن الاسترجاع والتركيب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً عبقرياً ولكنه مغرور قليلاً يدعى أليكس. أليكس بارع في كتابة المقالات وحل الألغاز المنطقية، لكن لديه عيب قاتل: هو يعتقد أنه يعرف كل شيء.
إذا سألت أليكس: "من هو الرئيس التنفيي لشركة X Corp حالياً؟" ولم يكن يعرف الإجابة فعلياً، فلن يقول: "لا أعرف". بدلاً من ذلك، سيخترع اسماً بثقة، مثل "بوب سميث"، لأنه يريد أن يعطيك إجابة كاملة. هذا ما يسميه باحثو الذكاء الاصطناي "الهلوسة" (Hallucination).
تقدم الورقة البحثية التي شاركتها طريقة جديدة لتدريب الذكاء الاصطناعي على التوقف عن اختلاق الأمور. وقد أطلقوا عليها اسم "تقطير الاستدلال بدون معرفة" (Distilling Reasoning Without Knowledge).
إليك كيف يعمل ذلك، مشروحاً من خلال تشبيه بسيط.
المشكلة: الطالب "الذي يعرف كل شيء"
معظم نماذج الذكاء الاصطناعي اليوم تشبه أليكس؛ فهي تحاول القيام بثلاثة أشياء في آن واحد:
- التفكير في المشكلة.
- تذكر الحقائق من بيانات تدريبها.
- الإجابة على السؤال.
وعندما لا تكون الإجابة موجودة في ذاكرتها، تصاب بالذعر وتبدأ بالتخمين. وحتى لو قلت لها: "اذهبي وابحثي عنها في جوجل"، فإنها غالباً ما ترتبك بشأن ما الذي يجب أن تبحث عنه، أو تخلط بين تخميناتها الخاصة ونتائج البحث.
الحل: "مدير المشروع" و"فريق البحث"
يقترح المؤلفون تقسيم الذكاء الاصطناعي إلى دورين متميزين، مثل موقع بناء:
- المخطط الطالب (مدير المشروع): هذا ذكاء اصطناعي صغير، سريع، ومنخفض التكلفة. وظيفته الوحيدة هي تحديد ما الذي يجب القيام به. هو لا يعرف أي حقائق. هو لا يعرف حتى من هو الرئيس التنفيذي لشركة X Corp. هو فقط يعرف كيف يطرح الأسئلة الصحيحة.
- الأدوات (فريق البحث): هذه أدوات خارجية مثل بحث جوجل، والآلات الحاسبة، وقواعد البيانات. وهي التي تقوم بالعمل الفعلي لجلب الحقائق.
الخدعة السحرية: كيف يدربون "الطالب"؟
عادةً، عندما تعلم طالباً، تعطيه نموذج الإجابة. "الإجابة هي إيلون ماسك".
هذه الورقة تفعل العكس تماماً.
إنهم يستخدمون نموذج ذكاء اصطناعي "معلم" فائق الذكاء لإنشاء مجموعة بيانات تدريبية، لكنهم يحذفون الإجابات.
- المعلم: "إليك السؤال: 'من هو الرئيس التنفيذي لشركة X Corp؟'"
- مخرجات المعلم (الخطة):
- الخطوة 1: ابحث في جوجل عن "الرئيس التنفيذي الحالي لشركة X Corp".
- الخطوة 2: تحقق مما إذا كانت النتيجة تطابق "إيلون ماسك".
- الخطوة 3: إذا كانت الإجابة نعم، احسب مدة بقائه في المنصب.
- الخطوة 4: إذا كانت الإجابة لا، قل "لا أعرف".
- تفصيل حاسم: المعلم لا يخبر الطالب أبداً من هو الرئيس التنفيذي في الواقع. هو فقط يعلمه كيف يطرح السؤال.
بعد ذلك، يتم تدريب الذكاء الاصطناعي "الطالب" على نسخ أسلوب التخطيط هذا. إنه يتعلم كيفية تقسيم سؤال كبير إلى خطوات صغيرة قابلة للبحث، لكن يُمنع عليه منعاً باتاً حفظ الإجابات.
سير العمل: كيف يعمل في الواقع؟
عندما تطرح سؤالاً على النظام الجديد، إليك "الرقصة" التي يؤديها (انظر الشكل 1 في الورقة):
- الخطة: ينظر "المخطط الطالب" إلى سؤالك ويكتب قائمة مهام بصيغة JSON. يقول: "أحتاج للبحث عن (س)، ثم حساب (ص)". هو لا يعرف الإجابة بعد.
- البحث: يأخذ النظام تلك القائمة ويجري عمليات البحث على جوجل (باستخدام أداة تسمى SerpAPI).
- الاستخراج: تقوم وحدة منفصلة بقراءة نتائج جوجل غير المنظمة واستخراج الحقائق الصافية (مثلاً: "إيلون ماسك هو الرئيس التنفيذي").
- التجميع: تأخذ وحدة نهائية الخطة والحقائق وتكتب الإجابة.
إذا عادت عملية البحث فارغة، يقول النظام: "لم أتمكن من العثور على الإجابة"، بدلاً من اختلاق واحدة.
لماذا يعد هذا أفضل؟
اختبر المؤلفون هذا على SEAL-0، وهو معيار اختبار "كابوسي" صُمم لكسر قدرات الذكاء الاصطناعي. هذه الأسئلة معقدة للغاية لدرجة أن أذكى نماذج الذكاء الاصطناعي عادة ما تحصل على 0% صح لأنها تهلوس أو تعلق في حلقات مفرغة.
- الطريقة القديمة (الذكاء الاصطناعي الموحد): يحاول التفكير وتذكر كل شيء في وقت واحد. يرتبك، يخمن، ويفشل. (الدقة: ~1.8%)
- الذكاء الاصطناعي الموجه بالأوامر (طلب من ذكاء اصطناعي عادي أن "يفكر خطوة بخطوة"): أفضل، لكنه لا يزال يرتبك بشأن ما يجب البحث عنه. (الدقة: ~6.3%)
- الإطار الجديد (المخطط المتخصص): بما أن المخطط تم تدريبه فقط على كيفية طرح الأسئلة، وليس على الحقائق، فإنه يتميز بكفاءة عالية. هو يعرف بالضبط ما الذي يجب أن يبحث عنه ولا يضيع الوقت في التخمين.
- النتيجة: قفزت الدقة إلى 10.8% (وهو فوز هائل في اختبار شبه مستحيل) وكان أسرع بـ 3 مرات من غيره.
الخلاصة
فكر في هذا الإطار كأنك تعلم الذكاء الاصطناعي أن يكون أميناً مكتبة رائعاً بدلاً من أن يكون موسوعة عظيمة.
- الموسوعة تحاول الاحتفاظ بكل الإجابات في رأسها. وإذا نسيت، فإنها تكذب.
- أمين المكتبة يعرف بالضبط أي الكتب يسحب من الرف ليجد الحقيقة. وإذا لم يكن الكتاب موجوداً، فإن أمين المكتبة يعترف بأنه لا يعرف.
من خلال فصل "التفكير" (التخطيط) عن "المعرفة" (الاسترجاع)، نجح المؤلفون في إنشاء ذكاء اصطناعي أكثر موثوقية، وأسرع، وأقل عرضة للكذب عليك. لقد أثبتوا أنه لكي يكون الذكاء الاصطناعي جديراً بالثقة حقاً، فإنه يحتاج لتعلم كيف يبحث عن الإجابات، وليس مجرد حفظها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.