enhancing reasoning accuracy in large language models during inference time
تقيم هذه الورقة البحثية بشكل منهجي ثلاث استراتيجيات وقت الاستدلال لتعزيز دقة استنتاج النماذج اللغوية الكبيرة، لتجد أن الاتساق الذاتي مع فك التشفير العشوائي المنضبط يحقق أكبر المكاسب (تحسن بنسبة 9-15%) مع حد أدنى من الأعباء الإضافية، بينما يناسب الاتفاق الثنائي للنماذج السيناريوهات متوسطة المخاطر، في حين لا يقدم التأمل الذاتي سوى فوائد هامشية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك عبقرياً بارعاً ولكنه مشتت الذهن قليلاً يُدعى LLM. هذا العبقري يمكنه كتابة الشعر، وترجمة اللغات، وإلقاء النكات ببراعة تامة. ولكن عندما تطلب منه حل مسألة رياضية معقدة أو لغز منطقي صعب، فإنه قد يتوه أحياناً، أو يختلق حقائق، أو يأخذ مساراً خاطئاً ولا يدرك ذلك أبداً.
الورقة البحثية التي شاركتَها تشبه دليلاً لتوظيف "فريق مراقبة جودة" لهذا العبقري، ولكن مع لمسة مختلفة: نحن لن نعيد تدريب العبقري أو نغير دماغه، بل سنغير طريقة إجابته على الأسئلة في اللحظة الراهنة.
لقد اختبر الباحثون ثلاث "استراتيجيات توظيف" لجعل العبقري أكثر موثوقية. إليك كيف تعمل، مشروحة بتشبيهات من الحياة اليومية:
1. استراتيجية "حكمة الحشد" (الاتساق الذاتي - Self-Consistency)
الفكرة: بدلاً من طلب إجابة واحدة من العبقري، تطلب منه حل نفس السؤال ست مرات متتالية، ولكنك تطلب منه أن يكون "عشوائياً" أو "مبدعاً" قليلاً في كل مرة (باستخدام ما تسميه الورقة البحثية درجة الحرارة المتحكم بها وأخذ عينات النواة).
- التشبيه: تخيل أنك تحاول العثور على أفضل طريق للوصول إلى مطعم جديد.
- الطريقة القديمة (فك التشفير الجشع - Greedy Decoding): تسأل العبقري: "ما هو أسرع طريق؟" فيعطيك إجابة واحدة فوراً. إذا ارتكب خطأً صغيراً في فكرته الأولى، فأنت عالق بهذا المسار الخاطئ.
- الطريقة الجديدة (الاتساق الذاتي): تسأل العبقري: "أعطني ست أفكار مختلفة للوصول إلى هناك". ولأنك سمحت له بأن يكون مبدعاً قليلاً، فقد يقترح: "اسلك الطريق السريع"، "مر عبر الحديقة"، "اسلك الطرق الخلفية"، إلخ.
- السحر: حتى لو كانت ثلاث من هذه الأفكار خاطئة، فمن المرجح أن يظهر الطريق الصحيح في غالبية الاقتراحات. تنظر إلى الإجابات الست، وتجد أن أربعاً منها تقول "اسلك الطريق السريع"، فتذهب مع هذا الرأي.
- النتيجة: كان هذا هو الفائز الأكبر. لقد حسن الدقة بنسبة 9-15%. الأمر يشبه امتلاك لجنة من نسخ مختلفة قليلاً من نفس الشخص يصوتون على الإجابة. إنها طريقة رخيصة، سريعة، وتعمل بشكل رائع للمهام اليومية.
2. استراتيجية "الرأي الثاني" (الاستدلال بالنموذج المزدوج - Dual-Model Reasoning)
الفكرة: تقوم بتوظيف عبقريين مختلفين (نموذجين مختلفين من الذكاء الاصطناعي) لحل المشكلة بشكل مستقل. أنت لا تثق في الإجابة إلا إذا اتفق كلاهما.
- التشبيه: تخيل أنك طبيب يشخص مرضاً نادراً.
- الطريقة القديمة: تسأل طبيباً واحداً. قد يكون واثقاً من نفسه ولكنه مخطئ.
- الطريقة الجديدة: تسأل الطبيب (أ) والطبيب (ب). إذا قال كلاهما: "إنه الإنفلونزا بالتأكيد"، فستشعر بأمان شديد. ولكن إذا قال الطبيب (أ) "إنفلونزا" وقال الطبيب (ب) "التهاب رئوي"، فأنت تعلم أن هناك خطباً ما، فتتوقف وتستدعي خبيراً بشرياً للمراجعة.
- النتيجة: لم تجعل هذه الطريقة عدد الإجابات الصحيحة يرتفع بالضرورة، لكنها جعلت النظام أكثر أماناً. إنها تعمل كفلتر. إذا اختلف النموذجان، يقول النظام: "لا أعرف، دعونا لا نخمن". وهذا مثالي للمواقف عالية المخاطر (مثل الخدمات المصرفية أو الرعاية الصحية) حيث تكون التكلفة باهظة في حال وقوع خطأ.
3. استراتيجية "الفكرة الثانية" (التفكير الذاتي - Self-Reflection)
الفكرة: تطلب من العبقري حل المشكلة، ثم تطلب منه فوراً: "انتظر، هل ارتكبت أي أخطاء؟ راجع عملك وحاول مجدداً".
- التشبيه: تخيل أنك تكتب مقالاً.
- الطريقة القديمة: تكتب المقال وتسلمه.
- الطريقة الجديدة: تكتب المقال، ثم تقرؤه، وتدرك أنك نسيت فاصلة أو خلطت بين تاريخين، ثم تعيد كتابته قبل تسليمه.
- النتيجة: كانت هذه هي الطريقة الأقل فعالية بالنسبة لـ "العبقري الصغير" الذي اختبروه. لقد قدمت دفعة بسيطة فقط (حوالي 3%). الأمر يشبه أن تطلب من طالب متعب إعادة قراءة واجبه المنزلي؛ فغالباً ما يقوم بتعزيز أخطائه بدلاً من اكتشاف أخطاء جديدة. تشير الورقة البحثية إلى أن هذا يعمل جيداً فقط إذا كان "العبقري" ذكياً جداً في الأصل.
الخلاصة الكبرى
تخلص الورقة البحثية إلى أنك لست بحاجة لبناء ذكاء اصطناي جديد وأكثر ذكاءً للحصول على نتائج أفضل. أنت فقط بحاجة لتغيير طريقة طرح الأسئلة:
- للمهام اليومية (مثل خدمة العملاء أو المعلومات العامة): استخدم حكمة الحشد (اسأل نفس النموذج عدة مرات واختر الإجابة الأكثر شيوعاً). إنها أفضل قيمة مقابل مجهودك.
- للمهام الخطيرة (مثل النصائح الطبية أو العقود القانونية): استخدم الرأي الثاني (اجعل نموذجين يتحققان من بعضهما البعض). إذا لم يتفقا، فلا تثق في الإجابة.
- للنماذج الصغيرة: لا تتعب نفسك بطلب "التفكير مجدداً" (التفكير الذاتي)؛ فهذا لا يساعد كثيراً.
باختاً: يمكنك جعل الذكاء الاصطناعي الذكي أكثر موثوقية ليس عن طريق تعليمه أشياء جديدة، بل بجعله يراجع عمله أو يطلب رأياً ثانياً قبل أن يتحدث.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.