← أحدث الأبحاث
🤖 AI

Reproducing and Stress-Testing Two Approaches to LLM Reasoning Reliability: Test-Time Probability Aggregation and Logic-Representation Editing

تعيد هذه الورقة البحثية، بشكل مستقل، إنتاج واختبار صرامة طريقتين حديثتين لتعزيز موثوقية استدلال النماذج اللغوية الكبيرة — وهما تجميع الاحتمالات في وقت الاختبار (RPC) وتحرير التمثيل المنطقي (LCF) — عبر نماذج ومجالات متعددة، لتجد أن طريقة (RPC) لا تقدم أي ميزة معنوية مقارنة بطريقة الاتساق الذاتي القياسية، وأن تأثيرات تحرير المنطق في طريقة (LCF) ضعيفة وغير متسقة وغالبًا ما تكون ضارة.

المؤلفون الأصليون: Minhan Cho, Jimin Kweon

نُشر 2026-08-11
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Minhan Cho, Jimin Kweon

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ذكي للغاية، ولكنه مغرور أحياناً، كيفية حل الألغاز. هذا الروبوت هو نموذج لغوي كبير (LLM)، وهو نوع من الذكاء الاصطناائي يقرأ ويكتب مثل البشر. المشكلة الكبيرة التي يحاول العلماء حلها الآن هي "الموثوقية". الأمر لا يتعلق فقط بما إذا كان الروبوت قد حصل على الإجابة الصحيحة، بل يتعلق بما إذا كان الروبوت يعرف أنه على صواب. أحياناً، سيشرح الروبوت إجابة خاطئة بكل ثقة وبقواعد لغوية مثالية، أو قد يتردد في حل مسألة سهلة. نحن نريد روبوتاً دقيقاً وواثقاً في ثقته أيضاً. ولإصلاح ذلك، حاول الباحثون استخدام حيلتين مختلفتين تماماً: إحداهما تتضمن مطالبة الروبوت بالتفكير في نفس المشكلة عدة مرات والتصويت على أفضل إجابة، بينما تتضمن الأخرى محاولة الوصول إلى داخل عقل الروبوت وتعديل الجزء الذي يتعامل مع المنطق في "عقله" فعلياً.

هذه الورقة البحثية تشبه مجموعة من المحققين المستقلين الذين قرروا اختبار أداتين جديدتين ومبهرتين صُممتا لجعل روبوتات الذكاء الاصطناعي هذه أكثر موثوقية. الأداة الأولى، تسمى RPC، وهي بمثابة "آلة تصويت" تحدث في نهاية العملية تماماً. الأداة الثانية، تسمى LCF، وهي بمثابة "جراح دماغ" يحاول تعديل الأفكار الداخلية للروبوت أثناء عمله. ادعى المبتكرون الأصليون لهذه الأدوات أنها مذهلة، لكن لم يقم أحد غيرهم ببنائها من الصفر ليرى ما إذا كانت تعمل حقاً. قرر مؤلفو هذه الورقة لعب دور المتشككين: فقد أعادوا بناء كلتا الأداتين، واختبرتاهما على أنواع جديدة من الألغاز (مثل القضايا القانونية والمسائل الرياضية)، وطرحا سؤالاً بسيطاً: "هل تعمل هذه الأدوات حقاً، أم أنها مجرد ضربة حظ؟"

تبدأ القصة بالأداة الأولى، RPC. تخيل أنك تطلب من طالب حل مسألة رياضية. إذا أخطأ، فقد يظل يكتب شرحاً مقنعاً للغاية. RPC تشبه مطالبة ذلك الطالب بحل المسألة 32 مرة، وكتابة كل محاولة من تلك المحاولات. ثم، بدلاً من مجرد اختيار الإجابة الأكثر تكراراً (تصويت أغلبية بسيط)، تنظر RPC إلى مدى ثقة الطالب في كل محاولة. إنها تجمع بين "الإجابة الأكثر شعبية" و"الإجابة الأكثر ثقة" لاختيار الفائز. وجد الباحثون أنه عندما أعادوا بناء هذه الأداة تماماً كما وصفها مؤلفوها الأصليون، فقد عملت بشكل مثالي في الاختبارات الرياضية الأصلية. ومع ذلك، عندما نقلوها إلى مناطق جديدة — مثل ترجمة النصوص إلى استعلامات قواعد بيانات أو تحليل الوثائق القانونية — لم تتفوق حقاً على طريقة "تصويت الأغلبية" البسيطة. لقد كانت مثل سيارة فاخرة تسير بشكل رائع في حلبة السباق ولكنها لا تذهب أسرع من سيارة عادية على الطريق السريع. في الواقع، في اختبار محدد يسمى BIRD، أظهرت الأداة تفوقاً طفيفاً فقط عندما سُمح للروبوت بالتفكير 32 مرة، ولكن عندما اختبرها الباحثون على مجموعة أكبر من المشكلات، تلاشى ذلك التفوق الضئيل تماماً. الخلاصة الرئيسية هنا هي أن RPC هي أداة آمنة وغير ضارة لا تجعل الأمور أسوأ أبداً، لكنها أيضاً لم تقدم الدفعة السحرية التي وعد بها مبتكروها في أنواع المهام الجديدة.

ثم تأتي الأداة الثانية، LCF، وهي أكثر طموحاً ومخاطرة. إذا كانت RPC هي آلة تصويت، فإن LCF هي جراح دماغ. الفكرة هي أنه داخل "عقل" الروبوت (طبقات الكود المخفية)، يوجد تياران منفصلان من المعلومات: أحدهما لـ المحتوى (الحقائق والكلمات) والآخر لـ المنطق (قواعد الاستنتاج). ادعت الورقة الأصلية أنه إذا تمكنت من العثية على تيار "المنطق" ودفعته نحو اتجاه "صحيح"، يمكنك إجبار الروبوت على التفكير بمنطق أكبر، بغض النظر عما يقوله. حاول الباحثون إعادة بناء هذا من الصفر لأن المؤلفين الأصليين لم يشاركوا الكود الخاص بهم. وجدوا أن تيار "المنطق" موجود بالفعل، لكنه ضعيف جداً — مثل محاولة سماع همس في غرفة صاخبة. وعندما حاولوا دفع هذا التيار لجعل الروبوت أكثر منطقية، جاءت النتيجة عكسية في معظم الأحيان. في ثلاثة من أصل أربعة نماذج روبوت مختلفة اختبروها، جعلت الأداة الروبوتات في الواقع أقل ثقة في إجاباتها الصحيحة وأكثر عرضة للوقوع في الخطأ. الحالة الوحية التي بدا فيها أنها تساعد هي في نموذج روبوت واحد محدد، ولكن حتى في تلك الحالة، كان التحسن صغيراً جداً لدرجة أنه قد يكون مجرد حظ عشوائي. حاول الباحثون أيضاً جعل "جراحة الدماغ" هذه تعمل على أي روبوت دون الحاجة إلى تدريب أداة خاصة أولاً، لكن ذلك فشل أيضاً. في النهاية، تبين أن أداة "جراح الدماغ" غير موثوقة؛ فهي غالباً ما تعطل الروبوتات التي كان من المفترض أن تصلحها، والحالة الوحيدة التي بدا فيها أنها نجحت، لم تكن الأدلة قوية بما يكفي لاعتبارها نجاحاً حقيقياً.

القرار النهائي من هذه الدراسة هو قصة ذات نتيجتين مختلفتين تماماً. "آلة التصويت" (RPC) هي أداة مملة ولكنها آمنة: فهي لا تكسر أي شيء، لكنها لا تقدم أيضاً ميزة كبيرة فوق الطرق البسيطة. أما "جراح الدماغ" (LCF)، من ناحية أخرى، فهو تجربة عالية المخاطر فشلت في الوفاء بوعودها. وجد الباحثون أنه بينما تبدو فكرة تعديل تيار المنطق في الروبوت فكرة رائعة من الناحية النظرية، إلا أنها في الممارسة العملية ضعيفة جداً ومتخصصة للغاية في نوع الروبوت الذي تستخدمه لتكون حلاً موثوقاً. ولأي شخص يتطلع لجعل الذكاء الاصطناعي أكثر موثوقية في الوقت الحالي، تقترح الدراسة أن التمسك بالطريقة الأكثر أماناً وبساطة المتمثلة في مطالبة الذكاء الاصطناعي بالتفكير عدة مرات والتصويت هو الرهان الأفضل، بينما تحتاج حيل التعديل الداخلي الفاخرة إلى الكثير من العمل قبل أن يمكن الوثوق بها.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.AI →