SymDiag: Explainable Diagnosis for LLM Reasoning via Neuro-Symbolic Verification
يُعدّ SymDiag إطار عمل عصبي-رمزي يعيد صياغة التحقق من استدلال النماذج اللغوية الكبيرة كعملية تشخيص هيكلي للأخطاء، وذلك عبر ترجمة سلاسل الأفكا إلى قيود رمزية لتحديد الخطوات غير المخلصة وتوليد أدلة قابلة للتحقق، مع توظيف "مدقق ذاتي" للتمييز بين عيوب الاستدلال الحقيقية وضجيج الترجمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد طالباً نابغاً يؤدي اختباراً في الرياضيات. يكتب سلسلة طويلة ومعقدة من الخطوات، وفي النهاية تماماً، يضع دائرة حول الإجابة الصحيحة. بالنسبة لمراقب عابر، يبدو الطالب عبقرياً. لكن إذا نظرت عن كثب، قد تلاحظ أنه قام بتخمين عشوائي في الخطوة الثالثة، ونسي قاعدة في الخطوة الخامسة، ولم يحصل على الإجابة الصحيحة إلا لأن خطأين قد ألغيا بعضهما البعض بالصدفة. هذا هو الخطر الخفي لنماذج "التفكير" الحديثة التي تسمى النماذج اللغوية الكبيرة (LLMs). هذه الأنظمة من الذكاء الاصطاني بارعة في الظهور بمظهر الذكي وحل المشكلات، ولكن أحياناً يكون "عملية التفكير" الداخلية مليئة بالثغرات، حتى عندما تبدو النتيجة النهائية مثالية.
لفترة طويلة، حاولنا التحقق مما إذا كان هذا الذكاء الاصطناعي يفكر بشكل صحيح عبر الاكتفاء بالنظر إلى الإجابة النهائية (مثل معلم يصحح اختباراً) أو عبر الطلب من ذكاء اصطناعي آخر قراءة العمل وإعطاء إشارة "موافقة" أو "عدم موافقة". لكن هذه الأساليب تشبه محاولة العثور على تسرب في قارب من خلال فحص ما إذا كانت الأرضية مبللة فقط؛ فهي تخبرك أن هناك خطأ ما، لكنها لا تخبرك "أين" أو "لماذا". لا يمكنها كشف الذكاء الاصطناعي عندما يكون مخطئاً بثقة في منتصف سلسلة طويلة من المنطق. نحن بحاجة إلى طريقة للنظر داخل دماغ الآلة، ورصد اللحظة الدقيقة التي تتعثر فيها في منطقها الخاص، وشرح ما حدث بالضبط لكي تتمكن من إصلاحه.
هنا يأتي دور نظام جديد يسمى SymDiag. فكر في SymDiag كأنه محقق صارم للغاية ومنطقي للغاية، لا يكتفي بقراءة قصة الذكاء الاصطناعي فحسب، بل يترجم القصة إلى كود صلب وغير قابل للكسر (مثل برنامج كمبيوتر) ليرى ما إذا كان المنطق يصمد بالفعل. تقدم الورقة البحثية منهجية تحول أفكار الذكاء الاصطناعي الفوضوية المكتوبة بلغة طبيعية إلى بنية "رمزية" رسمية — الأمر يشبه ترجمة مذكرات غامضة إلى عقد قانوني دقيق. وبمجرد وضع الأفكار في هذا التنسيق الصارم، يقوم النظام بسلسلة من الفحوصات ليرى ما إذا كانت الخطوات تتبع القواعد بالفعل.
الخدعة الكبرى التي يستخدمها SymDiag هي "المُدقق الذاتي" (Self-Auditor). أحياناً، يكون منطق الذكاء الاصطناعي سليماً، لكن الترجمة إلى الكود كانت فوضوية، مما جعل الأمر "يبدو" وكأنه خطأ. يعمل المُدقق الذاتي كمدقق مزدوج: فهو يترجم الفكرة نفسها إلى كود بطريقتين مختلفتين. إذا اتفق الإصداران، فهذا خطأ منطقي حقيقي. أما إذا اختلفا، فقد كان مجرد خلل في الترجمة. هذا يساعد النظام على تجنب لوم الذكاء الاصطناعي على أخطاء لم يرتكبها في الواقع.
بمجرد أن يجد SymDiag خطأً حقيقياً، فإنه لا يكتفي بالقول "خطأ". بل يصدر "تقرير تشخيصي" مدعوماً بأدلة ملموسة. قد يقول: "الخطوة 4 خاطئة لأنه إذا حاولت استخدام هذا الرقم، فإن العملية الحسابية ستتعطل"، أو "لقد نسيت قاعدة هنا". إنه يشبه الميكانيكي الذي لا يخبرك فقط بأن السيارة لن تعمل، بل يشير إلى شمعة الاحتراق المعطلة تحديداً ويظهر لك صورة توضح سبب فشلها.
اختبر الباحثون هذا النظام على مجموعة من الألغاز المختلفة، من المسائل الرياضية المعقدة إلى الألغاز المنطقية والأسئلة العلمية. ووجدوا أن SymDiag أفضل بكثير في رصد هذه الإجابات "الصحيحة زيفاً" مقارنة بالأساليب القديمة. وبينما قد تغفل الأنظمة الأخرى عن الخطأ لأن الإجابة النهائية كانت صحيحة، فإن SymDiag يرصد العيوب الخفية في منتصف عملية الاستنتاج. وعندما استخدموا التغذية الراجعة التفصيلية من SymDiag لمساعدة الذكاء الاصطناعي على المحاولة مرة أخرى، أصبح الذكاء الاصطناعي أفضل بكثير في حل المشكلات، حيث قام بإصلاح منطقه خطوة بخطوة.
باختاً، تشير الورقة البحثية إلى أنه من خلال معاملة التحقق من الاستنتاج كمسألة "تشخيص فشل" — باستخدام المنطق الصارم للعثور على مكان تعثر الذكاء الاصطناعي وشرحه بدقة — يمكننا بناء ذكاء اصطناعي أكثر موثوقية وجدارة بالثقة. الأمر لا يتعلق فقط بالحصول على الإجابة الصحيحة؛ بل يتعلق بالتأكد من أن الطريق المؤدي إلى تلك الإجابة صلب، وصادق، وقابل للإصلاح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.