From Proof to Program: Characterizing Tool-Induced Reasoning Hallucinations in Large Language Models
تحدد هذه الورقة وتُوصّف ظاهرة "قصر النظر الناجم عن الأداة" (TIM)، وهي ظاهرة تحقق فيها النماذج اللغوية المعززة بالأدوات (TaLMs) دقة أعلى في الإجابات النهائية للمسائل الرياضية، ولكنها تعاني من تدهور في تماسك الاستدلال عبر معاملة مخرجات الأدوات كبدائل للاستدلال، وتقترح إطار عمل لتحسين التفضيل لإعادة محاذاة النماذج نحو استخدام الأدوات كأدلة مساعدة بدلاً من كونها اختصارات استدلالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً نابغاً، لنسمّه أليكس. أليكس بارع في الرياضيات، لكنه أحياناً يعلق في الحسابات المعقدة أو يحتاج إلى التحقق من رقم معين. لذا، أعطيته آلة حاسبة فائقة السرعة (أداة مفسر الكود - Code Interpreter) لمساعدته.
الهدف هو أن يستخدم أليكس الآلة الحاسبة كـ مساعد للتحقق من عمله، بينما يقوم هو بالجهد الأكبر في التفكير المنطقي بنفسه.
ومع ذلك، كشف البحث الذي شاركته عن خلل مضحك وخطير: بدأ أليكس يترك الآلة الحاسبة تقوم بالتفكير نيابة عنه.
إليك تفاصيل نتائج الورقة البحثية، مترجمة إلى لغة بسيطة:
1. المشكلة: "قصر النظر الناجم عن الأداة" (TIM)
يطلق المؤلفون على هذه الظاهرة اسم "قصر النظر الناجم عن الأداة" (Tool-Induced Myopia). و"قصر النظر" يعني عدم القدرة على رؤية الصورة الكاملة.
- ماذا يحدث: عندما يمتلك أليكس الآلة الحاسبة، يتوقف عن النظر إلى الصورة الكبيرة. فبدلاً من كتابة برهان منطقي (الخطوة أ تؤدي إلى الخطوة ب، والتي تؤدي إلى الخطوة ج)، يبدأ فقط في كتابة أرقام عشوائية في الآلة الحاسبة، آملاً أن يعثر بالصدفة على الإجابة الصحيحة.
- الوهم: إذا نظرت فقط إلى الإجابة النهائية، ستجد أن أليكس قد أصاب! ولكن إذا نظرت إلى كيفية وصوله إليها، ستجدها فوضوية. لقد تخطى مرحلة "لماذا" واعتمد فقط على "القوة الغاشمة" (تجربة كل الاحتمالات حتى ينجح أحدها).
- الاستعارة: تخيل أنك تحاول العثين على كتاب معين في مكتبة ضخمة.
- أليكس الطبيعي: يستخدم نظام الفهرس، ويحدد القسم، ثم يمشي إلى الرف. إنه يفهم مخطط المكتبة.
- أليكس المتأثر بالأداة: يمسك بمكنسة روبوت (الأداة) ويطلب منها كنس أرضية المكتبة بأكملها. وعندما تصطدم المكنسة بالكتاب، يلتقطه. لقد حصل على الكتاب، لكنه لا يملك أدنى فكرة عن مكان وجوده أو كيف يتم تنظيم المكتبة. لقد حالفه الحظ فحسب.
2. التجربة: PYMATH
لإثبات ذلك، أنشأ الباحثون اختباراً خاصاً يسمى PYMATH.
- اختاروا 1,679 مسألة رياضية صعبة.
- الخدعة: هذه المسائل مصممة بحيث يمكن للآلة الحاسبة أن تساعد، لكنها ليست كافية. لا تزال بحاجة لاستخدام عقلك لتحديد الاستراتيجية.
- اختبروا نماذج ذكاء اصطناعي رفيعة المستوى (مثل GPT-4، Gemini، Claude) في وضعين:
- الوضع الأساسي (Base Mode): بدون سماح باستخدام الآلة الحاسبة.
- وضع TaLM: مع السماح باستخدام الآلة الحاسبة.
3. النتائج الصادمة
كانت النتائج غير متوقعة:
- لوحة النتائج: النماذج التي امتلكت الآلة الحاسبة (TaLM) حصلت على إجابات صحيحة أكثر (بنسبة تصل إلى 19% أفضل).
- المنطق: ولكن، عندما قارن الخبراء كيفية حل المسائل، كانت النماذج بدون الآلة الحاسبة أكثر ذكاءً بكثير. فقد استخدمت منطقاً أفضل، ووضعت افتراضات أقل، وشرحت خطواتها بوضوح.
- تأثير "قصر النظر": كلما زاد استخدام النماذج للآلة الحاسبة، أصبح تفكيرها المنطقي "أغبى". بدأت في تخطي الخطوات، والقيام بقفزات منطقية، والتعامل مع مخرجات الآلة الحاسبة كأنها حقيقة سحرية بدلاً من كونها مجرد رقم.
التشبيه: الأمر يشبه طباخاً اعتاد طهي الوجبات من الصفر، وعندما أعطيته ميكروويف، توقف عن الطبخ وبدأ فقط في تسخين الوجبات المجمدة. الوجبة لا تزال صالحة للأكل (الإجابة صحيحة)، لكنه فقد مهاراته في الطبخ (عمق التفكير المنطقي).
4. لماذا هذا مهم؟
هذا أمر مخيف لأننا لا نستطيع التمييز بين الحقيقة والخطأ بمجرد النظر إلى الإجابة.
- إذا قال الذكاء الاصطناعي "الإجابة هي 42"، وكانت صحيحة، فإننا نثق به.
- ولكن إذا وصل إلى هذه النتيجة عن طريق التخمين والتجربة باستخدام أداة بدلاً من فهم الرياضيات، فقد يفشل في مسألة مختلفة قليلاً حيث لا ينفع فيها التخمين.
- وجد البحث أنه في حوالي 55% من الحالات عالية المخاطر، كان الذكاء الاصطناعي "يزيف" منطقه، متخفياً وراء الأداة.
5. الحل: تعليم الذكاء الاصطناعي "التفكير أولاً"
جرب الباحثون طريقتين لإصلاح أليكس:
"الملاحظة الملحّة" (التوجيه - Prompting): أضافوا ملاحظة إلى تعليمات الذكاء الاصطناعي: "مهلاً، استخدم الآلة الحاسبة للتحقق من عملك فقط، وليس للقيام بالتفكير نيابة عنك."
- النتيجة: ساعد هذا قليلاً، لكن إجابات الذكاء الاصطناعي أصبحت أسوأ قليلاً لأنه أصبح يخشى استخدام الأداة.
"التدريس" (الضبط الدقيق باستخدام DPO): وهذا هو الفوز الكبير. قاموا بتدريب الذكاء الاصطناعي عبر إظهار أمثلة لـ "التفكير الجيد" (استخدام الأداة للمساعدة) مقابل "التفكير السيئ" (ترك الأداة تقوم بالعمل). أخبروا الذكاء الاصطناعي: "نحن نفضل الحل الذي تشرح فيه منطقك، حتى لو كانت الأداة موجودة."
- النتيجة: نجح هذا بشكل أفضل! بدأ الذكال الاصطناعي يحصل على الإجابات الصحيحة و يكتب تفسيرات أفضل أيضاً. لقد تعلم أن يعامل الآلة الحاسبة كـ مساعد جانبي، وليس كـ بطل القصة.
ملخص
تحذر الورقة البحثية من أن منح أدوات فائقة للذكاء الاصطناعي لا يجعل تفكيره أذكى تلقائياً. في الواقع، يمكن أن يجعله كسولاً، مما يدفعه لتخطي العمل الذهني الشاق والاعتماد على "التجربة والخطأ".
الدرس المستفاد؟ مجرد حصول الذكاء الاصطناعي على الإجابة الصحيحة لا يعني أنه يفهم السؤال. نحن بحاجة إلى تعليم هذه النماذج الحفاظ على نشاط "عضلات التفكير" لديها، حتى عندما يكون في جيبها حاسوب خارق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.