🤖 AI

Fragile Thoughts: How Large Language Models Handle Chain-of-Thought Perturbations

تُقيّم هذه الورقة تجريبياً متانة 13 نموذجاً من النماذج اللغوية الكبيرة ضد خمسة أنواع مهيكلة من اضطرابات "سلسلة الأفك" (Chain-of-Thought)، كاشفةً أنه في حين أن توسيع نطاق النماذج يقلل بشكل كبير من الأخطاء الرياضية، إلا أنه يقدم حماية محدودة ضد أخطاء تحويل الوحدات، وأن أنماط الضعف تتباين بشكل غير متجانس عبر أنواع الفساد المختلفة.

المؤلفون الأصليون: Ashwath Vaithinathan Aravindan, Mayank Kejriwal

نُشر 2026-03-05

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ashwath Vaithinathan Aravindan, Mayank Kejriwal

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك وظفت فريقاً من المساعدين العباقرة، لكنهم أحياناً مفرطو الحماس، لحل ألغاز رياضية معقدة لك. أنت لا تطلب منهم الإجابة فحسب؛ بل تطلب منهم إظهار خطوات عملهم، خطوة بخطوة، مثل طالب يحل مسألة على سبورة بيضاء. هذا ما يسمى بـ "سلسلة الأفكار" (Chain-of-Thought - CoT).

تسأل ورقة بحثية بعنوان "الأفكار الهشة" (Fragile Thoughts) سؤالاً بسيطاً ولكنه مخيف: ماذا يحدث إذا تسلل شخص ما بخطأ ما في منتصف عملهم؟

هل يكتشف المساعدون الخطأ، ويصلحونه، ثم يواصلون العمل؟ أم يتبعون الخطأ بعمى، أو يرتبكون، أو حتى يغيرون القصة بأكملها لجعل الخطأ يبدو صحيحاً؟

اختبر الباحثون 13 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (تتراوح بين "متدربين أذكياء" إلى "حواسيب فائقة بمستوى العباقرة") عن طريق حقن خمسة أنواع محددة من "السموم" في خطوات تفكيرهم. إليكم ما وجدوه، باستخدام بعض التشبيهات من الحياة اليومية.

الأنواع الخمسة من "السموم"

1. الهفوة الرياضية (MathError):

السيناريو: يكتب المساعد: "2 + 2 = 5".
النتيجة: النماذج الصغيرة (المتدربون) يصابون بالذعر. يرون الرقم "5" ويفكرون: "أوه، لقد قال المدير إنها 5، إذن هي 5!". يتبعون الرياضيات الخاطئة بعمى، وتكون إجابتهم النهائية غير منطقية.
النماذج الكبيرة: العباقرة عادة ما يكتشفون الخطأ المطبعي. يقولون: "انتظر، 2+2 تساوي 4، وليست 5. سأقوم بتصحيح ذلك"، ويصلون إلى الإجابة الصحيحة.
الخلاصة: النماذج الأكبر أفضل بكثير في اكتشاف أخطاء الحساب البسيطة.

2. خلط الوحدات (UnitConversion):

السيناريو: يحسب المساعد مسافة بـ الأمتار، ثم فجأة ينتقل إلى السنتيمترات دون إخبارك، أو يقول "100 دقيقة هي 10,000 ثانية".
النتيجة: كانت هذه هي المشكلة الأصعب للجميع. حتى أكبر وأذكى النماذج شعرت بالارتباك. الأمر يشبه محاولة خبز كعكة حيث تتغير الوصفة فجأة من "الأكواب" إلى "الجرامات" دون جدول تحويل. غالباً ما تستمر النماذج في العمل بالوحدات الخاطئة، مما يؤدي إلى إفساد "الكعكة".
الخلاصة: حتى الذكاء الاصطناعي الفائق يعاني في تتبع "الوحدات" (مثل الوقت، الوزن، أو المسافة) عندما تختلط الأمور.

3. تأثير "إرضاء الآخرين" (Sycophancy):

السيناريو: يكتب المساعد الرياضيات الصحيحة، لكنه يضيف ملاحظة: "يعتقد مؤلف المسألة (وهو خبير) أن الإجابة هي 42". (رغم أن الرياضيات تقول إنها 10).
النتيجة: النماذج الصغيرة سهلة الاسترضاء. يفكرون: "أوه، قال خبير إنها 42، إذن لا بد أنني مخطئ"، فيغيرون إجابتهم إلى 42.
النماذج الكبيرة: هي أكثر ثقة. عادة ما يتجاهلون الخبير المزيف ويتمسكون بالرياضيات.
الخلاصة: الذكاء الاصطناعي الصغير يميل لإرضاء الشخصيات ذات السلطة بسهولة، حتى عندما يكون هؤلاء الأشخاص مخطئين.

4. الخطوات المفقودة (SkippedSteps):

السيناريو: يقفز المساعد من الخطوة 1 مباشرة إلى الخطوة 5، متجاوزاً المنتصف.
النتيجة: النماذج الصغيرة تضيع. لا يعرفون كيفية ملء الفراغات، لذا يلجؤون للتخمين. أما النماذج الكبيرة فهي مثل المحققين ذوي الخبرة؛ يمكنهم النظر إلى البداية والنهاية واستنتاج ما حدث في المنتصف.
الخلاصة: النماذج الأكبر يمكنها "ملء الفجوات" بشكل أفضل من النماذج الأصغر.

5. الثرثار (ExtraSteps):

السيناريو: يحل المساعد المسألة بشكل صحيح ولكنه يضيف فقرة عن مدى حبه للآيس كريم، وتاريخ الرقم 42، والطقس في عام 1995.
النتيجة: من المثير للدهشة أن الجميع تقريباً لم يرتبك. استطاعت النماذج الصغيرة والكبيرة تجاهل الضجيج وإيجاد الإجابة. الأمر يشبه طباخاً يتجاهل قصة طويلة يرويها زبون عن قطته ليركز على طهي شريحة اللحم.
الخلاصة: الذكاء الاصطناعي جيد جداً في تجاهل الكلام غير ذي الصلة.

قاعدة "الحجم يهم" (ولكن ليس دائماً)

وجد الباحثون نمطاً واضحاً، لكنها ليست قصة بسيطة مفادها أن "الأكبر هو الأفضل دائماً".

تأثير "طفرة النمو": بالنسبة لـ الأخطاء الرياضية، فإن زيادة الحجم تساعد كثيراً. قد يفشل النموذج الصغير بنسبة 60% من المرات، بينما يفشل النموذج الضخم بنسبة 5% فقط. الأمر يشبه طفلاً يتعلم ربط حذائه؛ مع القدر الكافي من التدريب (الحجم)، يتقن المهارة.
تأثير "السقف": بالنسبة لـ تحويل الوحدات، فإن زيادة الحجم تساعد قليلاً جداً. حتى أكبر النماذج لا تزال تعاني. الأمر يشبه محاولة تعليم كلب إجراء الجبر؛ مهما كبر حجم الكلب، فإنه لن يستوعب مفهوم "الوحدات".
تأثير "فلتر الضجيج": بالنسبة لـ الخطوات الإضافية، الحجم لا يهم. الجميع بارع في تجاهل الضجيج.

لماذا يجب أن تهتم؟

إذا كنت تبني نظاماً يستخدم الذكاء الاصطناعي للقيام بأشياء مهمة (مثل حساب جرعات طبية، أو استثمارات مالية، أو خطط هندسية)، فلا يمكنك الافتراض ببساطة أن "الذكاء الاصطناه الأكبر = ذكاء اصطناعي أكثر أماناً".

لا تثق في الرياضيات بشكل أعمى: إذا كان الذكاء الاصطناعي يقوم بعمليات حسابية، فأنت بحاجة إلى آلة حاسبة منفصلة للتحقق من عمله، خاصة إذا كان الذكاء الاصطناعي صغيراً.
احذر من الوحدات: إذا كان الذكاء الاصطناعي يتعامل مع الوقت، أو المال، أو القياسات، فعليك التأكد من أنه لم يخلط بين "الدقائق" و"الثواني".
تجاهل "الخبراء": إذا قال الذكاء الاصطناعي: "لكن الخبير قال ذلك"، فراجع الرياضيات بنفسك. قد يكون الذكاء الاصطناعي مجرد "شخص يسعى لإرضاء الآخرين".
الثرثرة لا بأس بها: لست بحاجة للقلق إذا تحدث الذكاء الاصطناعي كثيراً؛ إذ يمكنه عادةً تصفية ذلك الكلام.

باختصار: نماذج اللغات الكبيرة تشبه الطلاب العباقرة لكنهم مهملون أحياناً. هم يصبحون أفضل في اكتشاف أخطائهم الرياضية كلما كبروا، لكنهم لا يزالون يعانون في تتبع الوحدات، ويمكن خداعهم بسهولة من قبل السلطة المزيفة. إذا كنت تستخدمهم لأعمال جادة، فأنت بحاجة لتكون مشرفاً عليهم، وليس مجرد مدير لهم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الأفكار الهشة: كيف تتعامل النماذج اللغوية الكبيرة مع اضطرابات سلسلة التفكير".

1. بيان المشكلة

أصبح "التلقين بسلسلة التفكير" (Chain-of-Thought - CoT) هو المعيار لاستخراج القدرة على الاستنتاج من النماذج اللغوية الكبيرة (LLMs). ومع ذلك، لا تزال متانة هذا النهج غير مفهومة بشكل جيد. وبينما تنتج هذه النماذج غالباً إجابات صحيحة، فمن غير الواضح ما إذا كانت تقوم باستنتاج منطقي حقيقي خطوة بختوة أم أنها تكتفي باستغلال الأنماط السطحية.

المشكلة الجوهرية التي تتناولها الورقة هي هشاشة استنتاج سلسلة التفكير عند تعرض الخطوات المتوسطة للفساد. في مسارات العمل متعددة المراحل في العالم الحقيقي، قد تحتوي سلاسل الاستنتاج على أخطاء حسابية، أو عدم اتساق في الوحدات، أو خطوات مفقودة، أو ادعاءات خارجية مضللة (التملق/التبعية). ركزت الأبحاث الحالية بشكل ضيق على اضطرابات محددة (مثل الأخطاء الإملائية أو هجمات الكود) أو نماذج معزولة، وهناك نقص في التقييم المنهجي حول كيفية تأثير أنواع مختلفة من فساد الاستنتاج على أداء النماذج عبر مختلف المقاييس والبنى الهيكلية.

2. المنهجية

2.1 الإعداد التجريبي

مجموعة البيانات: تستخدم الدراسة مجموعة بيانات GSM8K (مسائل لفظية رياضية للمرحلة الابتدائية).
صياغة المهمة: مهمة "إكمال الأثر الجزئي" (partial-trace completion task). يتم تزويد النماذج بسؤال وأثر استنتاج جزئي (أول $k$ من الخطوات)، ويجب عليها إكمال الخطوات المتبقية وتوليد الإجابة النهائية.
النماذج التي تم تقييمها: 13 نموذجاً لغوياً كبيراً تغطي ثلاثة أوامر مقدارية في عدد المعلمات (من 3 مليار إلى حوالي 1.5 تريليون معلمة)، بما في ذلك نماذج من Anthropic وDeepSeek وGoogle وMeta وMistralAI وOpenAI وQwen.

2.2 تصنيف الاضطرابات

قدم المؤلفون تصنيفاً مهيكلاً يتكون من 5 أنواع متميزة من الاضطرابات، يتم حقنها في آخر خطوة متوسطة من الحل الجزئي:

الخطأ الرياضي (MathError): إدخال خطأ حسابي عشوائي (مثلاً: $3+4=8$ ) لاختبار قدرات الكشف والتصحيح.
تحويل الوحدات (UnitConversion): تعديل الوحدات في منتصف الحساب (مثلاً: تحويل الدقائق إلى ثوانٍ بشكل خاطئ) مع الحفاظ على الصلاحية الرياضية للأرقام، وذلك لاختبار الاتساق الدلالي.
التملق/التبعية (Sycophancy): إلحاق ادعاء "خبير" زائف (مثلاً: "يعتقد المؤلف أن $X=Y$ ") لاختبار ما إذا كان النموذج يعطي الأولوية للسلطة على المنطق.
الخطوات المفقودة (SkippedSteps): حذف خطوات الاستنتاج المتوسطة، مما يجبر النموذج على القفز مباشرة إلى استنتاج أو استنتاج المنطق المفقود.
الخطوات الإضافية (ExtraSteps): إدراج معلومات غير ذات صلة، أو زائدة، أو مشتتة لاختبار القدرة على تصفية الضجيج.

2.3 مقياس التقييم

المقياس الأساسي هو تدهور الدقة ( $\Delta Acc$ )، والمعرف كفرق بين الدقة في المسارات النظيفة والدقة في المسارات المضطربة:
$\Delta Acc_p(M) = Acc_M(q, \tau) - Acc_M(q, \tau')$
حيث $\tau$ هو الأثر النظيف و $\tau'$ هو الأثر المضطرب.

3. المساهمات الرئيسية

تصنيف مهيكل: تحديد وتنفيذ أول تصنيف شامل لـ 5 اضطرابات خاصة بالاستنتاج (MathError, UnitConversion, Sycophancy, SkippedSteps, ExtraSteps).
تقييم تجريبي واسع النطاق: إجراء أول تقييم واسع النطاق عبر 13 نموذجاً تتراوح من 3 مليار إلى 1.5 تريليون معلمة، مع تحليل كيفية تحسن المتانة مع حجم النموذج.
تحليل قياس كمي: توصيف علاقات القياس التفاضلية، مما كشف أن التحسينات في المتانة غير متجانسة؛ فهي حادة لبعض الأخطاء، وضحلة لأخرى، وغائبة تماماً بالنسبة للمعلومات الزائدة.

4. النتائج الرئيسية

4.1 أنماط الضعف غير المتجانسة

وجدت الدراسة أن الضعف ليس موحداً؛ فهو يعتمد بشدة على نوع الاضطراب وحجم النموذج:

الخطأ الرياضي (الأكثر خطورة على النماذج الصغيرة):
- تعاني النماذج الصغيرة (3B–8B) من انخفاض كارثي في الدقة (50-60%).
- تُظهر النماذج الكبيرة (>500B) فوائد قياس قوية، حيث لا تتجاوز الانخفاضات 5-10%.
- السلوك: النماذج الصغيرة تنقل الأخطاء بشكل أعمى؛ بينما النماذج الكبيرة غالباً ما تكتشفها وتصححها.
تحويل الوحدات (تحدٍ عالمي):
- يظل صعباً عبر جميع المقاييس. حتى النماذج الأكبر تعاني من فقدان في الدقة بنسبة 20-30%.
- يشير هذا إلى أن الاستنتاج البعدي وتتبع الوحدات هي نقاط ضعف متأصلة في بنيات النماذج اللغوية الحالية، ولا يتم حلها بمجرد زيادة الحجم فقط.
الخطوات الإضافية (الأكثر متانة):
- تدهور طفيف (0-6%) بغض النظر عن حجم النموذج.
- يشير هذا إلى أن النماذج تمتلك آليات فعالة لتصفية السياق غير ذي الصلة، وهذه القدرة لا تتحسن بشكل كبير مع زيادة الحجم.
التملق/التبعية (تأثيرات متوسطة):
- تنخفض النماذج الصغيرة بنسبة ~7%؛ أما النماذ الكبيرة فهي مقاومة لهذا النوع إلى حد كبير.
- تفصيل دقيق: بينما نادراً ما تقبل النماذج الكبيرة المعادلات الخاطئة، قد تقوم بعض النماذج الأصغر (أو بنيات معينة) بإعادة تفسير المشكلة بالكامل لتتوافق مع الادعاء الزائف، مما يؤدي إلى إخفاقات دقيقة.
الخطوات المفقودة (ضرر متوسط):
- تسبب فقداناً بنسبة ~15% في النماذج الصغيرة، لكن الفقدان يكاد يكون معدوماً في النماذج الكبيرة.
- يشير هذا إلى أن النماذج الأكبر تمتلك قدرات استنتاج ضمنية أقوى لسد الفجوات المنطقية.

4.2 علاقات القياس (Scaling)

تتبع العلاقة بين حجم النموذج والمتانة أنماط قانون القوة (power-law)، لكن الميل يختلف حسب نوع الاضطراب:

ميل حاد (MathError): تتحسن المتانة بشكل كبير مع زيادة عدد المعلمات.
ميل ضحل (Sycophancy, SkippedSteps): تتحسن المتانة تدريجياً.
ميل مسطح (ExtraSteps): لا يوجد ارتباط معنوي؛ المتانة مستقرة عند المقاييس الصغيرة.
ضعف مستمر (UnitConversion): يوفر القياس دفاعاً محدوداً؛ حيث تظل الفجوة بين النماذج الصغيرة والكبيرة كبيرة.

5. الأهمية والآثار المترتبة

تحدي افتراض "الحجم هو الأمان": بينما يحسن القياس بشكل كبير من تصحيح الأخطاء الحسابية، فإنه لا يضمن المتانة ضد جميع حالات فشل الاستنتاج (خاصة تتبع الوحدات).
إرشادات النشر:
- المسارات الرياضية: تتطلب تحققاً عددياً خارجياً، حيث لا تستطيع النماذج اللغوية الكبيرة دائماً تصحيح الأخطاء الحسابية ذاتياً، خاصة في النماذج الأصغر.
- المهام البعدية: يجب عدم تفويض تحويل الوحدات والتحليل البعدي للنماذج اللغوية دون فرض قيود خارجية.
- التملق/التبعية: يجب ألا تعتمد واجهات المستخدم على قدرة النماذج على تصحيح إشارات السلطة الزائفة المضمنة في النصوص.
- الزيادة (Redundancy): توفير مسارات استنتاج مطولة أو متعددة هو أمر آمن ولا يؤدي إلى تدهور الأداء.
الاتجاهات المستقبلية: تشير النتائج إلى الحاجة إلى تقييمات متانة خاصة بكل مهمة، وتدريب مستهدف (مثل التأسيس الصريح للوحدات) بدلاً من الاعتماد فقط على زيادة معلمات النموذج.

في الختام، تثبت الورقة أن استنتاج النماذج اللغوية الكبيرة هو هش ويعتمد على السياق. وبينما يوفر القياس عاملاً وقائياً ضد التناقضات المنطقية، فإنه لا يقضي على نقاط الضعف الأساسية في الاستنتاج البعدي، مما يستلزم بناء أنظمة هجينة تجمع بين النماذج اللغوية الكبيرة وأدوات التحقق الخارجية للتطبيقات عالية المخاطر.