💻 computer science

Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations

تكشف هذه الورقة أن النماذج اللغوية الكبيرة تظهر هشاشة كبيرة تجاه الاضطرابات الحافظة للمعنى في الاستدلال الرياضي، وتُقدم إطار عمل تشخيص الاضطراب الآلي (MPD) لتتبع هذه الإخفاقات وصولاً إلى أنماط معمارية محددة، وتصنيفها إلى أنواع محلية، وموزعة، ومتشابكة، ذات قدرات متفاوتة على الاسترداد من خلال تدخلات مستهدفة.

المؤلفون الأصليون: Shou-Tzu Han, Rodrigue Rizk, KC Santosh

نُشر 2026-04-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Shou-Tzu Han, Rodrigue Rizk, KC Santosh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً يمكنه حل المسائل الرياضية المعقدة بدقة تصل إلى 90%. تسأله: "إذا كان لدى أليس 5 تفاحات واشترت 3 أخرى، فكم أصبح لديها؟" فيجيب فوراً: "8".

لكن بعد ذلك، تسأله نفس السؤال تماماً، مع تغيير الاسم فقط: "إذا كان لدى بوب 5 تفاحات واشترى 3 أخرى، فكم أصبح لديه؟" فجأة يصاب الطالب بالذعر ويقول: "12".

تحاول مرة أخرى، وتغير الصيغة: "إذا كان لدى أليس خمس تفاحات..." فيقول: "15".

هذا هو بالضبط ما وجده الباحثون عندما اختبروا ثلاثة نماذج ذكاء اصطناعي شهيرة (Mistral و Llama-3 و Qwen). فرغم كونها "ذكية"، إلا أنها هشة بشكل مفاجئ. إذا غيرت طريقة كتابة المسألة دون تغيير معناها، فإنها غالباً ما تقلب إجابتها من صحيحة إلى خاطئة.

إليك تفصيل لنتائج الورقة البحثية باستخدام تشبيهات بسيطة.

1. المشكلة: "البيت الزجاجي" للاستنتاج

قام الباحثون بأخذ 677 مسألة رياضية وصنعوا لها "توائم" لكل واحدة منها.

تبديل الأسماء: تغيير "أليس" إلى "بوب".
تبديل الأرقام: تغيير "5" إلى "5 دولارات".

النتيجة: فشلت نماذج الذكاء الاصطناعي بنسبة تتراوح بين 28% إلى 45% في هذه "التوائم". الأمر يشبه سيارة تقود بشكل مثالي على طريق مستقيم، لكنها تتحطم بمجرد طلاء عجلة القيادة بلون مختلف. النماذج لا "تفهم" الرياضيات حقاً؛ بل هي تحفظ الأنماط.

2. التحقيق: "حقيبة أدوات الميكانيكي"

لمعرفة سبب تعطل الذكاء الاصطناعي، بنى المؤلفون إطاراً تشخيصياً يسمى MPD (تشخيصات الاضطراب الميكانيكي). فكر في هذا كأن ميكانيكياً يفكك محركاً ليرى أي ترس تحديداً هو الذي يحتك.

استخدموا أربع أدوات:

عدسة لوجيت (الأشعة السينية): تتيح لهم رؤية ما "يفكر" فيه الذكاء الاصطناعي في كل خطوة من خطوات معالجته. ووجدوا أنه في الأسئلة الفاشلة، يبدأ الذكاء الاصطناعي بالتفكير في الإجابة الخاطئة في مرحلة أبكر بكثير مما يحدث في الأسئلة الناجحة.
رقعة التنشيط (إصلاح "السفر عبر الزمن"): تخيل أن الذكاء الاصطناعي يرتكب خطأ في الخطوة 10. قام الباحثون بأخذ "الحالة الذهنية الصحيحة" من سؤال مشابه ولصقوها في الذكاء الاصطناعي عند الخطوة 10. إذا حصل الذكاء الاصطناعي فجأة على الإجابة الصحيحة، فهذا يعني أن المشكلة تتركز في تلك الخطوة تحديداً.
استئصال المكونات (اختبار "الإيقاف"): قاموا بإيقاف أجزاء معينة من الذكاء الاصطناعي (مثل رؤوس "الانتباه" التي تركز على الكلمات المفتاحية، أو طبقات "MLP" التي تقوم بالعمل الشاق) لمعرفة أي جزء يتسبب في الخطأ.
مقياس CAI (مقياس "تأثير الدومينو"): يقيس مدى نمو خطأ صغير أثناء انتقاله عبر طبقات الذكاء الاصطناعي. هل يتضخم الخطأ الصغير ليصبح كارثة كبيرة، أم يقوم الذكاء الاصطناعي بتصحيح نفسه؟

3. الاكتشاف: ثلاث "شخصيات" مختلفة للفشل

الاكتشاف الأكثر إثارة هو أن نماذج الذكاء الاصطناعي الثلاثة فشلت بثلاث طرق مختلفة تماماً. الأمر ليس مجرد "الذكاء الاصطناعي سيء في الرياضيات"؛ بل يتعلق بـ كيفية كونه سيئاً.

أ. "المحدد الموضعي" (Llama-3)

التشبيه: تخيل منزلاً به باب واحد ضعيف. إذا ركلت ذلك الباب تحديداً، يسقط المنزل. ولكن إذا أصلحت ذلك الباب الواحد، يصبح المنزل آمناً.
ما حدث: عندما فشل Llama-3، كان الخطأ محصوراً في طبقة محددة جداً (خطوة محددة في تفكيره).
الإصلاح: لأن المشكلة كانت معزولة، استطاع الباحثون "رقعها". من خلال استبدال الحالة الذهنية الصحيحة في تلك الطبقة المحددة، تمكنوا من إصلاح 71% من الأخطاء. إنه قابل للإصلاح بدرجة عالية.

ب. "الموزع" (Mistral)

التشبيه: تخيل منزلاً حيث الأساس بالكامل مصنوع من الرمال. إذا دفعت في أي مكان، يهتز الهيكل بأكما له. لا توجد نقطة ضعف واحدة؛ الضعف موجود في كل مكان.
ما حدث: عندما فشل Mistral، كان الخطأ منتشراً عبر العديد من الطبقات.
الإصلاح: ولأن الخطأ كان في كل مكان، لم يكن بإمكانك إصلاحه عن طريق رقعة واحدة. تمكن الباحثون من إصلاح 5% فقط من الأخطاء. إنه صعب الإصلاح للغاية.

ج. "المتشابك" (Qwen)

التشبيه: تخيل عقدة من سماعات الرأس المتشابكة. لا يمكنك مجرد سحب سلك واحد لإصلاحها؛ فالأسلاك متداخلة لدرجة أن سحب سلك واحد سيجعل العقدة تشتد أكثر.
ما حدث: في Qwen، لم يكن الخطأ في أجزاء "التركيز" (الانتباه) فحسب، بل كان متداخلاً بعمق في أجزاء "الحساب" (MLP). كانت المكونات متشابكة لدرجة أن إصلاح أحدها يؤدي إلى كسر الآخر.
الإصلاح: كان هذا هو الأصعب في الإصلاح. نجح الباحثون في إصلاح 0% من الأخطاء باستخدام الرقع القياسية، وحتى محاولة تعديل "الأوزان" جراحياً جعلت الأمور أسوأ.

4. "تأثير الدومينو" (التضخم المتتالي)

قدم الباحثون مقيساً جديداً يسمى CAI (مؤشر التضخم المتتالي).

الذكاء الاصطناعي المستقر: عندما تغير الصياغة، يلاحظ الذكاء الاصطناعي الفرق، لكنه يقول: "أوه، هذه مجرد طريقة أخرى لقول الشيء نفسه"، ويموت الخطأ.
الذكاء الاصطناعي الهش: يلاحظ الذكاء الاصطناعي الفرق، فيصاب بالارتباك، ويصبح هذا الارتباك أعلى وأعلى صوتاً مع انتقاله عبر طبقاته، حتى يصرخ بالإجابة الخاطئة.
لماذا يهم هذا: هذا "تأثير الدومينو" هو مؤشر أفضل للفشل من مجرد النظر إلى متى بدأ الذكاء الاصطناعي في الارتباك لأول مرة.

5. الخلاصة: "إصلاح" الذكاء الاصطناعي

تخلص الورقة البحثية إلى أنه لا يمكننا معاملة جميع حالات فشل الذكاء الاصطناعي بنفس الطريقة.

إذا كان الذكاء الاصطناعي محدداً موضعياً (مثل Llama-3)، فيمكننا إصلاحه من خلال استهداف طبقات معينة.
إذا كان موزعاً أو متشابكاً (مثل Mistral أو Qwen)، فإن الإصلاحات البسيطة لن تنجح. نحن بحاجة إلى إعادة التفكير في كيفية بناء النموذج أو تدريبه.

باختاً: نماذج الذكاء الاصطنا هذه تشبه طلاباً عباقرة لكنهم هشون. يمكنهم حل الرياضيات، لكنهم يتعثرون بسبب أصغر تغيير في السؤال. لقد رسم الباحثون الآن خريطة توضح لنا بالضبط أين تنكسر عقولهم، وهي الخطوة الأولى نحو بناء ذكاء اصطناعي قوي وموثوق حقاً.

1. بيان المشكلة

على الرغم من تحقيق دقة عالية في اختبارات التفكير الرياضي مثل GSM8K، تُظهر النماذج اللغوية الكبيرة (LLMs) هشاشة مفاجئة عند مواجهة الاضطرابات السطحية الحافظة للمعنى. وهذه الاضطرابات هي تعديلات طفيفة على المدخلات (مثل استبدال أسماء الشخصيات أو إعادة صياغة الأرقام مثل "$5" إلى "5 دولارات") والتي لا تغير المنطق الرياضي أو الإجابة الصحيحة.

تعالج الورقة البحثية الفجوة بين أداء الاختبارات المعيارية وموثوقية التفكير. وبينما وثقت الأعمال السابقة أن النماذج تفشل في ظل هذه الظروف (على المستوى السلوكي)، فإن هذه الدراسة تبحث في لماذا وكيف تنشأ هذه الإخفاقات داخل الآليات الداخلية للنموذج (على المستوى الميكانيكي). والسؤال الجوهي هو ما إذا كانت هذه الإخفاقات ناتجة عن مطابقة أنماط هشة بدلاً من فهم رياضي حقيقي.

2. المنهجية

يقترح المؤلفون إطار عمل تشخيص الاضطراب الميكانيكي (MPD)، وهو مسار تشخيصي موحد يجمع بين أربع تقنيات رئيسية.

أ. بناء مجموعة البيانات

المصدر: 777 زوجاً صالحاً من أزواج المسائل من مجموعة اختبار GSM8K.
الاضطرابات: تم تطبيق نوعين من التحويلات الحافظة للمعنى:
1. استبدال الأسماء: استبدال أسماء الشخصيات ببدائل عشوائية (341 زوجاً).
2. إعادة صياغة تنسيق الأرقام: إعادة صياغة التعبيرات العددية (مثلاً: " $5"$ \leftarrow$ "5 دولارات") (336 زوجاً).
التقييم: تم اختبار النماذج باستخدام فك التشفير الجشع (greedy decoding). ويُعرف "الانقلاب" (flip) بأنه الحالة التي يجيب فيها النموذج بشكل صحيح على الأصل ولكنه يفشل في النسخة المضطربة.

ب. تقنيات التحليل الميكانيكي

تطبق الدراسة ثلاث أدوات تفسيرية متكاملة على عينة فرعية مكونة من 60 عينة "منقلبة" لكل نموذج:

تحليل عدسة اللوجيت (Logit Lens Analysis): يقوم بإسقاط الحالات المخفية في كل طبقة عبر مصفوفة عدم التضمين (unembedding matrix) لتحديد طبقة التباعد الأولى (أول طبقة يختلف فيها التنبؤ للمدخلات الأصلية والمضطربة).
رقعة التنشيط (Activation Patching): يستبدل الحالات المخفية للمدخل المضطرب بتلك القادمة من المسار الأمامي للأصل الصحيح في طبقات محددة. تشير معدلات الاسترداد العالية إلى إخفاقات موضعية؛ بينما تشير المعدلات المنخفضة إلى حساسية موزعة.
استئصال المكونات (Component Ablation): يقوم بتصفير مخرجات أي من الطبقات الفرعية لـ Attention أو MLP لتحديد أي مكون يساهم سببياً في الإخفاق.
مؤشر التضخيم المتتالي (CAI): مقياس مبتكر يحدد كمياً ما إذا كان التباين عبر الطبقات يتضخم أو يضمحل عبر الشبكة. وهو يقيس نسبة نمو التباين بين الطبقات ( $\Delta_{l+1} > \Delta_l$ ).

3. المساهمات الرئيسية

تصنيف الفشل الميكانيكي: يقترح المؤلفون تصنيفاً رسمياً لإخفاقات التفكير إلى ثلاثة أنواع متميزة:
- موضعي (Localized): إخفاقات يمكن استردادها عبر رقع طبقات معينة (مثل Llama-3).
- موزع (Distributed): إخفاقات منتشرة عبر مسارات متكررة، مما يجعل من الصعب تحديد موقعها (مثل Mistral).
- متشابك (Entangled): إخفاقات تهيمن فيها الطبقات الفرعية لـ MLP على الآلية السببية، وتستعصي على التدخلات القائمة على الـ attention (مثل Qwen).
مؤشر التضخيم المتتالي (CAI): تم تقديمه كمؤشر تنبؤي للفشل يتفوق على مقياس "طبقة التباعد الأولى" بالنسبة للبنى ذات أوضاع الفشل الموزعة أو الموضعية (AUC يصل إلى 0.679).
التحليل المقارن بين النماذج: أظهرت الدراسة أن النماذج ذات أعداد المعلمات وأنماط التدريب المتشابهة (7B–8B) تظهر تواقيع داخلية مختلفة نوعياً.
التحقق من الإصلاح: تم التحقق من التصنيف من خلال إظهار أن التدخلات المستهدفة (متجهات التوجيه، وضبط الطبقات الدقيق) أكثر فعالية بشكل ملحوظ في حالات الفشل "الموضعي" مقارنة بالفشل "الموزع" أو "المتشابك".

4. النتائج الرئيسية

أ. الحساسية للاضطراب

أظهرت جميع النماذج الثلاثة (Mistral-7B, Llama-3-8B, Qwen2.5-7B) معدلات انقلاب إجابات جوهرية (28.8% – 45.1%).

Mistral-7B: أعلى معدل انقلاب (45.1%).
Llama-3-8B: معدل انقلاب متوسط (33.5%).
Qwen2.5-7B: أقل معدل انقلاب (28.8%).
ملاحظة: كانت إعادة صياغة تنسيق الأرقام أكثر إرباكاً باستمرار من استبدال الأسماء عبر جميع النماذج.

ب. التواقيع الميكانيكية

توقيت التباعد: تتباعد العينات المنقلبة في طبقات أبكر بكثير من العينات المستقرة ( $p < 0.05$ $p < 0.05$ ).
- Mistral: الطبقة 9.1
- Llama-3: الطبقة 13.0
- Qwen: الطبقة 17.2
استرداد رقعة التنشيط:
- Llama-3: قابل للاسترداد بدرجة عالية (تم إصلاح 71.7% من الانقلابات عبر الرقعة). يشير هذا إلى فشل موضعي.
- Mistral: استرداد منخفض (5.0%). يشير هذا إلى فشل موزع.
- Qwen: استرداد صفري (0.0%). يشير هذا إلى فشل متشابك.
هيمنة المكونات:
- Mistral & Llama-3: رؤوس الـ Attention هي المكونات السببية الأساسية.
- Qwen: الطبقات الفرعية لـ MLP هي المكونات السببية الأساسية (نمط معكوس).

ج. تجارب الإصلاح

اختبرت الدراسة ما إذا كان التصنيف يتنبأ بصعوبة الإصلاح:

الموضعي (Llama-3): استردت متجهات التوجيه والضبط الدقيق للطبقات 12.2% و 11.3% من الإخفاقات، على التوالي.
المتشابك (Qwen): استردت متجهات التوجح 7.2% فقط؛ بينما أدى تعديل ROME (جراحة الأوزان) إلى استرداد سلبي (-1.1%).
الموزع (Mistral): استردت متجهات التوجيه 5.2% فقط.

5. الأهمية والخاتمة

تنقل هذه الورقة البحثية فهم هشاشة التفكير في النماذج اللغوية الكبيرة من مجرد ملاحظة سلوكية إلى تشخيص ميكانيكي.

الخصوصية المعمارية: هشاشة التفكير ليست خاصية متجانسة؛ فهي تظهر بشكل مختلف اعتماداً على بنية النموذج. بعض النماذج تفشل بسبب اختناقات ضيقة (قابلة للإصلاح)، بينما تفشل أخرى بسبب مسارات متكررة أو متشابكة (يصعب إصلاحها).
القوة التنبؤية: يوفر مؤشر التضخيم المتتالي (CAI) إشارة إنذار مبكر قوية لاحتمالات فشل التفكير، متفوقاً على مقاييس التباعد التقليدية.
تصنيف قابل للتطبيق: نجح التصنيف المقترح (موضعي، موزع، متشابك) في التنبؤ بفعالية استراتيجيات الإصلاح. وهذا يشير إلى أن نهج "الحجم الواحد يناسب الجميع" لتحسين متانة التفكير غير كافٍ؛ إذ يجب تخصيص التدخلات لتناسب نمط الفشل الميكانيكي المحدد لكل نموذج.

تفيد النتائج بأن درجات الاختبارات المعيارية العالية الحالية قد تخفي هشاشة داخلية كبيرة، وأن المتانة الحقيقية في التفكير تتطلب معالجة هذه التواقيع الميكانيكية الداخلية المحددة بدلاً من مجرد زيادة بيانات التدريب أو عدد المعلمات.