Understanding LLM Failures: A Multi-Tape Turing Machine Analysis of Systematic Errors in Language Model Reasoning

إليك ملخص تقني مفصل للورقة البحثية بعنوان "فهم إخفاقات النماذج اللغوية الكبيرة: تحليل آلة تورينج متعددة الأشرطة للأخطاء المنهجية في استدلال النماذج اللغوية" للباحث ماغنوس بومان.

1. بيان المشكلة

تظهر النماذج اللغوية الكبيرة (LLMs) بشكل متكرر أنماط فشل في مهام تعتبر بديهية للبشر، مثل عدّ أحرف معينة في كلمة (مثل عدد حرف "r" في كلمة "Strawberry") أو التعامل مع الهياكل العودية (recursive) شديدة التعقيد. وبينما ركزت الأبحاث التجريبية على قوانين القياس (scaling laws) لوصف الأداء، إلا أن هناك نقصاً في الأطر الصارمة والمنظمة لتفسير سبب حدوث هذه الإخفاقات المحددة. تعتمد الأوصاف الحالية غالباً على استعارات هندسية أو تجريدات عالية المستوى تحجب مراحل خط الإنتاج (pipeline) المحددة التي تنشأ منها الأخطاء. وتجادل الورقة بأنه لفهم هذه القيود، يجب تفكيك سلوك النماذج اللغوية الكبيرة إلى مراحل حوسبة منفصلة وتحليلها من خلال منظور نظرية القابلية للحوسبة الكلاسيكية.

2. المنهجية: صياغة آلة تورينج متعددة الأشرطة

يقترح المؤلفون نموذجاً رسمياً لاستدلال النماذج اللغوية الكبيرة باستخدام آلة تورينج (TM) حتمية متعددة الأشرطة. يقوم هذا النموذج بتفكيك خط إنتاج النموذج اللغوي الكبير إلى مكونات متميزة ومتفاعلة، يمثل كل منها شريط محدد ومجموعة من حالات التحكم.

الأشرطة السبعة:

1. الشريط 1 (المدخلات الحرفية - Chars-in): الأحرف الخام (أبجدية البايت/الحرف).
2. الشريط 2 (الرموز - Tokens): تسلسلات الرموز (المعرفات الرقمية)، بما في ذلك رموز المدخلات والرموز المولدة.
3. الشريط 3 (المجزئ + المفردات - Tokeniser + Vocab): وصول للقراءة/الكتابة لقواعد دمج BPE، والمفردات، وإحصائيات التكرار، والخرائط العكسية.
4. الشريط 4 (مواصفات النموذج - Model Spec): البيانات الوصفية للهندسة المعمارية والمعلمات (أعداد نسبية ذات دقة محدودة).
5. الشريط 5 (العمل - Work): التنشيطات الوسيطة، بما في ذلك مخازن المفاتيح/القيم (KV caches) والقيم المؤقتة لعمليات الانتباه/التغذية الأمامية.
6. الشريط 6 (اللوجيتس/الاحتمالات - Logits/Probs): ذاكرة مؤقتة لتوزيعات الاحتمالات للرمز التالي.
7. الشريط 7 (المخرجات الحرفية - Chars-out): المخرجات الحرفية بعد فك الترميز.

مراحل التشغيل:
تعمل الآلة في تسلسل دوري من المراحل التي تحكمها دوال الانتقال:

• الترميز (Tokenisation): تقرأ الأحرف من الشريط 1، وتستشير القواعد في الشريط 3، وتكتب معرفات الرموز في الشريط 2.
• الحوسبة الأمامية (Forward Computation): تقرأ الرموز من الشريط 2، وتستخدم المعلمات من الشريط 4 ومساحة العمل من الشريط 5 لحساب عمليات الانتباه والتغذية الأمامية، وتكتب توزيعات الاحتمالات في الشريط 6.
• اختيار الرمز (Token Selection): تمسح الشريط 6 لاختيار الرمز التالي (الاستخراج الأقصى الطردي - greedy argmax أو أخذ العينات).
• الانبعاث وفك الترميز (Emission & Detokenisation): تضيف الرمز المختار إلى الشريط మైన 2 وتحوله مرة أخرى إلى أحرف في الشريط 7 باستخدام المفردة العكسية من الشريط 3.

يميز النموذج بين حالات التحكم (التي تحكم المرحلة، مثل $Q_{tok}, Q_{fwd}, Q_{select}$) ورموز الأشرطة. كما ينمذج صراحةً كيفية عمل آليات الانتباه عبر نوافذ محدودة وكيف يحد غياب برامج فرعية معينة (مثل المكدس أو العداد) من قدرات الآلة.

3. المساهمات الرئيسية

1. التفكيك الرسمي: تقديم صياغة رسمية لآلة تورينج متعددة الأشرطة تخصص أدواراً متميزة لكل مرحلة في خط إنتاج النماذج اللغوية الكبيرة، متجاوزةً الأوصاف التي تعتبرها "صندوقاً أسود".
2. تحديد موقع الخطأ: توضح كيفية تحديد الأخطاء في مراحل معينة (على سبيل المثال، التمييز بين أخطاء الترميز وقيود الحوسبة الأمامية).
3. الحدود الحوسبية: توضح المهام التي تعد بسيطة حوسبياً ولكنها غير متاحة للنماذج اللغوية الكبيرة القياسية بسبب غياب البرامج الفرعية الصريحة (مثل العد التكراري).
4. إعادة تفسير سلسلة الأفكار (CoT): تقدم تفسيراً نظرياً لـ "سلسلة الأفكار" كعملية تعهيد خارجي للحوسبة الوسيطة على شريط المخرجات (الشريط 7)، والذي يعمل كلوحة ملاحظات خارجية.
5. تحليل الانتباه: تصيغ آليات الانتباه كعمليات أشرطة، مما يسمه تحليل دقيق لأنماط الفشل مثل انتهاكات نافذة السياق وتشتت الانتباه.

4. النتائج والتحليل الرئيسي

أ. فشل عدّ "Strawberry"

تحلل الورقة سبب فشل النماذج اللغوية الكبيرة في عدّ حرف "r" في كلمة "Strawberry".

• الآلية: في أنظمة الترميز القياسية، غالباً ما يتم تقسيم "Strawberry" إلى كلمات فرعية (مثل Str, aw, berry) أو تُعامل كرمز واحد.
• نقطة الفشل: تعمل حالات الحوسبة الأمامية ($Q_{fwd}$) على معرفات الرموز. وما لم يتم تنفيذ برامج فرعية صريحة لعد الأحرف، لا يمكن للنموذج التكرار عبر البنية الحرفية الداخلية للرمز. عملية الترميز تحجب الحدود الحرفية المطلوبة لهذه المهمة.
• الحل في النموذج: لحل هذه المشكلة، يتطلب النموذج حالات محددة ($q_{locate}, q_{detok,internal}, q_{count}$) لربط الرموز بالأحرف والتكرار عبرها، مما يغير الخوارزمية فعلياً من مطابقة الأنماط إلى الحوسبة الرمزية.

ب. التداخل المركزي العودي (Recursive Centre-Embedding)

تبحث الورقة في الصعوبة التي تواجهها النماذج اللغوية الكبيرة مع جمل مثل "القط الذي الكلب الذي الفأر أخافه طارده..."

• الآلية: تعتمد نماذج Transformer على آليات الانتباه لتتبع التبعيات.
• نقطة الفشل: تحسب آلية الانتباه القياسية الأوزان بناءً على تشابه الرموز دون وجود آلية مكدس (stack) صريحة. ومع زيادة عمق التداخل، يفقد النموذج تتبع أي فاعل يتوافق مع أي فعل.
• الحد النظري: تربط الورقة هذا الأمر بـ تسلسل تشومسكي (Chomsky Hierarchy). تتطلب هياكل التداخل المركزي قواعد لغوية حساسة للسياق (النوع 1)، لكن نماذج Transformer القياسية ذات النوافذ المحدودة والتي تفتقر إلى ذاكرة صريحة تنفذ بحد أقصى قواعد لغوية خالية من السياق (النوع 2). وبدون حالات $q_{push}$ و $q_{pop}$ لإدارة المكدس، لا يمكن للنموذج حل التكرار العميق.

ج. تعزيز سلسلة الأفكار (CoT Prompting)

• الصياغة: يتم نمذجة CoT كعملية كتابة خطوات الاستدلال الوسيطة على الشريط 7 (شريط المخرجات) قبل توليد الإجابة النهائية.
• الآلية: يسمح هذا للنموذج بـ "الانتباه" إلى مخرجاته السابقة (على الشريط 7) أثناء عمليات المرور الأمامي اللاحقة، مما يستخدم شريط المخرجات فعلياً كذاكرة عمل ممتدة.
• القيود: لا تغير CoT الفئة الحوسبية الأساسية. فهي تساعد فقط عندما يمكن تعبير الخطوات الوسيطة خارجياً كلغة طبيعية ضمن نافذة السياق. وهي تفشل في المهام التي تتطلب تكراراً غير محدود، أو عدّاً دقيقاً بدون برامج فرعية، أو حل التناقضات.

5. الأهمية والآثار المترتبة

• تحليل دقيق للأخطاء: تنقل الورقة تحليل النماذج اللغوية الكبيرة من مجرد دراسة ظواهر قوانين القياس إلى تحليل مبدئي للأخطاء بناءً على نظرية القابلية للحوسبة. وهي توفر إطاراً قابلاً للتفنيد للتنبؤ متى ولماذا ستفشل النماذج.
• توضيح CoT: تزيل الغموض عن "سلسلة الأفكار"، وتظهر أنها ليست ترقية سحرية للاستدلال، بل هي نمط حوسبي محدد ينقل إدارة الحالة إلى شريط المخرجات. وهذا يفسر سبب وجود حدود لـ CoT (على سبيل المثال، لا يمكنها إصلاح غياب برنامج فرعي للعد).
• رؤى معمارية: يشير النموذج إلى أنه لحل مهام الاستدلال المعقدة، قد تتطلب النماذج اللغوية الكبيرة تغييرات في الهندسة المعمارية تقوم بتنفيذ ذاكرة تشبه المكدس أو برامج فرعية للعد بشكل صريح، بدلاً من الاعتماد فقط على زيادة عدد المعلمات أو تحسين الأوامر (prompting).
• مكمل للدراسات التجريبية: بينما تظهر الدراسات التجريبية أن النماذج تتوسع، فإن هذا النموذج الرسمي يشرح ما هو ممكن وغير ممكن حوسبياً للهياكل الحالية، مما يسد الفجوة بين سلوك الشبكات العصبية ونظرية علوم الحاسوب الكلاسيكية.

في الختام، تجادل الورقة بأن العديد من إخفاقات النماذج اللغوية الكبيرة ليست نات_جة عن نقص في "الذكاء"، بل هي عواقب متأصلة في خط الإنتاج الحوسبي المحدد (الترميز + الانتباه + الحالة المحدودة) وغياب البرامج الفرعية الخوارزمية الصريحة لمهام مثل العد والتكرار.