Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models

ملخص تقني: ما وراء الاضمحلال الأسي

بيان المشكلة
تفترض رؤية متشائمة سائدة في النمذجة التنبؤية ذاتية الانحدار (autoregressive language modeling) أن الدقة تتناقص بشكل أسي مع طول المخرجات. يفترض هذا الطرح أن كل رمز (token) يمتلك احتمال خطأ مستقل $e$، وبالتالي فإن احتمال كون تسلسل بطول $n$ صحيحًا يتبع الصيغة $(1-e)^n$، والتي تقترب من الصفر مع نمو $n$. يشير هذا النموذج إلى وجود سقف صلب لموثوقية التوليد طويل السياق. ومع ذلك، فإن فرضية "الخطأ المستقل" هذه تفشل في تفسير الملاحظات التجريبية حيث تحافظ النماذج على التماسك عبر مخرجات طويلة، وتظهر قدرة على التصحيح الذاتي في منتصف عملية التوليد، وتُظهر أن أوزان الانتباه تتركز بكثافة على مجموعة فرعية صغيرة من السياق.

المنهجية والإطار النظري
تقترح الورقة نموذج خطأ ثنائي المعدل يرفض افتراض الخطأ الموحد لكل رمز. بدلاً من ذلك، يقوم النموذج بتقسيم الرموز إلى فئتين متمايزتين:

1. الرموز المفتاحية ($k$): مجموعة فرعية صغيرة (تُقدر تجريبيًا بنسبة 5%–10%) تحمل التبعيات طويلة المدى، والتماسك العالمي، والادعاءات الواقعية، والانتقالات المنطقية. تمتلك هذه الرموز معدل خطأ أعلى ($e_{key}$).
2. الرموز غير المفتاحية ($n-k$): غالبية الرموز، التي تحكمها القواعد النحوية المحلية، والمتلازمات اللفظية المتكررة، والسياق المتراكم. معدل الخطأ فيها ($e_{non}$) أقل بكثير ويقترب من الصفر مع تراكم السياق.

يفترض النموذج أن احتمال كون التسلسل صحيحًا يُقرب بالصيغة:
$$P(\text{correct}) \approx (1 - e_{key})^k \cdot (1 - e_{non})^{n-k}$$

الأهم من ذلك، أن عدد الرموز المفتاحية $k$ يتوسع بشكل دون خطي مع طول التسلسل $n$ (لوغاريتميًا، أو كقوة كسرية، أو يصل إلى حد أقص أقصى خاص بالمهمة $k_{max}$). علاوة على ذلك، يتضمن الإطار ديناميكيات متعددة الطبقات (stratified manifold dynamics)، مما يشير إلى أن التضمينات (embeddings) تنتظم في متشعبات دلالية منخفضة الأبعاد. الأخطاء الطفيفة (غير المفتاحية) غالبًا ما تظل ضمن المتشعب الصحيح، بينما الأخطاء في الرموز المفتاحية فقط هي التي تسبب قفزة في المسار إلى متشعب مختلف. وأخيرًا، يأخذ الإطار في الاعดับ تقارب المجموعات (ensemble convergence)، مشيرًا إلى أن أخطاء الاستدلال غالبًا ما تكون فردية (تختلف عبر العينات) وليست نظامية، مما يسمح لطرق التصويت بالأغلبية باستعادة الدقة.

المساهمات الرئيسية
تقدم الورقة ثلاث مساهمات رئيسية:

1. نموذج خطأ منقح: قدمت النموذج ثنائي المعدل (المعادلة 1)، الذي يميز بوضوح بين الرموز المفتاحية وغير المفتاحية ويصيغ اعتماد الموثوقية على التوسع دون الخطي لـ $k(n)$.
2. توليف الأدلة التجريبية: قامت بتوحيد ثلاثة خطوط بحثية حديثة لدعم مكونات النموذج:
   • تشتت الانتباه: الأدلة على أن ~9% فقط من الرموز تتطلب سياقًا طويل المدى (Fang et al., 2024) وأن الانتباه يتركز على جزء ضئيل من التسلسل (Liu et al., 2024).
   • هندسة التضمين: النتائج التي تشير إلى أن تضمينات النماذج اللغوية الكبيرة تشكل متشعبات منخفضة الأبعاد حيث لا تؤدي الاضطرابات في أبعاد "الضجيج" إلى تغيير المسار الدلالي (Li and Sarwate, 2025; Robinson et al., 2025).
   • تقارب المجموعات: البيانات التي تُظهر أن طرق الاتساق الذاتي والبحث الشجري تحسن الدقة لأن مسارات الاستدلال الصحيحة تتقارب على متشعب بينما تتباعد المسارات الخاطئة (Wang et al., 2023).
3. إعادة صياغة النتائج على مستوى النظام: تفسر النجاحات الهندسية الأخيرة — مثل ضغط المرتكزات (anchor compression)، والانتباه المعزز بالاسترجاع، والاتساق الذاتي — ليس كنجاحات مستقلة، بل كنتيجة طبيعية للحقيقة الهيكلية المتمثلة في أن موثوقية السياق الطويل تعتمد على عدد قليل من نقاط اتخاذ القرار.

النتائج ونظم الاضمحلال المتوقعة
بناءً على سلوك $k$ و $e_{non}$، تتوقع الورقة ثلاثة نظم اضمحلال هي أكثر اعتدالاً بكثير من الاضمحلال الأسي:

• النمو اللوغاريتمي ($k \sim \log n$): يؤدي إلى اضمحلال متعدد الحدود ($n^{-c}$).
• النمو ذو القوة الكسرية ($k \sim \sqrt{n}$): يؤدي إلى اضمحلال أسي ممدد (stretched-exponential).
• التشبع ($k \to k_{max}$): تصبح الموثوقية ثابتة بالنسبة لـ $n$ بمجرد الالتزام بالعدد الحرج من الحقائق المفتاحية.

توضح الورقة لماذا يفسر النظام الثالث قدرة الأنظمة على تحقيق تقليص في السياق بنسبة 99% مع حد أدنى من فقدان الدقة (Pang et al., 2024) ولماذا تعد سياقات 128 ألف رمز ممكنة على وحدات معالجة الرسومات الاستهلاكية (Liu et al., 2024).

الأهمية والآثار المترتبة
تجادل الورقة بأن نموذج الخطأ المستقل معيب جوهريًا لأنه يعتمد متوسطًا فوق مجتمع غير متجانس ويتجاهل ارتباط الخطأ. تكمن أهمية هذا العمل في نقل التركيز من "دقة الرمز الواحد الموحدة" إلى "تحديد وتأمين نقاط القرار المفتاحية".

عمليًا، يقترح هذا الإطار:

• الانتباه المتناثر: الانتباه الكثيف غير ضروري؛ يجب أن يركز الحوسبة على الإشارة المتناثرة للرموز المفتاحية.
• الحوسبة المستهدفة: يجب تخصيص الموارد لـ "انتقالات المتشعب" (نقاط عدم اليقين العالي) بدلاً من توزيعها بشكل موحد.
• المجموعات الاستراتيجية: التصويت بالأغلبية فعال لمهام الاستدلال (حيث تكون الأخطاء فردية) وليس لاسترجاع المعرفة (حيث تكون الأخطاء نظامية).
• التقييم: يعد مقياس "الارتباك" (perplexity) التقليدي مؤشرًا سيئًا للأداء اللاحق؛ المقاييس المقيدة بالرموز المفتاحية (مثل LongPPL) ترتبط ارتباطًا أقوى بكثير بالنجاح في المهمة.

القصور
يشير المؤلفون إلى أن الإطار هو توليف لأدلة موجودة وليس اشتقاقًا من المبادئ الأولى. لم يتم بعد قياس المعلمات $k$ و $e_{key}$ و $e_{non}$ بشكل مشترك في اختبار معياري واحد. بالإضافة إلى ذلك، يعتمد التمييز بين الأخطاء الفردية والنظامية حاليًا على الملاحظة اللاحقة بدلاً من معيار كمي مسبق.

الخاتمة
تخلص الورقة إلى أن النماذج اللغوية الكبيرة الحديثة تحافظ على التماسك عبر مخرجات طويلة ليس لأن الهندسة قد تغلبت على حاجز الاضمحلال الأسي، بل لأن الحاجز نفسه كان توصيفًا خاطئًا للمشكلة. تعتمد الموثوقية على عدد محدود أو متنامٍ دون خطيًا من القرارات المفتاحية، وليس على دقة كل رمز بشكل موحد.