💬 NLP

Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge

تقدم هذه الورقة مفهوم "مفارقة وفرة المعلومات"، موضحةً أن تدريب النماذج اللغوية الكبيرة بسياقات طويلة للغاية يمكن أن يقوض قدرتها على استيعاب المعرفة بارامترياً، مما يتسبب في اعتمادها المفرط على الإشارات السياقية ويؤدي في النهاية إلى خفض الأداء في المهام التي تتطلب استرجاع المعرفة دون دعم.

المؤلفون الأصليون: Arda Uzunoglu, Benjamin van Durme, Daniel Khashabi

نُشر 2026-08-13

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Arda Uzunoglu, Benjamin van Durme, Daniel Khashabi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يكتب القصص أو يحل الألغاز. لفترة طويلة، اعتقد العلماء أن أفضل طريقة للقيام بذلك هي تغذية الروبوت بمكتبة ضخمة من الكتب، والأكواد، والمحادثات، على أمل أنه كلما قرأ أكثر، أصبح أكثر ذكاءً. هذا هو عالم النماذج اللغوية الكبيرة (LLMs)، وهي نوع الذكاء الاصطناعي الذي يشغل برامج الدردشة الآلية ومساعدي الكتابة اليوم. الفكرة الكبرى التي كان الجميع يطاردها هي "السياق": إعطاء الروبوت نافذة عملاقة لينظر من خلالها. فبدلاً من مجرد قراءة جملة واحدة في كل مرة، يمكن للروبوت النظر إلى صفحة كاملة، أو كتاب كامل، أو حتى تاريخ محادثة كاملة دفعة واحدة. كان الافتراض بسيطاً: إذا أعطيت الروبوت مزيداً من المعلومات لينظر إليها أثناء التعلم، فسيصبح أفضل في استخدام تلك المعلومات لاحقاً. الأمر يشبه التفكير في أنه إذا درست باستخدام كتاب مدرسي أكبر، فستصبح تلقائياً طالباً أفضل.

ولكن ماذا لو كان هذا الكتاب المدرسي "مفيداً للغاية"؟ ماذا لو كان، ولأن الإجابات موجودة أمام عينيك مباشرة أثناء الدراسة، يقرر عقلك أنه ليس بحاجة لحفظ أي شيء؟ قد تصبح بارعاً جداً في إيجاد الإجابة في الكتاب، ولكن إذا سحب شخص ما الكتاب منك أثناء الاختبار، فقد تضيع تماماً. هذه هي المسألة الشائكة التي قرر فريق من الباحثين في جامعة جونز هوبكنز التحقيق فيها. أرادوا معرفة ما إذا كان إعطاء نماذج الذكاء الاصطناعي نافذة "فائقة الحجم" للقراءة أثناء التدريب يساعدها حقاً على التعلم بشكل أفضل، أم أنه يعلمها بالخطأ الاعتماد كلياً على المعلومات الموجودة أمامها مباشرة بدلاً من بناء معرفتها الداخلية الخاصة.

مفارقة وفرة المعلومات

اكتشف الباحثون شيئاً يسمونه مفارقة وفرة المعلومات. يبدو الاسم معقداً، لكن الفكرة في الواقع مرحة ومتناقضة مع المنطق قليلاً. فقد وجدوا أنه عندما تدرب نموذج ذكاء اصطناعي على كمية هائلة من المعلومات ذات الصلة الموجودة مباشرة في "نافذة السياق" الخاصة به (النص الذي يمكنه رؤيته أثناء التعلم)، يتوقف النموذج عن محاولة حفظ الحقائق. بدلاً من ذلك، يتعلم مجرد النظر إلى النص المعطى له ونسخ الإجابة.

فكر في الأمر كطالب يخوض اختباراً في الرياضيات:

الطريقة القديمة (المعرفة البارامترية): يدرس الطالب بجد، ويحفظ الصيغ، ويتعلم القواعد. وعندما يرى مسألة، يحلها باستخدام ما هو داخل رأسه.
الطريقة الجديدة (السياقية): يُسمح للطالب بإبقاء كتابه المدرسي مفتوحاً على المكتب أثناء الدراسة. يدرك أنه ليس بحاجة لحفظ الصيغ؛ يمكنه فقط تقليب الصفحة وإيجاد الإجابة فوراً. يصبح خبيراً في استخدام الكتاب.

المفارقة هي أنه بينما يحصل هذا "الطالب المعتمد على الكتاب المفتوح" على درجات كاملة عندما يكون الكتاب موجوداً، فإنه يفشل فشلاً ذريعاً إذا أخذت منه الكتاب. يشير الباحثون إلى أنه من خلال إغراق الذكاء الاصطناعي بالكثير من السياق المفيد أثناء التدريب، فإننا نعلمه بالخطأ أن يصبح "مدمناً على السياق". فهو يتوقف عن بناء عقل داخلي قوي ويبدأ في الاعتماد كلياً على النص الخارجي.

الدليل: عندما لا يكون "الأكبر" هو "الأفضل"

لإثبات ذلك، أجرى الفريق سلسلة من التجارب التي بدت وكأنها عرض سحري علمي.

1. تجربة ما قبل التدريب (التعلم من الصفر)
أخذوا نماذج ذكاء اصطناعي صغيرة ودربوها على مجموعة ضخمة من الكتب (مشروع غوتنبرغ). وقاموا بتغيير حجم "النافذة" التي يمكن للنماذج رؤيتها في وقت واحد، بدءاً من 512 كلمة صغيرة وصولاً إلى 32,000 كلمة ضخمة.

النتيجة: في البدافلة، مع زيادة حجم النافذة، أصبحت النماذج أكثر ذكاءً. ولكن بعد ذلك، حدث شيء غريب. بعد أن وصلت النافذة إلى حجم معين (حوالي 2,000 إلى 8,000 كلمة، اعتماداً على المهمة)، بدأت النماذج تصبح أسوأ.
التشبيه: تخيل طالباً يبدأ بكتيب صغير. يجب عليه حفظ كل شيء لكي يؤدي جيداً. ثم يحصل على كتيب أكبر، فيؤدي بشكل أفضل. ولكن بعد ذلك يحصل على لفافة ورقية ضخمة وغير منتهية. فجأة، يتوقف عن حفظ أي شيء. إنه فقط ينظر إلى اللفافة. عندما يأتي الاختبار وتختفي اللفافة، لا يستطيع تذكر أي شيء. كانت "النقطة المثالية" للتعلم تقع في المنتصف، وليس عند الحجم الأقصى.

2. تجربة الضبط الدقيق (تعلم مهام محددة)
بعد ذلك، أخذوا نماذج ذكاء اصطناعي موجودة وعلموها موضوعات محددة مثل القانون، والصحة، والاقتصاد. وتحكموا بدقة في مقدار النص "المفيد" الذي تراه النماذج أثناء التدريب.

النتيجة: عندما تم تدريب النماذج مع الكثير من الوثائق المفيدة، أصبحت رائعة في الإجابة على الأسئلة إذا تم توفير تلك الوثائق مرة أخرى. ولكن إذا تمت إزالة الوثائق، أو إذا كانت الوثائق تحتوي على معلومات مضللة، فإن النماذج تنهار.
كلما زاد السياق المفيد الذي رآه النموذج أثناء التدريب، قلّت قدرته على الصمود. أصبحوا مثل جهاز تحديد المواقع (GPS) الذي يعمل بشكل مثالي عندما تتوفر الإشارة، ولكن إذا انقطعت الإشارة، فإنه لا يعرف كيف يتنقل بالنظر إلى الخريطة أو الشمس.

لماذا يحدث هذا؟ "الدماغ" الفعال

تعمق الباحثون في "دماغ" الذكاء الاصطناست ليروا ما يحدث خلف الكواليس. ووجدوا سببين رئيسيين لهذا السلوك:

1. مسار المقاومة الأقل
التعلم عمل شاق. يتطلب الأمر طاقة لحفظ قاعدة وتخزينها في دماغك (أوزان النموذج). ولكن إذا كانت الإجابة موجودة هناك مباشرة في النص، فمن الأسهل بكثير مجرد البحث عنها. وجد الباحثون أنه عندما كان السياق غنياً ومفيداً، وجد الذكاء الاصطناعي "حلاً أقل تعقيداً". كان الأمر أشبه بإيجاد طريق مختصر. أدرك الذكاء الاصطناعي: "لماذا أتعب نفسي في حفظ قاعدة 'نفي البت' بينما يمكنني فقط النظر إلى المثال الموجود هنا؟". لذا، توقف عن الحفظ وبدأ في البحث.

2. التحول في قوة الدماغ
نظروا أيضاً إلى أي أجزاء من دماغ الذكاء الاصطناعي كانت تقوم بالعمل.

الشبكات الأمامية (FFNs): فكر في هذه كـ "بنوك الذاكرة" حيث يخزن النموذج الحقائق والقواعد.
وحدات الانتباه (Attention Modules): فكر في هذه كـ "عيون" النموذج التي تمسح النص للعثور على المعلومات.
الاكتشاف: عندما تم تدريب الذكاء الاصطناعي مع سياقات طويلة ومفيدة، انتقل "الضغط" لتعلم المعلومات. توقفت التحديثات عن الذهاب إلى بنوك الذاكرة (FFNs) وبدأت تذهب بالكامل إلى "العيون" (Attention). لقد أعاد النموذج صياغة نفسه حرفياً ليكون أفضل في مسح النصوص وأسوأ في تخزين الحقائق.

الخلاصة

تشير الورقة البحثية إلى أن السباق لبناء نماذج "سياق لانهائي" — الذكاء الاصطناعي الذي يمكنه قراءة مكتبات كاملة في نظرة واحدة — قد يصطدم بجدار خفي. الأمر لا يتعلق فقط بامتلاك المزيد من البيانات أو أجهزة كمبيوتر أكبر. إذا دربنا هذه النماذج مع الكثير من المعلومات أمام أعينهم مباشرة، فقد ننشئ نماذج بارعة جداً في القراءة ولكنها سيئة جداً في التفكير بمفردها.

الباحثون لا يقولون إن نماذج السياق الطويل سيئة. هم فقط يحذروننا من أن الأمر ليس مجرد حالة "المزيد هو الأفضل". هناك مقايضة. إذا كنت تريد نموذجاً يمكنه الإجابة على الأسئلة دون وجود كتاب في يده، فقد تحتاج في الواقع إلى تدريبه بسياق أقل، مما يجبره على بناء معرفته الداخلية الخاصة. أما إذا كنت تهتم فقط بالنماذج التي يمكنها قراءة وثيقة وتلخيصها، فإن السياق الطويل رائع. ولكن إذا كنت تريد مساعداً ذكياً حقاً يمكنه التفكير حتى عندما لا تتوفر المعلومات، فإن "مفارقة وفرة المعلومات" تشير إلى أننا بحاجة إلى توخي الحذر لكي لا نجعل ذكاءنا الاصطناعي شديد الاعتماد على الكتاب.

ملخص تقني: مفارقة وفرة المعلومات

بيان المشكلة

تتعرض النماذج اللغوية الكبيرة (LLMs) بشكل متزايد للتدريب والنشر مع نوافذ سياق تمتد لملايين الرموز (tokens)، مدفوعة بافتراض ضمني بأن تعريض النماذج لسياقات أغنى وأطول سيؤدي خطيًا إلى تحسين الأداء من خلال توفير المزيد من الأدلة. ومع ذلك، تشير الملاحظات التجريبية إلى أن مجرد توسيع نطاق طول السياق لا يضمن استمرار التقدم؛ ففي بعض الحالات، تؤدي نسخ النماذج ذات السياق الطويل (مثل Phi-3 128K و OLMo 3 65K) أداءً أقل من نظيراتها ذات السياق الأقصر. وهذا يثير تساؤلاً جوهريًا: هل المسار نحو سياق يقترب من اللانهائية هو مجرد مسألة توفير المزيد من بيانات السياق الطويل، أم أن نافذة السياق تغير ديناميكيات التعلم للنموذج بشكل جذري؟

تتحدى الورقة البحثية الرؤية التي تعتبر نافذة السياق مجرد قناة محايدة لنقل البيانات. وبدلاً من ذلك، تفترض أن وجود معلومات وثيقة الصلة بوفرة في سياق التدريب قد ينقل استراتيجية تعلم النموذج بعيدًا عن الاستيعاب البارامتري (ترميز المعرفة في الأوزان) نحو السياقية (الاعتماد على الأدلة المقدمة في المدخلات). يمكن أن يؤدي هذا التحول إلى "إدمان السياق"، حيث تؤدي النماذج أداءً جيدًا عندما يكون السياق موجودًا، ولكن أداءها يتدهور بشكل كبير عندما يكون غائبًا أو مضللاً.

المنهجية

يتحقق المؤلفون من هذه الفرضية من خلال مزيج من التجارب التجريبية، والتحليل النظري، والتقصي الميكانيكي عبر نظامين للتدريب: ما قبل التدريب (pretraining) والضبط الدقيق الخاضع للإشراف (SFT).

1. التجارب التجريبية

دراسة ما قبل التدريب: قام المؤلفون بتدريب نماذج تعتمد على Llama-2 بأربعة أحجام (من 20 مليون إلى 750 مليون معلمة) على ميزانية ثابتة من الرموز (10 مليارات رمز) من مشروع Gutenberg. قاموا بتغيير نافذة سياق التدريب بشكل منهجي ( $W \in \{512, \dots, 32768\}$ $W \in {512, \dots, 32768}$ ) مع إبقاء إجمالي عدد الرموز وخطوات التحسين ثابتة.
- التقييم: تم تقييم النماذج على نمذجة اللغة (LAMBADA, WikiSPAN, PTB)، وفهم اللغة العام (SuperGLUE)، والإجابة على الأسئلة متعددة الخيارات مغلقة الكتاب (MCQA) لقياس المعرفة البارامترية.
دراسة الضبط الدقيق الخاضع للإشراف (SFT): باستخدام نماذج Qwen3 (من 0.6 مليار إلى 14 مليار معلمة)، قام المؤلفون بضبط النماذج بدقة على مجالات MMLU-Pro (الصحة، الاقتصاد، القانون، علم النفس). ثبتوا ميزانية السياق (8 وثائق) ولكنهم غيروا درجة المعلوماتية في السياق ( $k \in \{0, 4, 8\}$ $k \in {0, 4, 8}$ وثيقة من المجال المستهدف).
- التقييم: تم اختبار النماذج تحت ثلاث حالات: سياق داعم (أدلة صحيحة)، سياق متضارب (أدلة مضللة)، ولا سياق.
ما قبل التدريب الاصطناعي: لعزل الآلية، قام المؤلفون بتدريب نماذج على مهام اصطناعية (عمليات بتية، تحويلات السلاسل النصية، حساب mod10، وتشفير Caesar) مع تغيير عدد العروض التوضيحية داخل السياق. قاموا بقياس "فجوة الدعم-التضارب" لتحديد مدى الاعتماد على السياق، واستخدموا متوسط معايير تدرج التدريب (gradient norms) كوكيل لتعقيد الحل.

2. التحليل النظري

صاغ المؤلفون المقايضة باستخدام نظرية المعلومات. عرّفوا حد المعرفة البارامترية ( $I_k(\rho)$ ) كأقل قدر من معلومات المهمة التي يجب تخزينها في الأوزان لتحقيق عتبة خطر $\rho$ بمعلومية حجم سياق $k$ . أثبتوا أنه بالنسبة للمدخلات المتداخلة، فإن $I_m(\rho) \leq I_k(\rho)$ لـ $m > k$ ، مما يوضح أن السياقات الأطول تقلل نظريًا من الحد الأدنى من المعلومات المطلوبة في الأوزان لتحقيق نفس الأداء.

3. التحليل الميكانيكي

تخصيص التدرج: حلل المؤلفون نسبة معايير التدرج بين شبكات التغذية الأمامية (FFNs) ووحدات الانتباه الذاتي (SA). ترتبط الـ FFN بالمعرفة البارامترية، بينما يرتبط الـ SA بالتوجيه السياقي.
التدخلات السببية: أجروا ضبطًا دقيقًا مقيدًا بالوحدات، حيث تم تحديث الـ FFNs فقط أو رؤوس الـ SA فقط، لمراقبة التأثيرات السببية على المتانة والاعتماد على السياق.
انتباه مستوى الرمز: قاسوا كتلة الانتباه المخصصة لرموز السياق أثناء الاستنتاج لتحديد كمية التحول في الحوسبة.

النتائج الرئيسية

1. منحنى الأداء المقلوب (Inverted-U)

في مرحلة ما قبل التدريب، يؤدي زيادة نافذة السياق إلى تحسين الأداء حتى يصل إلى حد أمثل متوسط (على سبيل المثال، ~2048 رمزًا لـ SuperGLUE/MCQA، و ~8192 لنمذجة اللغة) قبل أن يتراجع الأداء باستمرار. يحدث هذا التدهور رغم ثبات ميزانيات الرموز وسعات النماذج، مما يشير إلى أن السياقات الأطول ليست مفيدة بطبيعتها بعد نقطة معينة.

2. إدمان السياق في SFT

في الضبط الدقيق الخاضع للإشراف، يؤدي زيادة كمية السياق ذي الصلة بالمهمة أثناء التدريب ( $k=8$ ) إلى تحسين الدقة بشكل كبير عندما يكون السياق الداعم متاحًا في وقت الاختبار. ومع ذلك، يأتي هذا على حساب تراجع المتانة:

أداء بدون سياق: النماذج المدربة بسياق ذي صلة عالية تؤدي أداءً أسوأ بكثير عندما يغيب السياق مقارنة بالنماذج المدربة بسياق ذي صلة منخفضة.
السياق المتضارب: هذه النماذج أكثر عرضة للسياق المضلل، حيث تظهر انخفاضًا أكبر في الدقة عند تقديم أدلة متضاربة.

3. التحولات الميكانيكية

تعقيد الحل: في المهام الاصطناعية، يظهر "إدمان السياق" (فجوات الدعم-التضارب الكبيرة) تحديدًا في المهام التي تتيح فيها السياقات الأطول حلولاً أقل تعقيدًا (يُشار إليها بانخفاض متوسط معايير تدرج التدريب). المهام التي لا تستفيد من الحلول السياقية الأبسط (مثل حساب mod10) لا تظهر هذا التحول.
إعادة تخصيص التدرج: ينقل التدريب مع سياق معلوماتي الضغط التدرجي بعيدًا عن الـ FFNs (الاستيعاب البارامتري) ونحو وحدات الانتباه الذاتي (السياقية). لوحظ هذا التحول في كل من ما قبل التدريب وSFT.
سلوك الاستنتاج: تخصص النماذج المدربة بسياق غني كتلة انتباه أكبر لرموز السياق أثناء الاستنتاج، خاصة في الطبقات الوسطى، مما يؤكد الاعتماد السببي على المعلومات المقدمة.

المساهمات الرئيسية

مفارقة وفرة المعلومات: تقدم الورقة فرضية أن وجود معلومات وثيقة الصلة بوفرة في سياقات التدريب يمكن أن يقلل من الحافز للنماذج لترميز تلك المعلومات بارامتريًا، مما يؤدي إلى تحول من الاستيعاب إلى السياقية.
دليل تجريبي على عدم رتابة التوسع: تقدم الدراسة دليلًا قويًا على أن توسيع نوافذ السياق ليس مكسبًا مجانيًا؛ فبعد الحد الأمثل المتوسط، يمكن للسياقات التدريبية الأطول أن تضعف الأداء "مغلق الكتاب" والمتانة.
التفسير الميكانيكي: تحدد الورقة الآليات العصبية المحددة التي تقود هذه الظاهرة: التحول في ضغط التحسين من الـ FFNs إلى وحدات الانتباه، وتبني حلول أقل تعقيدًا تعتمد على السياق بدلاً من الأوزان.
الصياغة النظرية: تقدم الورقة برهانًا نظريًا يوضح أن السياقات الأطول تقلل من المعلومات البارامترية الدنيا المطلوبة لتحقيق خطر مستهدف، مما يفسكن لماذا قد "تنسى" النماذ المعرفة لصالح الاعتماد على السياق.

الأهمية والادعاءات

تجادل الورقة بأن التوجه نحو نوافذ سياق تقترب من اللانهائية لا يمكن فهمه فقط كمسألة بيانات. بدلاً من ذلك، تعمل نافذة السياق كـ معلم فائق (hyperparameter) يحكم نمط التعلم.

تحدي النماذج الحالية: تتحدى النتائج الافتراض القائل بأن "المزيد من بيانات السياق الطويل" هي دائمًا الطريق إلى الأمام. يقترح المؤلفون أن توسيع طول السياق قد يستبدل المعرفة البارامترية القابلة لإعادة الاستخدام بالكفاءة المعتمدة على السياق.
الآثار على المتانة: النماذج المدربة بسياقات طويلة غنية بالمعلومات قد تصبح "مدمنة على السياق"، وتفشل عندما يكون السياق مفقودًا أو تالفًا. وهذا له آثار حاسمة على النشر في السيناريوهات التي لا يكون فيها توفر السياق مضمونًا.
توجيهات التصميم: تقترح الورقة أن استراتيجيات التدريب المثلى يجب أن توازن طول السياق لتجنب نقل نمط تعلم النموذج بعيدًا جدًا نحو السياقية، مما قد يتطلب مناهج تعليمية أو قيودًا تحافظ على المعرفة البارامترية.

يخلص المؤلفون إلى أنه بينما تعد معالجة السياق الطويل قدرة قوية، إلا أنها تغير بشكل أساسي ما تستوعبه النماذج ومدى اعتمادها على معلومات وقت الاستنتاج، مما يستوجب إعادة تقييم قوانين التوسع لنوافذ السياق.