🤖 AI

Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs

تكشف هذه الورقة أن النماذج اللغوية الكبيرة تتكيف مع زيادة صعوبة المهام الخارجة عن نطاق التوزيع من خلال إنتاج تمثيلات أكثر تشتتًا للحالة المخفية الأخيرة، وهي آلية يستفيد منها المؤلفون لتطوير التعلم داخل السياق الموجه بالتشتت (SG-ICL) لتحقيق أداء محسّن بشكل كبير.

المؤلفون الأصليون: Mingyu Jin, Yutong Yin, Jingcheng Niu, Qingcheng Zeng, Wujiang Xu, Mengnan Du, Wei Cheng, Zhaoran Wang, Tianlong Chen, Dimitris N. Metaxas

نُشر 2026-03-05

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mingyu Jin, Yutong Yin, Jingcheng Niu, Qingcheng Zeng, Wujiang Xu, Mengnan Du, Wei Cheng, Zhaoran Wang, Tianlong Chen, Dimitris N. Metaxas

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "كلما زاد الانزياح، زادت ندرة التمثيل" (Farther the Shift, Sparser the Representation) باستخدام لغة بسيطة وتشبيهات إبداعية.

الفكرة الكبرى: تأثير "تجمد الدماغ"

تخيل أنك في حفلة.

السيناريو أ (سهل): شخص ما يسألك: "ما هو 2 + 2؟" يضيء دماغك فوراً. تشعر بالثقة، والاسترخاء، والاستعداد للدردشة مع الجميع. طاقتك الذهنية موزعة لأن المهمة مألوفة.
السيناريو ب (صعب): شخص ما يطرح عليك سؤالاً غريباً ومعقداً لم تسمع به من قبل، مثل: "إذا ارتدى حوت أزرق بدلة رسمية (تكسيدو)، كيف سيتنقل في متاهة مصنوعة من قناديل البحر؟"

فجأة، يتغير دماغك. تتوقف عن الدردشة مع الحشد. تتوقف عن التفكير في الموسيقى أو الوجبات الخفيفة. تصمت، وتركز بشدة على فكرة واحدة محددة، وتتجاهل كل شيء آخر. أنت الآن في "وضع البقاء".

اكتشفت هذه الورقة البحثية أن النماذج اللغوية الكبيرة (LLMs) تفعل الشيء نفسه تماماً.

عندما يواجه النموذج سؤالاً سهلاً (شيئاً رآه من قبل)، يكون "دماغه" الداخلي (الحالة الخفية الأخيرة - last hidden state) كثيفاً (dense). فهو يستخدم العديد من الخلايا العصبية في وقت واحد، ويوزع طاقته في كل مكان.
ولكن عندما يواجه النموذج سؤالاً صعباً (محيراً، متناقضاً، أو طويلاً جداً)، يصبح دماغه نادراً (sparse). إنه يغلق 90% من خلاياه العصبية ويركز كل قوته في عدد قليل جداً من الخلايا المحددة لمحاولة حل اللغز.

القاعدة الذهبية: كلما كان السؤال بعيداً عما يعرفه النموذج (خارج نطاق التوزيع - Out-of-Distribution)، أصبح دماغه أكثر ندرة.

كيف اكتشفوا ذلك: "اختبارات الضغط" الأربعة

لم يكتفِ الباحثون بالتخمين؛ بل أخضعوا النماذج لأربعة أنواع مختلفة من "اختبارات الضغط" ليروا كيف تتفاعل أدمغتها.

اختبار الرياضيات (تعقيد الاستنتاج):
- الإعداد: أعطوا النموذج مسائل رياضية تتراوح من "ما هو 5+5؟" إلى "حل مسألة حساب التفاضل والتكامل المتقدمة هذه".
- النتيجة: كلما زادت صعوبة الرياضيات، أصبح التمثيل الداخلي للنموذ de أكثر ندرة. كان الأمر كما لو أن النموذج يقول: "حسناً، لا يمكنني استخدام حِيلي المعتادة. أحتاج لتركيز كل طاقتي على هذا المسار المحدد".
فخ الاختيار من متعدد (خيارات الإجابة):
- الإعداد: أخذوا سؤالاً عادياً وأضافوا إليه 10، ثم 20، ثم 30 إجابة مزيفة (مشتتات) تبدو مشابهة جداً للإجابة الصحيحة.
- النتيجة: كلما كانت الخيارات أكثر إرباكاً، "انقبض" دماغ النموذج أكثر. كان عليه تجاهل الضجيج والتركيز على الإشارة الضئيلة للإجابة الصحيحة.
اختبار "الكاذب" (تضارب المعرفة):
- الإعداد: أخبروا النموذج بكذبة. على سبيل المثال، قالوا له: "في البرمجة، 'المتغير' هو في الواقع 'مولد أرقام عشوائية'". (هذا يتناقض مع ما تعلمه النموذج أثناء التدريب).
- النتيعة: عندما اضطر النموذج لمعالجة هذا التناقض، أصبح دماغه نادراً جداً. كان الأمر كما لو أن النموذج مرتبك ويجب عليه التوقف عن استخدام معرفته "الافتراضية" والتركيز بشدة على المعلومات الجديدة والمتضاربة.
اختبار القصة الطويلة (طول السياق):
- الإعداد: أعطوا النموذج قصة طولها 8,000 كلمة، ثم 32,000 كلمة، ثم 64,000 كلمة.
- النتيجة: كلما طالت القصة، زادت صعوبة العثور على الإجابة. ومع زيادة طول القصة، أصبح دماغ النموذج أكثر ندرة، حيث يركز فقط على الأدلة الحاسمة ويتجاهل بقية النص.

لماذا يحدث هذا؟ (منحنى التعلم)

نظر الباحثون أيضاً في كيفية تعلم النموذج لهذا السلوك. قاموا بتدريب نموذج صغير من الصفر على لعبة منطقية مصطنعة.

وجدوا نمطاً على شكل حرف "U" في كيفية عمل دماغ النموذج:

المرحلة 1 (التقليم): في البداية، يكون النموذج فوضوياً. يحاول تجربة كل شيء. ولكن مع تعلمه، يبدأ في "تقليم" (قطع) الخلايا العصبية التي ليست مفيدة. يصبح أكثر ندرة.
المرحلة 2 (الترسيخ): بمجرد أن يتقن النموذج موضوعاً ما، يصبح "كثيفاً" مرة أخرى. هو يعرف الإجابة جيداً لدرجة أنه يستطيع استخدام العديد من الخلايا العصبية للإجابة بثقة.
التحول المفاجئ: عندما يواجه النموذج شيئاً جديداً وصعباً (خارج نطاق التوزيع)، لا يمكنه استخدام شبكته "المتقنة" الكثيفة. عليه العودة إلى تلك الحالة "المقلمة" والمركزة. الأمر يشبه طباخاً ماهراً، عندما يُطلب منه طبخ طبق لم يره من قبل، يتوقف عن استخدام تقنياته الفاخرة ويعود إلى أساسيات طبخ البقاء المركزة.

الاستنتاج: الندرة ليست خطأً برمجياً؛ بل هي ميزة. إنها طريقة النموذج في القول: "هذا صعب. أحتاج لتركيز كل مواردي على هذه المشكلة المحددة لتثبيت عملية الاستنتاج".

القوة الخارقة: استخدام "الندرة" لتعليم النموذج

الجزء الأكثر إثارة في الورقة البحثية هو ما فعله الباحثون بهذا الاكتشاف. لقد أدركوا أنه يمكنهم استخدام "إشارة الندرة" هذه لجعل النموذج أكثر ذكاءً.

الطريقة القديمة (التخمين العشوائي):
عندما تسأل نموذجاً سؤالاً صعباً، فإنك عادة ما تعطيه بعض الأمثلة (مثل "إليك كيفية حل مسألة رياضية..."). عادةً، يختار الناس أمثلة مشابهة للسؤال.

الطريقة الجديدة (المنهج الدراسي الموجه بالندرة - SG-ICL):
بنى الباحثون نظاماً يسمى SG-ICL:

ينظرون إلى السؤال الصعب الذي طرحه المستخدم.
يتحققون من مدى "ندرة" دماغ النموذج عند قراءة هذا السؤال. (ندرة عالية = صعب جداً).
ينظرون إلى مكتبة الأمثلة لديهم. بدلاً من اختيار أمثلة عشوائية، يختارون أمثلة صعبة أيضاً (وبالتالي تجعل دماغ النموذج نادراً أيضاً).

التشبيه:
تخيل أنك تعلم طالباً كيفية الجري في ماراثون.

الطريقة القديمة: تعرض له فيديو لطفل عمره 5 سنوات يركض مسافة 100 متر لأنه "يشبه" الجري.
الطريقة الجديدة: تدرك أن الطالب يعاني في الماراثون. فتتحقق من "مستوى التوتر" لديه (الندرة). ترى أنه متوتر. لذا، تعرض له فيديو لـ عداء ماراثون محترف وهو يعاني في صعود تلة صعبة. أنت تطابق صعوبة الدرس مع صعوبة المشكلة.

النتيجة: جعلت هذه الطريقة النموذج أفضل بكثير في حل المسائل الرياضية الصعبة (حيث تحسنت الدقة من 75.2% إلى 76.6% في اختبار مرجعي صعب).

الملخص

الملاحظة: عندما يواجه النماذج اللغوية الكبيرة مهاماً صعبة أو محيرة أو جديدة، فإن أدمغتها الداخلية "تغلق" معظم خلاياها العصبية وتركز بشدة على عدد قليل منها. تصبح أكثر ندرة (Sparser).
المعنى: هذا ليس خطأً. إنه آلية بقاء ذكية للتعامل مع عدم اليقين.
التطبيق: من خلال قياس مدى "ندرة" النموذج، يمكننا معرفة مدى صعوبة المهمة. يمكننا بعد ذلك استخدام هذا لاختيار أمثلة أفضل لتعليم النموذج، مما يجعله أكثر ذكاءً وموثوقية.

باختاً: كلما زادت صعوبة المشكلة، زاد تركيز النموذج. وإذا فهمنا هذا التركيز، يمكننا تعليمه بشكل أفضل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "كلما ابتعد الإزاحة، زادت ندرة التمثيل: تحليل آليات الخروج عن التوزيع في النماذج اللغوية الكبيرة".

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) تدهوراً كبيراً في الأداء عند مواجهة مدخلات خارجة عن التوزيع (OOD)، مثل مهام الاستدلال المعقدة، أو السياقات الطويلة، أو المعرفة المتضاربة. وبينما تم توثيق المقاييس السلوكية (مثل انخفاض الدقة) بشكل جيد، فإن التغيرات الميكانيكية الداخلية التي تحدث داخل تمثيلات النموذج أثناء هذه الإزاحات لا تزال غير مفهومة بشكل كافٍ. وتحديداً، هناك نقص في الأبحاث حول كيفية تطور هندسة التمثيلات الداخلية مع زيادة صعوبة المهمة، وما إذا كان هناك إشارة متسقة تميز المدخلات المألوفة (داخل التوزيع، ID) عن المدخلات غير المألوفة (خارج التوزيع، OOD).

2. الفرضية الجوهرية

يفترض المؤلفون أنه كلما زادت صعوبة المهمة (أي كلما أصبح الإزاحة في التوزيع "أبعد")، تصبح التمثيلات الداخلية للنماذج اللغوية الكبيرة، وتحديداً في الحالة المخفية الأخيرة (last hidden state)، أكثر ندرة (sparser) بشكل منهجي. هذه الندرة ليست مجرد أثر جانبي، بل هي آلية تكيفية حيث يركز النموذج الحسابات في فضاءات فرعية متخصصة لاستقرار الاستدلال تحت ظروف عدم اليقين.

3. المنهجية

تستخدم الدراسة نهجاً متعدد الأوجه يجمع بين التحليل التجريبي عبر معايير متنوعة، والتجارب الاصطناعية المنضبطة، والاشتقاق النظري.

أ. التحليل التجريبي لإزاحات OOD

حلل المؤلفون الحالات المخفية الأخيرة لمختلف النماذج اللغوية الكبيرة (سلسلة Qwen2.5 وLlama3) عبر أربعة محاور محكومة للصعوبة:

تعقيد الاستدلال: باستخدام مجموعة بيانات MATH-500، قاموا بربط مستويات صعوبة المشكلات (1–5) بمقاييس الندرة.
توسع خيارات الإجابة: باستخدام MMLU-Robust (امتداد مخصص لـ MMLU-Pro)، أضافوا مشتتات منطقية إلى الأسئلة متعددة الخيارات لزيادة مساحة الحل دون تغيير محتوى السؤال.
صراع المعرفة: باستخدام مجموعة بيانات حيث تتعارض السياقات الخارجية مع معرفة النموذج البارامترية، قارنوا بين سيناريوهات "الصراع" مقابل "عدم الصراع".
طول السياق: باستخدام LongReason، قاموا بتغيير أطوال السياق (من 8k إلى 128k) لاختبار قدرات الاستدلال في السياقات الطويلة.

مقاييس الندرة المستخدمة:

معيار $\ell_1$ (L1 Norm): تشير القيم المنخفضة إلى ندرة أعلى.
نسبة طاقة Top-k: تشير القيم العالية إلى أن مجموعة فرعية صغيرة من الخلايا العصبية تهيمن على التنشيط.
الرتبة الفعالة (Effective Rank) وندرة Hoyer: مقايسات للتركيز وعدم المساواة في توزيع التنشيط.

ب. دراسة ما قبل التدريب الاصطناعية

لعزل ديناميكيات التعلم عن الضبط الدقيق اللاحق، قام المؤلفون بتدريب نموذج Transformer صغير الحجم من الصفر على رسم بياني معرفي اصطناعي.

توليد البيانات: أنشأوا بيئة محكومة بقواعد منطقية وأطوال قواعد متفاوتة لمحاكاة مهام سهلة (حفظ)، متوسطة (تركيب داخل التوزيع)، وصعبة (خارج التوزيع).
الملاحظة: تتبعوا مقاييس الندرة طوال عملية ما قبل التدريب لمراقبة ظهور ظاهرة "الأصعب هو الأكثر ندرة".

ج. التحليل النظري

قدم المؤلفون تبريراً نظرياً لـ ديناميكية التعلم على شكل حرف U لمعيار $\ell_1$ الموحد:

المرحلة الأولى (الندرة): تتضمن مرحلة التدريب المبكرة تقليم الميزات حيث يعمل اضمحلال الأوزان (weight decay) على تقليص أحجام الميزات، مما يقلل من معيار $\ell_1$ .
المرحلة الثانية (الكثافة): مع تقارب النموذج من البيانات المألوفة، يقوم بتوحيد التمثيلات، مما يزيد من معيار $\ell_1$ (كثافة أعلى) لعينات ID.
استجابة OOD: بالنسبة للمدخلات غير المألوفة (الصعبة)، يفشل النموذج في تنشيط هذه المنطويات (manifolds) الكثفة الموحدة ويعود إلى حالة نادرة.

د. التطبيق: التعلم داخل السياق الموجه بالندرة (SG-ICL)

بالاستفادة من اكتشاف أن الندرة ترتبط بالصعوبة، اقترح المؤلفون التعلم داخل السياق الموجه بالندرة (SG-ICL).

الآلية: بدلاً من اختيار الأمثلة قليلة الخطوات (few-shot) بناءً على التشابه الدلالي فقط، يقوم النظام بحساب درجة الندرة للاستعلام ويختار الأمثلة التي تطابق مستوى صعوبة الاستعلام (محاذاة المنهج الدراسي).
العملية: استرجاع المرشحين المتشابهين دلالياً $\leftarrow$ التصفية حسب فئة الندرة/الصعوبة $\leftarrow$ اختيار أفضل $k$ من الأمثلة.

4. النتائج الرئيسية

أ. ظاهرة "كلما ابتعدت الإزاحة، زادت ندرة التمثيل"

اتجاه ثابت: عبر جميع محاور الصعوبة الأربعة (MATH، MMLU-Robust، صراع المعرفة، السياق الطويل) وعائلات النماذج المتعددة، تؤدي زيادة الصعوبة باستمرار إلى جعل الحالات المخفية الأخيرة أكثر ندرة.
الأدلة الكمية:
- في MATH-500، مع زيادة الصعوبة من المستوى 1 إلى 5، انخفض معيار $\ell_1$ بشكل كبير (ارتباط $r \approx -0.86$ )، وزادت طاقة Top-10%.
- في مهام صراع المعرفة، أظهرت عينات الصراع ندرة أعلى بكثير (على سبيل المثال، زيادة قدرها +0.0378 في ندرة Hoyer) مقارلة بعينات عدم الصراع ( $p < 10^{-19}$ ).
- في مهام السياق الطويل، أدت السياقات الأطول (حتى 64k) إلى تمثيلات أكثر ندرة في الطبقات النهائية، بينما ظلت الطبقات المتوسطة مستقرة.

ب. ديناميكيات التعلم والآلية

الظهور في مرحلة ما قبل التدريب: يظهر نمط "الأصعب هو الأكثر ندرة" أثناء مرحلة ما قبل التدريب دون الحاجة لضبط دقيق خاص بالمهمة، مما يشير إلى أنه خاصية أساسية للتمثيلات المتعلمة.
ܠ
المنحنى على شكل حرف U: أكدت الدراسة وجود مسار على شكل حرف U لمعيار $\ell_1$ أثناء التدريب: ندرة أولية (اختيار الميزات) تليها كثافة (توحيد الميزات) للبيانات المألوفة. تفشل مدخلات OOD في تحفيز مرحلة التوحيد الكثف.
تمركز الطبقات: يعد التحول في كثافة التنشيط سلوكاً نهائياً في المقام الأول، حيث يحدث حصرياً في طبقات الـ Transformer الأخيرة، بينما تظل الطبقات المتوسطة مستقرة نسبياً.

ج. مكاسب الأداء (SG-ICL)

تفوقت استراتيجية SG-ICL المقترحة بشكل كبير على المعايير القياسية.
في مجموعة بيانات MATH-500 مع نموذج Qwen2.5-7B، حقق SG-ICL دقة بنسبة 76.60%، متفوقاً على المعيار القوي Auto-CoT (75.20%) و CoT التقليدي ذي الخطوات القليلة (74.00%).
يثبت هذا أن محاذاة صعوبة الأمثلة مع تعقيد الاستعلام عبر إشارات الندرة يحسن قدرات الاستدلال.

5. الأهمية والمساهمات

رؤية ميكانيكية: تجسر الورقة الفجوة بين فشل OOD السلوكي وهندسة التمثيل الداخلي، وتحدد الندرة كعلامة موثوقة وقابلة للقياس لصعوبة المهمة والإزاحة في التوزيع.
آلية تكيفية: تعيد صياغة الندرة ليس كخاصية معمارية ثابتة، بل كآلية ديناميكية وتكيفية حيث "يركز" النماذج الحسابات للتعامل مع عدم اليقين، مما يعمل كمرشح انتقائي فعال.
الأساس النظري: تقدم اشتقاقاً نظرياً يفسر ديناميكيات التعلم ذات الشكل U لكثافة التمثيل، وتربط بين اضمحلال الأوزان، ومحاذاة التدرج، وتوحيد الميزات.
التطبيق العملي: تقدم SG-ICL، وهي استراتيجية مبتعة وخالية من التدريب تستخدم إشارات الندرة الداخلية لتحسين هندسة الأوامر (prompt engineering)، مما يثبت أن فهم الميكانيكيات الداخلية يمكن أن يؤدي مباشرة إلى تحسين الأداء في مهام الاستدلال.
القدرة على التعميم: تسري النتائج عبر أحجام نماذج متنوعة (من 1B إلى 70B)، وبنيات مختلفة (Llama, Qwen)، مما يشير إلى مبدأ عالمي في استدلال النماذج اللغوية الكبيرة.

الخلاة

تضع الورقة قانوناً تجريبياً قوياً: "كلما ابتعدت الإزاحة، زادت ندرة التمثيل". ومن خلال فك شفرة هذه العلاقة، يقدم المؤلفون عدسة جديدة لتفسير سلوك النماذج اللغوية الكبيرة تحت الضغط، وأداة عملية (SG-ICL) لتعزيز استدلال النماذج، والانتقال من المقاييس السلوكية "الصندوق الأسود" إلى الإشارات الداخلية القابلة للتنفيذ.