تخيل أنك تحاول قراءة رواية ضخمة مكونة من ألف صفحة دفعة واحدة للإجابة على سؤال واحد. في عالم الذكاء الاصطناعي، هذه "الروايات" هي سلاسل نصية طويلة، و"القارئ" هو النموذج اللغوي الكبير (LLM). لفهم القصة، يستخدم النموذج حيلة ذكية تسمى "الانتباه الذاتي" (self-attention)، والتي تسمح له بالنظر إلى كل كلمة قرأها بالفعل ليفهم كيف ترتبط ببعضها البعض. فكر في الأمر كأنك محقق، ومن أجل كل دليل جديد، يراجع دفتر ملاحظاته الكامل من الأدلة السابقة ليرى ما إذا كان هناك أي تطابق.

المشكلة هي أنه كلما طالت القصة، اضطر هذا المحقق إلى بذل المزيد والمزيد من العمل. إذا تضاعف طول القصة، فإن عمل المحقق لا يتضاعف فحسب، بل يربيع (يصبح أربعة أضعاف). هذا "الانفجار التربيعي" يعني أن قراءة مستند طويل جداً تستغرق وقتاً هائلاً وقدرة حوسبة كبيرة، مما يجعل الذكاء الاصطناعي يبدو بطيئاً أو حتى يتسبب في نفاذ الذاكرة لديه. لقد حاول العلماء إصلاح ذلك من خلال إخبار المحقق بتجاهل معظم صفحات الدفتر والتركثير فقط على الصفحات الأكثر أهمية (وهي طريقة تسمى "الانتباه المتناثر" أو sparse attention). ومع ذلك، كانت الطرق القديمة في اختيار تلك الصفحات خرقاء نوعاً ما، حيث كانت غالباً ما تتخلص من الأدلة الخاطئة وتترك المحقق في حالة من الارتباك.

يقدم هذا البحث طريقة جديدة وأكثر ذكاءً لتقرير أي الصفحات يجب الاحتفاظ بها، تسمى Stem. أدرك الباحثون أنه في القصة، الكلمات القليلة الأولى تشبه جذور الشجرة؛ فهي تدعم كل ما ينمو لاحقاً. إذا قطعت الجذور، ستسقط الشجرة بأكملها. الطرق القديمة عاملت كل صفحة في الدفتر بنفس الطريقة، لكن طريقة "Stem" الجديدة تعرف أن بداية النص مميزة. فهي تحتفظ بنظرة تفصيلية لبداية القصة بينما تكون أكثر استرخاءً فيما يتعلق بالمنتصف والنهاية. ومن خلال القيام بذلك، يمكن للذكاء الاصطناعي قراءة المستندات الطويلة بشكل أسرع بكثير — مما يقلص وقت الانتظار من أكثر من 1.5 ثانية إلى 0.4 ثانية فقط للنصوص الطويلة جداً — دون أن يفقد قدرته على فهم القصة.

جذر المشكلة: لماذا تهم "الجذور" أكثر من "الأوراق"

بدأ مؤلفو هذا البحث، وهم لين نيو، وشين لو، وفريقهم، بإعادة التفكير في كيفية تدفق المعلومات عبر نماذج الذكاء الاصطناعي هذه. لقد لاحظوا شيئاً حاسماً أغفلته الطرق السابقة: الاعتماد السببي (causal dependency).

في نموذج ذكاء اصطناعي قياسي، الكلمة الأولى في الجملة لا تقبع هناك فحسب؛ بل تساعد في بناء معنى الكلمة الثانية، والتي تساعد بدورها في بناء الثالثة، وهكذا. إنه يشبه لعبة "الهاتف المكسور" حيث يتم تمرير همس الشخص الأول عبر الخط. إذا أفسدت الهمسة الأولى، فستصل الرسالة النهائية مشوهة. وجد الباحثون أنه في طبقات الذكاء الاصطنا هذه، تكون الرموز (tokens) الأولى (الكلمات الرقمية) مشاركة في حساب معنى كل رمز لاحق. إنها "المرتكزات التكرارية".

إذا قمت بتقليم (إزالة) رمز من بداية النص لتوف الله المساحة، فأنت لا تخسر مجرد قطعة واحدة من المعلومات. أنت تكسر السلسلة لبقية الجملة بأكملها. إنه يشبه إزالة أساس ناطحة سحاب؛ سيصبح المبنى بأكمله غير مستقر. وعلى العكس من ذلك، إذا أزلت رمزاً من نهاية الجملة، فسيؤثر ذلك فقط على تلك الكلمة الأخيرة. أما بقية المبنى فسيظل صامداً.

حاولت الطرق "المتناثرة" السابقة توفير الوقت عن طريق اختيار أفضل $k$ من الكلمات باستخدام قاعدة موحدة — مثل القول: "سنحتفظ فقط بأفضل 10% من الكلمات، بغض النظر عن مكانها في الجملة". يرى المؤلفون أن هذا خطأ. إنه يشبه أمين مكتبة يقرر التخلص من أول 10% من كل كتاب لأنها "قديمة"، دون أن يدرك أن تلك الصفحات الأولى تحتوي على جدول المحتويات وبناء الحبكة. تشير الورقة البحثية إلى أن الأساليب الحالية غالً ما تفشل لأنها تتجاهل "تدفق المعلومات السببي" هذا، حيث تعامل بداية القصة ونهايتها على أنهما متساويتان في القابلية للتخلص منها.

الحل: إطار عمل "Stem"

لإصلاح ذلك، اقترح الفريق Stem، وهو وحدة نمطية جديدة تعمل كمرشح ذكي ومتكيف لانتباه الذكاء الاصطناعي. لا يتطلب Stem إعادة تدريب الذكاء الاصطناعي؛ فهو أداة "تعمل بمجرد التوصيل" (plug-and-play) يمكن إضافتها إلى النماذج الحالية لجعلها أسرع. يستخدم Stem استراتيجيتين رئيسيتين لتقرير ما يجب الاحتفاظ به وما يجب التخلص منه.

1. استراتيجية اضمحلال موقع الرمز (TPD)
بدلاً من استخدام قاعدة موحدة، يستخدم Stem جدول "اضمحلال". تخيل ميزانية لكيفية توجيه الانتباه لأجزاء مختلفة من النص. تقول Stem: "سننفق الكثير من ميزانيتنا على بداية النص، ثم ننفق أقل فأقل مع تقدمنا نحو النهاية".

رياضياً، يبدأون بعدد كبير من الرموز للاحتفاظ بها في البداية (لنسمها $k_{start}$)، ثم يقللون هذا العدد خطياً مع مرورهم عبر النص، لينتهي الأمر بعدد أصغر ($k_{end}$) في النهاية تماماً. ووجدوا أن ضبط نسبة الاضمحلال ($\mu$) عند 0.7 هو الأفضل. وهذا يعني أن الميزانية في النهاية هي 70% مما هي عليه في البداية. هذا يضمن الحفاظ على "جذور" شجرة المعلومات، مما يمنع التشوه العالمي الذي يحدث عند تقليم الرموز المبكرة.

2. مقياس مدرك للمخرجات (OAM)
الجزء الثاني من Stem يتعلق بكيفية اختيار الرموز المحددة التي سيتم الاحتفاظ بها ضمن تلك الميزانية. نظرت الطرق القديمة فقط إلى "درجة الانتباه" — أي مدى ارتباط الكلمة بالكلمة الحالية من وجهة نظر الذكاء الاصطناعي. أدرك المؤلفون أن هذا يشبه الحكم على الكتاب من غلافه؛ فقد يكون للكلمة درجة عالية ولكنها تحمل معلومات قليلة جداً (مثل همس خافت وصغير).

يقدم Stem مقياساً جديداً ينظر إلى مقدار المعلومات. يسأل: "ما حجم الإشارة؟" حتى لو كانت للكلمة علاقة متوسطة، إذا كانت تحمل قدراً هائلاً من "القيمة" (إشارة قوية وواضحة)، فإن Stem يحتفظ بها. لقد دمجوا الدرجة القياسية مع حجم متجه القيمة باستخدام صيغة:
$$M_{i,j} = \text{Routing Score} + 0 else 0.2 \times \max(0, \log(\|V_j\|^2))$$
هنا، معامل التوازن 0.2 هو ما وجدوا أنه يعمل بشكل أفضل. يضمن هذا عدم حذف الرموز "عالية الطاقة" عن طريق الخطأ لمجرد أن درجة اتصالها لم تكن الأعلى.

ماذا تقول الأرقام

اختبر الفريق Stem على نماذج ذكاء اصطناعي شهيرة مثل Llama-3.1-8B و Qwen3-8B باستخدام اختبارات مصممة لاختبار فهم السياق الطويل، مثل LongBench و RULER.

• الدقة: في اختبار LongBench، حقق Stem متوسط دقة قدره 41.48% على Llama-3.1-8B و 31.64% على Qwen3-8B. وهذه النت نتائج قريبة جداً من النسخة "الكثيفة" (الكاملة) للنماذج، والتي سجلت 42.02% و 32.01% على التوالي.
• الكفاءة: السحر يكمن في الميزانية. بينما يستخدم النموذج الكثيف 100% من الرموز، حقق Stem هذه الدرجات العالية باستخدام 25% إلى 31% فقط من الرموز.
• السرعة: من حيث السرعة في العالم الحقيقي، كانت النتائج مذهلة. على وحدة معالجة رسوميات H20، استغرق معالجة سياق يبلغ 128K (128,000 رمز) للنموذج الكثيف 1540 مللي ثانية. قلل Stem هذا الوقت إلى 420 مللي ثانية، أي تسريع بمقدار 3.7 ضعف. وحتى عند الأطوال الأقصر مثل 16K، كان Stem أسرع من النموذج الكثيف، بينما كانت بعض الطرق الأخرى أبطأ بسبب التعقيد في حساباتها.

كما اختبر الباحثون Stem على نماذج تم تدريبها بالفعل لتكون متناثرة، مثل DeepSeek-V3.2 و MiniCPM-4.1. حتى في هذه الحالات، سمح إضافة Stem لهذه النماذج بتقليل ميزانيتها الحسابية بنسبة 15% إلى 18% دون فقدان أي دقة. هذا يشير إلى أن منطق Stem سليم للغاية لدرجة أنه يمكنه إيجاد المزيد من التكرار في النماذج التي تحاول بالفعل أن تكون فعالة.

لماذا يهم هذا

تخلص الورقة البحثية إلى أن المفتاح لتوسيع نطاق الذكاء الاصطناعي للتعامل مع سياقات ضخمة ليس مجرد القيام بعمليات حسابية أقل؛ بل يتعلق بالقيام بالحسابات الصحيحة. من خلال احترام "تدفق المعلومات السببي" — فكرة أن بداية القصة تدعم النهاية — يتجنب Stem فخ التخلص من الأساس.

يشير المؤلفون بحذر إلى أن هذا العمل يركز حالياً على مرحلة "ما قبل الملء" (pre-filling)، وهي المرحلة التي يقرأ فيها الذكاء الاصطناعي المدخلات بالكامل دفعة واحدة. وهم يقرون بأن تطبيق هذا على مرحلة "التوليد" (decoding) (توليد كلمة واحدة في كل مرة) هو أمر أكثر تعقيداً ويُترك للعمل المستقبلي. ومع ذلك، بالنسبة لعنق الزجاجة الحالي المتمثل في قراءة المستندات الطويلة، يقدم Stem حلاً مقنعاً: فهو يحافظ على جذور الشجرة سليمة مع تقليم الأوراق، مما يسمح للذكاء الاصطناعي بالقراءة بشكل أسرع وأذكى دون الحاجة إلى إعادة بناء كاملة.