💬 NLP

TokenButler: Token Importance is Predictable

يُعد TokenButler متنبئاً خفيف الوزن وواعياً بالاستعلام، يقوم بتحديد الرموز (tokens) الحرجة ديناميكياً لإدارة ذاكرة التخزين المؤقت لـ KV بكفاءة عبر تقطير توزيعات الانتباه السببي المقنع، محققاً دقة استرجاع تقارب الدقة المثالية (near-oracle) وخفضاً كبيراً في زمن الاستجابة دون طرد الرموز بشكل دائم.

المؤلفون الأصليون: Yash Akhauri, Ahmed F AbouElhamayed, Yifei Gao, Chi-Chih Chang, Sameh Gobriel, Nilesh Jain, Mohamed S. Abdelfattah

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yash Akhauri, Ahmed F AbouElhamayed, Yifei Gao, Chi-Chih Chang, Sameh Gobriel, Nilesh Jain, Mohamed S. Abdelfattah

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إجراء محادثة مع أمين مكتبة ذكي جداً، ولكنه نساي قليلاً. (أمين المكتبة هذا هو الذكاء الاصطناعي) الذي قرأ مكتبة ضخمة من الكتب (بيانات التدريب)، وهو الآن يحاول الإجابة على أسئلتك بناءً على قصة طويلة جداً سلمتها له للتو (السياق).

المشكلة هي أن هذه القصة طويلة جداً — تصل أحياناً إلى مئات الآلاف من الكلمات — ومكتب أمين المكتبة (ذاكرة الكمبيوتر) أصبح مزدحماً تماماً. لكي يواكب العمل، يتعين على أمين المكتبة الاحتفاظ بقائمة جارية لكل كلمة قرأها حتى الآن (وهذا ما يسمى بـ KV-Cache). ومع ازدياد طول القصة، تصبح هذه القائمة كبيرة جداً بحيث لا تتسع على المكتب، مما يؤدي إلى إبطاء كل شيء ليصبح بطيئاً للغاية.

الطرق القديمة: رمي الأشياء أو تجميعها

حاولت الأساليب السابقة تجربة شيئين رئيسيين، وكلاهما كان به عيوب:

طريقة "سلة المهملات": قرر بعض أمناء المكتبة ببساطة رمي الكلمات القديمة من القائمة بمجرد امتلاء المكتب.
- العيب: تخيل أن القصة تذكر شخصية تدعى "زيراميلغروف" (Ziramelgrove) في البداية. يقوم أمين المكتبة برمي هذا الاسم لأنه يبدو غير مهم في ذلك الوقت. ولكن بعد 50 صفحة، تسأله: "من هو زيراميلغروف؟" فلا يملك أمين المكتبة أدنى فكرة عن هويته لأنه رمى الاسم في سلة المهملات.
طريقة "الصناديق": احتفظ أمناء مكتبة آخرون بجميع الكلمات ولكنهم نظموها في صناديق كبيرة (صفحات). وعندما يحتاجون إلى العثور على شيء ما، يأخذون الصندوق بأكمله.
- العيب: إذا كانت الكلمة المهمة "زيراميلغروف" مقسمة بين صندوقين، فقد يأخذ أمين المكتبة الصندوق الخاطئ أو يغفل عن الكلمة تماماً لأنه كان ينظر إلى الصندوق ككل، وليس إلى الكلمة المحددة بداخله.

الحل الجديد: TokenButler

تقدم الورقة البحثية TokenButler، وهو مساعد ذكي يساعد أمين المكتبة في تحديد الكلمات التي يجب الاحتفاظ بها بالضبط على المكتب دون رمي أي شيء بشكل دائم.

فكر في TokenButler كـ راصد (spotter) مدرب تدريباً عالياً يقف بجانب أمين المكتبة.

كيف يعمل: بدلاً من ترك أمين المكتبة يخمن أي الكلمات مهمة، يقوم TokenButler بالنظر إلى سؤالك الحالي ("الاستعلام") ويتنبأ بالضبط بالكلمات المحددة من القصة الطويلة التي ستكون مطلوبة للإجابة عليه.
الخدعة السحرية: هو لا يحتاج لقراءة القصة بأكملها مرة أخرى لمعرفة ذلك. إنه يستخدم "ورقة غش" صغيرة وخفيفة الوزن (نموذج تنبؤ صغير) تعلمت رصد الأنماط أثناء التدريب. هو يعرف أنه إذا سألت عن موقع معين ذُكر قبل 10,000 كلمة، فإن ذلك الموقع يصبح فجأة أهم شيء في الكون، حتى لو بدا مملاً قبل 10 ثوانٍ.

لماذا هو أفضل؟

اختبرت الورقة البحثية هذا الأسلوب في لعبة "الغميضة" مع الكلمات.

الاختبار: تخفي القصة اسماً لموقع سري في البداية، ثم تشتت القارئ بمسائل رياضية ونصائح طبخ لفترة طويلة، قبل أن تسأل أخيراً: "أين هو الموقع؟"
النتيجة: فشلت طريقة "سلة المهملات" وطريقة "الصناديخ" غالباً لأنها رمت اسم الموقع أو لم تستطع العثه في الصندوق الصحيح. أما TokenButler، فقد نجح في الاحتفاظ باسم الموقع جاهزاً ووجده في كل مرة تقريباً، حيث عمل مثل "عراف" (متنبئ مثالي).

السرعة والكفاءة

قد تظن أن إضافة راصد سيبطئ أمين المكتبة. تُظهر الورقة البحثية طريقتين ذكيتين يتجنب بهما TokenButler ذلك:

خدعة "التجميع" (Batching): بدلاً من أن يطلب أمين المكتبة من الراصد التحقق بعد كل كلمة يتم كتابتها، يطلب أمين المكتبة من الراصد التحقق كل بضع كلمات. يقول الراصد: "احتفظ بهذه الكلمات"، فيحتفظ بها أمين المكتبের للخطوات القليلة القادمة. هذا يجعل العملية أسرع بكثير.
خدعة "الجار" (Neighbor): يعرف الراصد أن المعلومات المهمة غالباً ما تأتي في مجموعات (مثل اسم كامل أو جملة). لذا، إذا اختار الراصد كلمة محددة، فإنه يأخذ أيضاً الكلمات المجاورة لها مباشرة، تحسباً لأي طارئ. هذا يضمن عدم تفويت أي شيء إذا تغيرت الأهمية قليلاً.

الخلاصة

يسمح TokenButler للحواسيب بقراءة وفهم قصص ضخمة (تصل إلى مليون كلمة) دون نفاد الذاكرة أو البطء. وهو يفعل ذلك من خلال تعلم التنبؤ بالضبط بالكلمات التي تهم السؤال الحالي، مما يحافظ على نظافة وسرعة الذاكرة، مع ضمان عدم ضياع أي تفصيل حاسم عن طريق الخطأ.

في الاختبارات، جعل هذا الأسلوب الكمبيوتر أسرع بمقدار 1.6 مرة عند تشغله على بطاقة الرسوميات، وأسرع بمقدار 7.6 مرة عندما اضطر الكمبيوتر لاستعارة ذاكرة إضافية من المعالج الرئيسي، كل ذلك مع الحفاظ على دقة الإجابات تماماً كما لو كان قد احتفظ بكل كلمة على المكتب.

ملخص تقني: TokenButler

بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) اختناقًا كبيرًا في الذاكرة والحوسبة مع امتداد طول السياق من 64 ألف إلى مليون رمز (token). فذاكرة المفتاح-القيمة (KV cache)، التي تخزن تاريخ الرموز لضمان فك تشفير فعال، تنمو خطيًا مع طول السياق، مما يستهلك مساحة هائلة من ذاكرة وحدة معالجة الرسومات (GPU) وعرض النطاق الترددي.

تندرج الحلول الحالية للتخفيف من هذا الاختناق عمومًا تحت ثلاث فئات، لكل منها قيود محددة:

الاستراتيجيات الثابتة (مثل StreamingLLM): تستخدم قواعد ثابتة (مثل النوافذ المنزلقة) للحد من حجم الذاكرة المخبئية. تفتقر هذه الطرق إلى الوعي بالاستعلام ولا يمكنها التكيف مع الاحتياجات الديناميكية للمدخلات.
الإخلاء التكيفي (مثل H2O، SnapKV): تقوم بحذف الرموز التي تُعتبر منخفضة الأهمية بشكل دائم بناءً على مقاييس مثل درجات الانتباه. يؤدي هذا إلى خطر فقدان الرموز الحرجة التي قد تصبح ذات أهمية لاحقًا في سياقات الإحالة المرجعية (حيث يتم الإشارة إلى كيان ذُكر في البداية في وقت لاحق جدًا)، حيث إن الأهمية غالبًا ما تكون غير رتيبة.
الاستراتيجيات الديناميكية التكيفية (مثل Quest): تحافظ على الذاكرة المخبئية الكاملة ولكنها تجلب مجموعات فرعية من الرموز (الصفحات) عند فك التشفير. ورغم أنها تتجنب الإخلاء الدائم، إلا أن اعتمادها على استرجاع الصفحات خشن الحبيبات يفشل في المهام الكثيفة والغنية بالسياق حيث قد تنقسم المعلومات الحرجة عبر حدود الصفحات أو تتطلب اختيارًا دقيق الحبيبات.

علاوة على ذلك، تعتمد العديد من الطرق الموجودة على بدائل غير دقيقة لأهمية الرموز (مثل الحداثة أو درجات الانتباه الإجمالية) أو تتحمل تكلفة حوسبية عالية عند حساب درجات الانتباه الكاملة لكل رمز.

المنهجية: TokenButler

يقترح المؤلفون TokenButler، وهو متنبئ عالي الدقة وواعٍ بالاستعلام، مصمم لتحديد الرموز الحرجة دون إخلاءها بشكل دائم أو الاعتماد على التجزئة الخشنة.

البنية الأساسية

يعمل TokenButler عن طريق التنبؤ باستعلامات الأهمية منخفضة الأبعاد عند فواصل عمق ثابتة (طبقات المنتج/producer layers) ودمجها مع إسقاطات متعلمة لمفاتيح ذاكرة KV الفعلية في الطبقات اللاحقة (طبقات المستهلك/consumer layers).

التنبؤ بالاستعلام: يقوم نموذج متعدد الطبقات (MLP) خفيف الوزن بأخذ الحالات المخفية من طبقة "المنتج" وتوليد $G$ من ناقلات الاستعلام الخاصة بكل خانة لكل رأس انتباه. هذه الناقلات منخفضة الأبعاد ( $d' \ll E$ ).
إسقاط ذاكرة المفاتيح (Key-Cache Projection): لكل طبقة مستهلك، يتم إسقاط مفاتيح ذاكرة KV عالية الأبعاد الفعلية إلى نفس الفضاء منخفض الأبعاد باستخدام مصفوفة متعلمة.
التسجيل (Scoring): يتم ضرب الاستعلامات المتنبأ بها في المفاتيح المسقطة لتوليد درجات أهمية الرموز بتكلفة زهيدة، مما يسمح باختيار ديناميكي لكل رمز تحت ميزانية ثابتة.

التدريب

التقطير (Distillation): يتم تدريب TokenButler عن طريق تقطير توزيعات الانتباه السببي المقنع لنموذج لغوي أساسي مجمد. الهدف هو تقليل خسارة التقاطع (cross-entropy loss) بين لوغاريتمات الانتباه للمعلم ولوغاريتمات الطالب (TokenButler) المتنبأ بها.
الكفاءة: للتعامل مع السياقات الطويلة أثناء التدريب، يتم حساب الخسارة على مجموعة فرعية من مواضع الاستعلام، مع التركيز على منطقة السياق المتأخر والرمز النهائي، مما يقلل التعقيد من $O(L^2)$ إلى $O(RL)$ .
العبء الإضافي: يضيف المتنبئ أقل من 1% من عبء المعلمات (parameters) إلى النموذج الأساسي.

استراتيجية الاستدلال

يقسم TokenButler الذاكرة المخبئية (KV-cache) إلى ثلاثة مخازن مؤقتة لتحسين الوصول إلى الذاكرة:

مخزن السد (Sink Buffer): أول $S$ من الرموز (يتم الاحتفاظ بها دائمًا).
مخزن النافذة المحلية (Local Window Buffer): مخزن دائري لأحدث $N$ من الرموز (يتم الاحتفاظ بها دائمًا).
المخزن المهم (Important Buffer): يتم ملؤه ديناميكيًا بواسطة TokenButler بناءً على الدرجات المتنبأ بها.

التحسينات:

الدفعات (Batching): يتم إجراء عمليات إسقاط المفاتيح في دفعات من $N$ من الرموز بدلاً من كل خطوة فك تشفير، وذلك للاستفادة من المحلية الزمنية.
فاصل التنبؤ وجلب الجيران (Prediction Interval & Neighbor Fetching): لتوزيع تكلفة المتنبئ، لا يعمل النظام بالمتنبئ عند كل خطوة، بل يعمل كل $N$ خطوة (فاصل التنبؤ). وللتخفيف من خطر فقدان الرموز التي تتغير أهميتها بين الفواصل، يستخدم النظام "جلب الجيران"، والذي يوسع الرموز المختارة لتشمل جيرانها المجاورين مكانيًا، مما يضمن تغطية الكيانات متعددة الرموز أو سلاسل الاستدلال.

المساهمات الرئيسية

متنبئ خفيف الوزن: مقياس متعلم لأهمية الرموز يوفر تقديرات دقيقة الحبيبات مع حد أدنى من عبء المعلمات (<1%)، تم تدريبه عبر تقطير الانتباه.
اختبار قياسي اصطناعي: مهمة استرجاع إحالة مرجعية جديدة توضح أن طرق الإخلاء والصفحات الحالية تفشل حتى عند أطوال سياق قصيرة (300 رمز) بسبب فقدان الرموز الدائم أو أخطاء الصفحة. يحقق TokenButler دقة تقترب من النموذج المثالي (oracle) في هذه المهمة.
أداء السياق الطويل: نتائج تنافسية أو متفوقة في اختبارات RULER و LongBench (سياق 64 ألف) مقارنة بأحدث طرق التشتت والضغط.
مكاسب الكفاءة:
- تسريع يصل إلى 1.6× على وحدة معالجة الرسومات (on-GPU) مقارنة بالانتباه الكثيف (Dense Attention) باستخدام فواصل التنبؤ.
- تقليل زمن التأخير بنسبة تصل إلى 7.6× مقارنة بالانتباه الكثيف مع إزاحة المعالج (CPU offloading)، مما يتيح فك تشفير فعال على الأنظمة محدودة الذاكرة.
- يتم الحفاظ على الدقة ضمن نطاق ≈1.1% من الخط المرجعي لكل خطوة حتى مع تقليل استدعاءات المتنبئ بمقدار 16 ضعفًا.

النتال التجريبية

مهمة الإحالة المرجعية الاصطناعية: حقق TokenButler دقة وتغطية تتراوح بين 80-95% على Llama-3.1-8B و Qwen2.5-7B، متفوقًا بشكل كبير على الطرق القائمة على الإخلاء (H2O، SnapKV) التي انخفضت دقتها إلى ما دون 50%، والطرق القائمة على الصفحات (Quest) التي عانت من أخطاء جزئية في الصفحات.
اختبار RULER (سياق 64 ألف): طابق TokenButler أو تجاوز أداء النماذج المرجعية مثل SnapKV و xKV و Quest على Llama-3.1-8B و Qwen2.5-7B، محققًا أفضل متوسط درجة على Qwen2.5-7B.
LongBench: أظهر TokenButler دقة أفضل من طرق تشتت وضغط KV السابقة عبر مختلف مجموعات البيانات.
نماذج الاستدلال (AIME24): على نموذج DeepSeek-R1-Distill-Llama-8B، حقق TokenButler دقة 30.0%، مقتربًا من خط الأساس لفك التشفير الكثيف (33.3%) ومتفوقًا على طرق التشتت الأخرى تحت نفس ميزانية 8 آلاف رمز.
زمن التأخير: في سيناريوهات إزاحة المعالج (سياق +256 ألف)، قلل TokenButler زمن التأخير من ~3.2 ثانية لكل رمز (الكثيف) إلى ~0.6 ثانية (TokenButler).

الأهمية

تفترض الورقة أن أهمية الرموز ديناميكية للغاية وتعتمد على الاستعلام، مما يجعل الاستدلالات الثابتة والاسترجاع خشن الحبيبات غير كافيين للمهام المعقدة طويلة السياق. يثبت TokenButler أن آلية الاختيار دقيقة الحبيبات ومتعلمة يمكن أن تحل محل هذه الاستدلالات بفعالية. ومن خلال الحفاظ على ذاكرة KV الكاملة مع الوصول الانتقائي فقط للرموز الأكثر صلة، يخفف TokenButler من اختناق عرض النطاق الترددي للذاكرة دون التدهور النوعي المرتبط بالإخلاء الدائم. كما تظهر استراتيجيات فاصل التنبؤ وجلب الجيران أن التكلفة الحوسبية لهذا المتنبئ المتعلم يمكن توزيعها بفعالية، مما يجعله حلاً عمليًا لاستدلال السياق الطويل في الوقت الفعلي على الأجهزة المحدودة.