🤖 machine learning

Scratchpad Patching: Decoupling Compute from Patch Size in Byte-Level Language Models

تقدم هذه الورقة تقنية "رقعة دفتر الملاحظات" (Scratchpad Patching - SP)، وهي تقنية تفصل بين الحوسبة وحجم الرقعة في النماذج اللغوية ذات المستوى البايتي عبر إدراج دفاتر ملاحظات عابرة ديناميكيًا للتخفيف من تأخر الرقعة، مما يتيح رقعًا أكبر لتقليل تكاليف ذاكرة التخزين المؤقت لـ (KV-cache) والحوسبة دون التضحية بجودة النمذجة.

المؤلفون الأصليون: Lin Zheng, Vasilisa Bashlovkina, Timothy Dozat, Dan Garrette, Laura Rimell, Joshua Maynez

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lin Zheng, Vasilisa Bashlovkina, Timothy Dozat, Dan Garrette, Laura Rimell, Joshua Maynez

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة كتاب طويل جداً، ولكن لديك قاعدة صارمة: يمكنك فقط النظر إلى النص في كتل كبيرة، مثل التقاط حفنة من الصفحات في كل مرة. هذه هي الطريقة التي تعمل بها نماذج الذكاء الاصطناعي الحديثة القائمة على "الرقع" (patch-based). فبدلاً من قراءة الكلمات واحدة تلو الأخرى (tokens)، فهي تقرأ البايتات (الرموز البرمجية الخام للحروف) في مجموعات تسمى الرقع (patches).

المشكلة مع أسلوب "التقاط الحفنة" هذا هي ظاهرة يسميها المؤلفون تأخر الرقعة (Patch Lag).

المشكلة: الحفنة "القديمة"

تخيل أنك تقرأ فقرة. أنت تلتقط كتلة من النص (رقعة) لمعالجتها.

الصفحة الأخيرة: عندما تصل إلى الصفحة الأخيرة تماماً من تلك الكتلة، تكون لديك الصورة الكاملة لما قرأته للتو. يمكنك تقديم تخمين مثالي لما سيأتي بعد ذلك.
الصفحة الأولى: لكن عندما تكون في الصفحة الأولى من نفس تلك الكتلة، فأنت لم ترَ بقية الكتلة بعد! أنت مضطر للتخمين بناءً على "الكتلة السابقة" التي قرأتها.

إذا كانت كتلك ضخمة (مثلاً 16 بايت طولاً)، فإن الـ 15 بايت الأولى تعتمد على معلومات "قديمة" من الماضي. كلما زاد حجم الكتلة، طالت فترة هذا "التأخر"، وساء أداء الذكاء الاصطناعي في التنبؤ بالحرف التالي.

عادةً، عليك الاختيار بين:

كتل صغيرة: دقة عالية، ولكن يتطلب الأمر جهداً كبيراً من الذكاء الاصطناعي (بطيء ومكلف).
كتل كبيرة: سريع ورخيص، ولكن الذكاء الاصطناعي يرتكب المزيد من الأخطاء لأنه يخمن بعيداً جداً عن الواقع.

الحل: "المسودة" (Scratchpad)

يقدم المؤلفون حيلة ذكية تسمى رقعة المسودة (Scratchpad Patching - SP).

فكر في الأمر كالتالي: لا تزال تلتقط تلك الحفنات الكبيرة من الصفحات (الرقع) للحفاظ على الكفاءة. ولكن، داخل يدك، لديك مسودة مؤقتة (transient scratchpad).

بينما تنظر إلى الصفحات الأولى من الكتلة، تقوم بسرعة بتدوين ملاحظات على مسودتك.

السحر: هذه الملاحظات مؤقتة. أنت تستخدمها لتحديث فهمك فوراً حتى تتمكن من تقديم تخمينات أفضل للصفحات القليلة التالية.
العيب: بمجرد انتهائك من الكتلة والانتقال إلى الكتلة التالية، فإنك تتخلص من المسودة. أنت لا تحتفظ بها في ذاكرتك طويلة المدى ("ذاكرة KV cache").

هذا يسمح للذكاء الاصطناعي بامتلاك سرعة الكتل الكبيرة (لأنه يحفظ فقط النتيجة النهائية للكتلة) ولكن مع ذكاء الكتل الصغيرة (لأنه يجدد معرفته في منتصف الكتلة).

كيف يعرف متى يستخدم المسودة؟

الذكاء الاصطناعي لا يستخدم المسودة لكل حرف؛ لأن ذلك سيكون بطيئاً جداً. بدلاً من ذلك، يستخدم نظام "إشارات المرور" بناءً على الاعتلاج (Entropy) (وهو مصطلح معقد يعني "المفاجأة" أو "عدم اليقين").

مفاجأة منخفضة: إذا كان النص مملاً ويمكن التنبؤ به (مثل "القط جلس على الـ...")، يتخطى الذكاء الاصطناعي المسودة. هو يعرف ما هو قادم.
مفاجأة عالية: إذا أصبح النص معقداً أو غير متوقع (مثل اسم متغير برمجي مفاجئ أو رمز غريب)، يقوم الذكاء الاصطناعي بتفعيل المسودة. يقول: "انتظر، هذا مهم! دعني أتوقف وأعيد تقييم كل ما رأيته حتى الآن في هذه الكتلة قبل أن أخمن الحرف التالي".

النتائج: أفضل ما في العالمين

تظهر الورقة البحثية أن هذه الطريقة تعمل مثل مفتاح سحري:

الجودة دون التكلفة: حتى عند استخدام كتل كبيرة جداً (16 بايت)، فإن الذكاء الاصطناعي المزود بالمسودات يعمل بشكل جيد تقريباً كما لو كان يقرأ بايت تلو الآخر.
توفير الذاكرة: نظرًا لأن المسودة يتم التخلص منها فوراً، لا يحتاج الذكاء الاصطناعي لتخزين ذاكرة إضافية. فهو يبقي "ذاكرة KV cache" أصغر بـ 16 مرة من نموذج البايت التقلي.
سرعة مرنة: يمكنك رفع أو خفض "مفتاح المسودة" بعد تدريب النموذج. إذا كنت بحاجة لسرعة فائقة، قم بإيقاف تشغيل المسودات. إذا كنت بحاجة لذكاء أكبر، قم بتشغيلها. لا تحتاج لإعادة تدريب النموذج للقيام بذلك.

ملخص التشبيه

تخيل أنك طاهٍ يطبخ حساءً ضخماً.

الطريقة القديمة (الرقع التقليدية): أنت تتذوق الحساء مرة واحدة فقط كل 10 دقائق. إذا أضفت مكوناً حاراً في الدقيقة الأولى، فلن تتذوقه مرة أخرى حتى الدقيقة العاشرة. بحلول ذلك الوقت، قد يكون الطعم قد فسد.
الطالطريقة الجديدة (رقعة المسودة): لا تزال تأخذ "تذوقاً رسمياً" كاملاً كل 10 دقائق لتسجيل الوصفة. ولكن، في الفترات البينية، تغمس ملعقة كلما تغيرت الرائحة بشكل جذري (اعتلاج عالٍ) لتعديل التتبيل فوراً. أنت ترمي الملعقة بعد التذوق، لذا لا تضطر لغسل ملايين الملاعق (ذاكرة)، ولكن حساءك يكون مثالياً.

تثبت الورقة البحثية أنه من خلال إضافة "اختبارات التذوق" المؤقتة هذه (المسودات)، يمكنك طبخ قدر ضخم من الحساء (معالجة النصوص الطويلة) بسرعة، وبتكلفة منخفضة، وبنكهة مثالية.

ملخص تقني: رقع التدوين (Scratchpad Patching - SP)

بيان المشكلة

تعتمد نماذج اللغات الحديثة عادةً على التجزئة (Tokenization) لتقسيم النص إلى وحدات فرعية، وهي عملية تسبب الهشاشة، والحساسية لتنسيق المطالبات (Prompts)، وصعوبات في التوسع. توفر النهج التي تعمل مباشرة على مستوى البايت (Bytes) دون استخدام "توكنز" حلاً لهذه المشكلة، لكنها تعاني من تكاليف حوسبة باهظة بسبب أطوال التسلسلات الطويلة. وللتخفيف من ذلك، تقوم النماذج القائمة على الرقع (Patch-based models) على مستوى البايت بتجميع البايتات المتجاورة في "رقع" أكبر، ومعالجتها كوحدات واحدة لتقليل طول التسلسل وبصمة ذاكرة الـ KV-cache.

ومع ذلك، يحدد المؤلفون مقايضة جوهرية في البنى القياسية القائمة على الرقع: تأخر الرقعة (Patch Lag). في هذه النماذج، يقوم الجذع الرئيسي (المحرك الحوسبي الأساسي) بتحديث تمثيله فقط عند حدود الرقعة. وبالتالي، لأي بايت داخل الرقعة ليس هو الأخير، يجب على النموذج الاعتماد على تمثيل "قديم" من الرقعة السابقة للحفاظ على السببية (Causality). ومع زيادة أحجام الرقع لتحسين الكفاءة، يتسع هذا التأخر، مما يجبر المزيد من التنبؤات على الاعتماد على سياق قديم، وهو ما يؤدي إلى تدهور جودة النمذجة بشكل كبير. وهذا يخلق ارتباطاً وثيقاً حيث تؤدي الرقع الأكبر إلى كفاءة أفضل ولكن جودة أسوأ.

المنهجية: رقع التدوين (Scratchpad Patching - SP)

يقدم البحث رقع التدوين (SP)، وهي آلية مصممة لفصل تخصيص الحوسبة عن حجم الرقعة، مما يعالج تأخر الرقعة دون زيادة بصمة ذاكرة الـ KV-cache المستمرة.

الآلية الجوهرية

بدلاً من الالتزام بتمثيل واحد فقط عند نهاية الرقعة، يقوم SP بإدراج حالات تدوين عابرة (Transient scratchpad states) عند مواقع بايت داخلية مختارة ضمن الرقعة.

الحالات العابرة: عندما يتم تفعيل التدوين، يقوم النموذج بتجميع كافة البايتات التي تمت رؤيتها حتى الآن ضمن الرقعة الحالية، ويمرر هذا التجميع عبر الجذع الرئيسي، ويولد تمثيلاً جديداً.
الحفاظ على السببية: يصبح هذا التمثيل الجديد متاحاً فوراً للتنبؤات التالية بالبايتات داخل نفس الرقعة، ليحل محل التمثيل القديم من الرقعة السابقة.
كفاءة ذاكرة KV-Cache: من المهم ملاحظة أن حالات التدوين هذه لا تُحفظ في ذاكرة الـ KV cache. يتم حسابها أثناء الاستنتاج (Inference) وتُهمل فوراً. فقط التمثيل النهائي "الملتزم به" للرقعة هو الذي يُخزن. وهذا يسمح للنموذج بإجراء خطوات صقل متعددة داخل الرقعة دون زيادة بصمة الذاكرة أثناء الاستنتاج أو طول التسلسل الفعلي الذي يراه الجذع.

استراتيجية التفعيل

لتجنب التكلفة الحوسبية للتحديث عند كل بايت (مما قد يلغي فوائد الرقع)، يستخدم SP آلية تفعيل انتقائية:

التفعيل القائم على الإنتروبيا (Entropy-Based Triggering): يتم إطلاق تحديث التدوين عند موضع البايت $n$ إذا تجاوزت إنتروبيا التنبؤ بالبايت التالي للمُشفّر (Encoder) عتبة محددة مسبقاً ( $\tau_{SP}$ ).
التكيف مع المحتوى: تخصص هذه الاستراتيجية الحوسبة انتقائياً للمناطق "كثيفة المعلومات" حيث يشعر النموذج بعدم اليقين، بينما تتخطى المناطق القابلة للتنبؤ.
التعديل اللاحق (Post-Hoc Adjustment): نظرًا لأن التفعيل يعتمد على عتبة مطبقة على مخرجات المُشفّر، يمكن تعديل وتيرة تحديثات التدوين أثناء الاستنتاج دون الحاجة لإعادة التدريب، مما يسمح بمقايضات مرنة بين الحوسبة والجودة.

البنية (Architecture)

تعد تقنية SP مستقلة عن نوع "المجزئ" (Patchifier) المستخدم (الطريقة المستخدمة لتحديد حدود الرقع). وهي تتكامل في بنية الرقع المكونة من خمسة عناصر (المُشفّر، المُجزئ، الجذل الرئيسي، مُلغي الرقعة، والمفكك) من خلال تعديل تدفق المعلومات داخل الرقعة. أثناء التدريب، يتم بسط (Unroll) حالات التدوين ودمجها في مدخلات الجذل مع قناع انتباه سببي متخصص يمنع حالات التدوين من الانتباه إلى الحالات المستقبلية أو حالات التدوين الأخرى، مما يضمن أنها تجمع فقط البايتات الماضية داخل الرقعة الحالية.

المساهمات الرئيسية

فك الارتباط بين الحوسبة وحجم الرقعة: يقدم SP آلية عامة تسمح للنماذج باستخدام رقع أكبر (للكفاءة) دون المعاناة من تدهور الجودة المرتبط عادةً بتأخر الرقعة.
معالجة تأخر الرقعة: يحدد المؤلفون "تأخر الرقعة" كنمط فشل هيكلي في النماذج القائمة على الرقع، ويوضحون أن SP يقلل هذا التأخر بفعالية عبر تجديد السياق داخل الرقعة.
استنتاج فعال: يحقق SP هذه التحسينات مع الحفاظ على نفس طول تسلسل الرقع الملتزم به وبصمة الـ KV-cache الخاصة بالنماذج القياسية.
التحكم المرن في الحوسبة: تتيح الطريقة التحكم في حوسبة وقت الاستنتاج لاحقاً عبر عتبات الإنتروبيا، مما يوفر تحكماً "بمقبض واحد" للمقايضة بين الكفاءة والدقة.

النتائج التجريبية

قام المؤلفون بتقييم SP عبر أربع عائلات من المُجزئات (Fixed-size, SpaceByte, Entropy-based, و H-Net) على مجموعات بيانات اللغة الطبيعية، والبرمجة، والرياضيات.

حد الكفاءة والجودة (Quality-Efficiency Frontier): ينقل SP باستمرار حد "باريتو" (Pareto frontier) الخاص بالجودة (المقاسة بـ Bits-Per-Byte, BPB) مقابل الكفاءة (تقليل التسلسل).
أحجام الرقع الكبيرة: عند أحجام الرقع الهجومية (على سبيل المثال، 16 بايت لكل رقعة)، تقترب نماذج SP من أداء النماذج المرجعية على مستوى البايت أو تماثله. على سبيل المثال، حقق نموذج Fixed-size (p=16) مع SP متوسط دقة في فهم اللغة الطبيعية (NLU) بلغ 54.2، وهو ما يكاد يطابق النموذج المرجعي على مستوى البايت (54.1)، بينما استخدم ذاكرة KV-cache أصغر بـ 16 مرة وحوسبة استنتاج أقل بـ 3-4 مرات.
توليد الكود البرمجي: حسن SP معدلات pass@1 بشكل كبير في اختبارات MBPP و HumanEval، خاصة في أحجام الرقع الكبيرة حيث واجهت النماذج التقليدية صعوبة.
تخصيص الحوسبة: في المقارنات المتساوية في العمليات الحسابية (FLOPs-matched)، تفوقت نماذج SP عموماً على النماذج غير المزودة بـ SP، مما يشير إلى أن المكاسب تأتي من التخصيص الأفضل للحوسبة المستهدفة وليس مجرد إضافة المزيد من الحوسبة.
المتانة متعددة اللغات: حسن SP أداء النماذج القائمة على الرقع عبر 200 لغة (FLORES-200)، مما قلص الفجوة مع النماذج الصرفة على مستوى البايت.

الأهمية والادعاءات

يزعم البحث أن "رقع التدوين" (SP) تمثل خطوة عملية نحو نماذج لغوية أكثر مرونة. فمن خلال السماح للنماذج بتقرير أين تخصص الحوسبة بناءً على كثافة المعلومات بدلاً من وراثة تقسيمات جامدة من "توكن" أو "مجزئ"، يوفر SP مقايضة متفوقة بين طول التسلسل المستمر، والتكلفة الحوسبية، وأداء المهام.

يؤكد المؤلفون أن SP هي تقنية عامة قابلة للتطبيق على العديد من البنى القائمة على الرقع الموجودة. ويشيرون إلى أنه مع وجود SP، تتقلص الفجوة في الأداء بين استراتيجيات التجزئة المختلفة (مثل الحجم الثابت مقابل الحدود المتعلمة)، مما يوحي بأن تخصيص الحوسبة قد يكون عائقاً أكثر أهمية من الطريقة المحددة لتحديد حدود الرقع.

يتسم العمل بتواضع في ذكر القيود: فهو يركز على التجزئة أحادية المرحلة ولا يقلل مباشرة من عمليات الـ FLOPs أثناء التدريب (رغم تحسين كفاءة الاستنتاج). ويقترح المؤلفون أن العمل المستقبلي يمكن أن يستكشف البنى الهرمية وقواعد التحديث الأكثر ثراءً.