💬 NLP

Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing

تقدم هذه الورقة البحثية "النسخ كفك تشفير" (Copy-as-Decode)، وهي آلية فك تشفير مقيدة بالقواعد تعمل على تسريع تحرير النصوص والبرمجيات في النماذج اللغوية الكبيرة عبر استبدال إعادة التوليد التكراري للرموز غير المتغيرة بعملية "تعبئة مسبقة" (prefill) متوازية واحدة، مما يحقق تسارعاً يصل إلى 303 ضعفاً مع الحفاظ على الصلاحية النحوية وتقديم تخفيضات كبيرة في زمن التنفيذ الفعلي من الناحية النظرية.

المؤلفون الأصليون: Ziyang Liu

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziyang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعمل كمحرر محترف على مخطوطة ضخمة مكونة من 100 صفحة. أرسل إليك العميل ملاحظة تقول: "غيّر الفقرة الثالثة، ولكن اترك كل شيء آخر كما هو تماماً".

الطريقة القديمة (الذكاء الاصطناعي القياسي):
تعمل نماذج الذكاء الاصطناعي الحالية مثل ناسخ مهذب ولكنه غير كفء قليلاً. على الرغم من أن 95% من المستند مثالي ولا يحتاج إلى تغيير، إلا أن الذكاء الاصطناعي يعيد قراءة الـ 100 صفحة كاملة من البداية، كلمة بكلمة، ثم يعيد كتابة المستند بالكامل ليعطيك النسخة الجديدة. الأمر يشبه إعادة كتابة كتاب كامل لمجرد إصلاح خطأ مطبعي واحد. هذا يستغرق وقتاً طويلاً ويهدر الكثير من الطاقة.

الطريقة الجديدة (النسخ كفك تشفير - Copy-as-Decode):
تقدم هذه الورقة حيلة ذكية جديدة تسمى Copy-as-Decode. بدلاً من إعادة كتابة الكتاب بأكمله، يتم تعليم الذكاء الاصطناعي ليعمل مثل مدير مشروع ذكي يستخدم أمر "القص واللصق".

إليك كيف يعمل ذلك، مقسماً إلى تشبيهات بسيطة:

1. "قواعد الأداتين" (كتيب التعليمات)

بدلاً من ترك الذكاء الاصطناعي يكتب بحرية، نعطيه كتيب تعليمات صارماً وبسيطاً يحتوي على أداتين فقط:

الأداة (أ) (نسخ): "خذ الأسطر من 10 إلى 50 من المستند الأصلي والصقها هنا".
الأداة (ب) (توليد): "اكتب شيئاً جديداً هنا".

لا يُسمح للذكاء الاصطناعي بمجرد "الكتابة" طوال الوقت. يجب عليه أن يقول صراحةً: "سأقوم بنسخ هذه الأجزاء" و "سأقوم بكتابة هذه الأجزاء". الأمر يشبه إجبار طاهٍ على قول: "سأستخدم البصل المقطع مسبقاً من الوعاء (نسخ)" و "سأقطع هذه الجزر الجديدة بنفسي (توليد)".

2. "لوحة القص الرقمية السحرية" (التعبئة المتوازية - Parallel Prefill)

هذا هو السر الذي يجعل العملية سريعة.

الذكاء الاصطناعي العادي: لنسخ 100 كلمة، يجب على الذكاء الاصطناعي أن "يفكر" في الكلمة الأولى، ثم الثانية، ثم الثالثة... وهكذا واحدة تلو الأخرى. الأمر يشبه المشي في ممر وحمل 100 كتاب واحداً تلو الآخر.
Copy-as-Decode: بما أن الذكاء الاصطناعي يعرف بالضبط أي كلمات يحتاج لنسخها (فهي موجودة بالفعل في المستند الأصلي)، فإنه لا يحتاج إلى "التفكير" فيها. إنه يستخدم لوحة قص سحرية. فهو يأخذ كتلة الـ 100 كلمة كاملة في حركة واحدة خاطفة ويلصقها على الصفحة الجديدة.

في لغة الكمبيوتر، يسمى هذا Parallel Prefill. بدلاً من اتخاذ 100 خطوة لنسخ 100 كلمة، فإنه يتخذ قفزة واحدة عملاقة.

3. "الحارس" (الآلة ذات الحالات المحدودة - FSM)

قد تقلق وتقول: "ماذا لو ارتبك الذكاء الاصطناعي وحاول نسخ سطر غير موجود؟"
تستخدم الورقة "حارساً" صغيراً فائق السرعة (Finite State Machine) يراقب كل حركة للذكاء الاصطناعي.

إذا حاول الذكاء الاصطناعي كتابة حرف عشوائي بينما ينبغي له كتابة رقم سطر، فإن الحارس يوقفه فوراً.
هذا يضمن أن الذكاء الاصطناعي لا يرتكب أبداً خطأً في الصيغة (Syntax Error). الأمر يشبه برنامج تدقيق إملائي لا يصحح فقط أخطاءك الإملائية، بل يمنعك جسدياً من كتابة كلمة خاطئة في المقام الأول.

لماذا يهم هذا؟ (النتائج)

اختبر الباحثون هذه الطريقة في مهام تحرير النصوص والبرمجيات ووجدوا نتائج مذهلة:

السرعة: بالنسبة لكتل النصوص التي تتراوح بين 8 و 512 كلمة، كانت هذه الطريقة أسرع بـ 7 إلى 300 مرة من الطريقة القديمة. إنه الفرق بين المشي إلى المتجر وبين الانتقال الآني.
الدقة: وجدوا أنه في مهام التحرير الواقعية (مثل إصلاح الأخطاء البرمجية)، فإن 74% إلى 98% من النص النهائي هو مجرد "نسخ ولصق" من الأصل. يحتاج الذكاء الاصطناعي فقط إلى "التفكير" و "الكتابة" لجزء ضئيل جداً من الوقت.
الموثوقية: لأن الذكاء الاصطناعي مُجبر على استخدام أداة "النسخ" للأجزاء التي يعرفها، فإنه لا يغير أبداً جزءاً كان من المفترض أن يحتفظ به عن طريق الخطأ. إنه صحيح رياضياً فيما يخص الأجزاء التي ينسخها.

العقبة (مشكلة "تحديد النطاق" - Span Selection)

النظام سريع للغاية، لكنه يعتمد على قدرة الذكاء الاصطناعي على القيام بشيء واحد محدد وهو: الإشارة.
يجب على الذكاء الاصطناعي تحديد بالضبط أي الأسطر يجب نسخها.

إذا قال الذكاء الاصطناعي: "انسخ الأسطر من 10 إلى 20"، بينما كان ينبغي أن يقول "من 11 إلى 21"، فإن النظام بأكمله سيتعطل.
تُظهر الورقة أنه إذا أخطأ الذكاء الاصطناعي بمقدار سطر واحد فقط، فإن معدل النجاح ينخفض من 100% إلى حوالي 15%.
الخبر الجيد: أظهر الباحثون أنه حتى يمكن لذكاء اصطناعي صغير وغير مدرب أن يتعلم القيام بمهمة "الإشارة" هذه بشكل معقول (بنسبة نجاح 12-17% فوراً)، ومع المزيد من التدريب، من المفترض أن يتحسن كثيراً.

الملخص

Copy-as-Decode يشبه ترقية سيارة من ناقل حركة يدوي حيث يتعين عليك تغيير التروس لكل ميل تقطعه، إلى سيارة مزودة بـ "تعزيز توربيني" (Turbo Boost) يقفز فوق الأميال التي لا تحتاج لقيادتها.

إنه يخبر الذكاء الاصطناعي: "لا تعيد اختراع العجلة. إذا كان النص موجوداً بالفعل، فقط أشر إليه والتقطه فوراً. استخدم عقلك فقط للأجزاء التي تحتاج فعلياً إلى تغيير". هذا يجعل تحرير النصوص والبرمجيات أسرع بكثير، وأقل تكلفة، وأكثر موثوقية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing."

1. بيان المشكلة

تقوم النماذج اللغوية الكبيرة (LLMs) حالياً بتعديل النصوص والأكواد عبر إعادة توليد تسلسل المخرجات بالكامل بشكل تلقائي (autoregressively)، حتى عندما تكون غالبية رموز المخرجات (tokens) مطابقة للمدخلات. هذا النهج القائم على "إعادة التوليد الكامل" يتسبب في عدم كفاءة رئيسيين:

زمن الاستجابة (Latency): يتناسب وقت التنفيذ الفعلي مع إجمالي طول المخرجات بدلاً من حجم التعديل الفعلي.
التكرار (Redundancy): يهدر النموذج دورات الحوسبة في إعادة توليد محتوى سبق له الانتباه إليه في المطالبة (prompt)، ويخاطر بـ "الانحراف" عن الرموز التي كان ينبغي أن تظل ثابتة.

تقدم الحلول الحالية مثل تنسيقات "البحث والاستبدال" (search-and-replace) أو "التوليد التخميني" (speculative decoding) تحسينات جزئية، لكنها تعاني من غموض المرتكزات (anchor ambiguity)، أو الرفض الاحتمالي، أو الحاجة إلى نماذج مسودة منفصلة.

2. المنهجية: Copy-as-Decode

يقترح المؤلفون Copy-as-Decode، وهو آلية لطبقة فك التشفيد (decoding-layer) تعامل عملية التعديل كعملية تنفيذ برنامج مهيكل بدلاً من التوليد الحر. تتكون هذه الطريقة من ثلاثة مكونات أساسية:

أ. قواعد ثنائية البدائيات (Two-Primitive Grammar)

يتم تقييد النموذج لإصدار برنامج باستخدام قواعد محددة تحتوي على عمليتين:

<copy lines="i-j"/>: يشير إلى نطاق متصل من الأسطر (من $i$ إلى $j$ ) من وثيقة المدخلات.
<gen> ... </gen>: يصدر محتوى جديداً تم توليده.
يتم فرض هذه القواعد بواسطة آلة حالة محدودة (FSM) على مستوى الرمز (Token-Level)، والتي تقيد احتمالات (logits) النموذج بالرموز الصالحة فقط عند كل خطوة، مما يضمن معدل تحليل (parse rate) بنسبة 100%.

ب. دمج التعبئة الموازية (Parallel-Prefill Splicing) - (الابتكار الجوهري)

عندما يلتزم النموذج بعملية <copy>:

تكون الرموز الخاصة بنطاق الأسطر المحدد معروفة بالفعل (فهي رموز مدخلات حرفية).
بدلاً من توليد هذه الرموز بشكل تلقائي (واحد تلو الآخر)، يقوم النظام بـ تمريرة أمامية واحدة للتعبئة الموازية (single parallel-prefill forward pass).
تقوم هذه التمريرة بدمج (splice) رموز المدخلات مباشرة في ذاكرة المفتاح والقيمة (KV cache).
النتيجة: يتم استبدال $N$ من خطوات التوليد التلقائي بتمريرة أمامية موازية واحدة، مع احتمالية قبول قدرها 1 (حتمي)، على عكس التوليد التخميني الذي يعتمد على التحقق الاحتمالي.

ج. الموحد الحتمي (Deterministic Resolver)

يقوم موحد حتمي بحت باستهلاك البرنامج المولد ووثيقة المدخلات غير القابلة للتغيير لإعادة بناء المخرجات النهائية. يقوم بتوسيع نطاقات <copy> حرفياً وإدراج محتوى <gen>، مما يضمن أن المخرجات هي تكوين أمين للمدخلات والنص الجديد.

3. المساهمات الرئيسية

تثبت الورقة جدوى الآلية من خلال ثلاث خصائص قابلة للقياس، مستقلة عن تدريب النموذج النهائي:

تسريع النواة (خاصية الأنظمة):
- تم القياس على نماذج Qwen2.5-1.5B و 7B (على GPU من نوع A100).
- نسخ $N$ من الرموز عبر التعبئة الموازية أسرع بمقدار 6.8 إلى 303 ضعفاً من التوليد التلقائي لنطاقات الأطوال $N \in [8, 512]$ .
- يتناسب التسريع خطياً مع طول النطاق في نظام الهيمنة على العمليات (overhead-dominated regime) ويتشبع في النظام المقيد بالحوسبة (compute-bound regime).
سقف النسخ (خاصية البيانات):
- تم التحليل على ProbeEdit (نصوص) و HumanEvalPack-Fix (Python/JS code).
- يمكن تمثيل 74% إلى 98% من رموز المخرجات المثالية (gold-standard) كنطاقات نسخ متصلة على مستوى السطر تحت "محاذاة مثالية" (oracle alignment).
- دمج هذا التغطية مع تسريع النواة المقاس يعطي حداً نظرياً مغلقاً لوقت التنفيذ الفعلي ( $bnd_{exact}$ ):
  - تسريع بمقدار 29.0× لـ ProbeEdit.
  - 3.4× لإصلاحات Python.
  - 4.2× لإصلاحات JavaScript.
  - متوسط مجمع قدره 13.0×.
سلامة خط الإنتاج (خاصية الصحة):
- البرامج المثالية (المستمدة عبر difflib.SequenceMatcher) تمر عبر الموحد (resolver) بدقة 100% من حيث البايتات (byte-exact accuracy) في جميع حالات الاختبار الـ 482.
- يثبت هذا أن أي فشل لاحق في أي نظام حقيقي يعود إلى أخطاء اختيار النطاق (اختيار النموذج للأسطر الخاطئة)، وليس خللاً في الآلية نفسها.
- ملاحظة الحساسية: أظهرت دراسة الاضطراب أن خطأً في فهرس سطر واحد ( $\epsilon=1$ ) يؤدي إلى انخفاض المطابقة التامة (EM) من 100% إلى 15.48%، مما يسلط الضوء على الحاجة إلى دقة عالية في اختيار النطاق.

4. النتائج التجريبية والتحليل

كفاءة التنسيق: مقارنة بالتنسيقات القياسية (Search/Replace, Unified Diff)، تحقق Copy-as-Decode دقة ذهاب وإياب مثالية مع تقليل ميزانية الرموز عبر تجنب نصوص المرتكزات (anchor text) ورؤوس المجموعات (hunk headers).
قابلية التعلم للمحدد (تجربة SFT أولية):
- أدت تجربة ضبط دقيق (SFT) صغيرة النطاق على Qwen2.5-Coder-1.5B (131–385 مثالاً) إلى تحسين المطابقة التامة (Exact Match) للبيانات غير المختبرة من 0% إلى 12–17%.
- يؤكد هذا أن المهمة قابلة للتعلم، رغم أن هذه التجربة الأولية لا تزال دون عتبات الإنتاج.
- نمط الفشل: الخطأ المهيمن هو "كلا الطرفين خاطئان" (incorrect both endpoints)، مما يشير إلى أن التدريب المستقبلي يجب أن يركز على دقة نهايات النطاق.
المقارنة بالتوليد التخميدي (Speculative Decoding): على عكس التوليد التخميدي الذي يستخدم نموذج مسودة صغيراً وتحققاً احتمالياً، تستخدم Copy-as-Decode وثيقة المدخلات كـ "مسودة" مع قبول غير مشروط، مما يلغي الحاجة لتدريب نموذج المسودة وتكاليف الرفض.

5. الأهمية والعمل المستقبلي

الحد النظري: توفر الورقة حداً نظرياً صارماً ومبنياً على البيانات للزيادات الممكنة في الكفاءة لعمليات تعديل LLM، مما يوضح أن تسريعات كبيرة (تصل إلى 29×) يمكن تحقيقها نظرياً دون تغيير بنية النموذج الأساسي.
الفصل (Decoupling): تقوم بفصل عملية "النسخ" عن عملية "التوليد"، مما يسمح للنظام بالاستفيد من التوازي في الأجهزة لعملية النسخ، بينما يستخدم التوليد القياسي لعملية التوليد.
الاتجاهات المستقبلية:
- التوسع على مستوى الرمز (Token-Level Extension): الانتقال من النسخ على مستوى السطر إلى النسخ على مستوى الرمز (<copy tokens="a-b"/>) قد يزيد التغطية إلى 91–99%.
- التكامل: دمج عنصر الدمج (splice primitive) في حزم الخدمة (serving stacks) مثل vLLM و SGLang مع تقنية Paged Attention.
- التدريب: توسيع نطاق تدريب محدد النطاق (span-selector) ليشمل نماذج أكبر (7B+) ومجموعات بيانات أكبر لسد الفجوة بين السقف المثالي والأداء الواقعي.

باختصار، تعيد Copy-as-Decode تعريف تعديل النصوص كمسألة فك تشفير مهيكلة، مستفيدة من التعبئة الموازية لتجاوز زمن استجابة إعادة التوليد التلقائي للمحتوى غير المتغير، مما يوفر مساراً لأنظمة تعديل تعتمد على LLM تكون أسرع وأكثر كفاءة بشكل كبير.