💬 NLP

From Where Words Come: Efficient Regularization of Code Tokenizers Through Source Attribution

تقدم هذه الورقة تقنية "تجزئة بايت على مستوى البايت منسوبة المصدر" (SA-BPE)، وهي تقنية تنظيمية تعدل هدف تدريب "تجزئة بايت على مستوى البايت" (BPE) القياسي للتخفيف من عدم توازن الرموز وفرط التخصيص الناتج عن تنوع مصادر البيانات، مما يؤدي إلى تقليل الرموز غير المدربة كفاية في أجهزة ترميز الكود مع الحفاظ على كفاءة الاستدلال وسلامته.

المؤلفون الأصليون: Pavel Chizhov, Egor Bogomolov, Ivan P. Yamshchikov

نُشر 2026-04-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pavel Chizhov, Egor Bogomolov, Ivan P. Yamshchikov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية قراءة وكتابة أكواد الكمبيوتر. للقيام بذلك، عليك أولاً تعليم الروبوت كيفية تفكيك الجمل إلى قطع أصغر وأسهل في التعامل معها تسمى الرموز (tokens). فكر في هذه الرموز كأنها قطع "ليغو" (LEGO). إذا كنت تريد من الروبوت أن يبني قلعة (يكتب كوداً)، فإنه يحتاج إلى صندوق من قطع الليغو ذات الأشكال والأحجام المناسبة.

الطريقة القياسية لصنع هذه القطع تسمى ترميز زوج البايت (BPE). وهي تشبه آلة تنظر إلى كومة ضخمة من الأكواد من الإنترنت وتقول: "مهلاً، هذان الحرفان يظهران معاً كثيراً، فلنلصقهما معاً لتصبح قطعة واحدة!" وتستمر في لصق الأزواج الأكثر شيوعاً معاً حتى يصبح لديها مجموعة (قاموس) من القطع.

المشكلة: تأثير "درج الكراكيب"

تشير الورقة البحثية إلى وجود خلل رئيسي في هذه الطريقة القياسية: ينتهي الأمر بالروبوت بامتلاك صندوق مليء بقطع غريبة وغير مفيدة.

بسبب كون بيانات التدريب تأتي من ملايين مستودعات الأكواد المختلفة (المشاريع)، يصاب نظام (BPE) القياسي بالارتباك بسبب أشياء محددة وعابرة.

التشبيه: تخيل أنك تتعلم اللغة الإنجليزية عبر قراءة كل كتاب كُتب على الإطلاق. إذا كتب مؤلف ما بالخطأ كلمة "ipsum" بدلاً من "ipsum" في نص توضيحي، فقد يقرر نظام (BPE) القياسي: "أوه، 'ipsum' هي كلمة حقيقية!" ويصنع لها قطعة خاصة!
النتيجة: أصبح لدى الروبوت قطعة لكلمة "ipsum" (مع خطأ إملائي)، وقطعة لاسم متغير كان موجوداً فقط في مشروع واحد محدد قبل 5 سنوات، أو قطعة لسلسلة عشوائية من الأرقام لا تظهر مرة أخرى أبداً.
لماذا هذا مهم؟ هذه "القطع الخردة" تشغل مساحة في ذاكرة الروبوت. والأسوأ من ذلك، هو أن الروبوت لا يستخدمها فعلياً لبناء أي شيء حقيقي، لذا فهو لا يعرف معناها. وعندما يراها لاحقاً، قد يصاب بالارتباك، أو يهلوس (يخترع أشياء من عنده)، أو حتى يتم خداعه من قبل المخترقين (Jailbreaks) الذين يستخدمون هذه القط অদ্ভুত الغريبة لتجاوز قواعد السلامة.

الحل: ترميز زوج البايت المنسوب للمصدر (SA-BPE)

يقترح المؤلفون طريقة جديدة تسمى SA-BPE. فبدلاً من مجرد السؤال: "كم مرة يظهر هذا الزوج من الحروف؟"، يسأل النظام: "أين يظهر هذا الزوج؟"

لقد استحدثوا قاعدتين جديدتين لصنع قطع الليغو:

"مسابقة الشعبية" (عدد المستودعات): لا يُسمح بإنشاء قطعة إلا إذا ظهرت في الكثير من مشاريع الكود المختلفة (المستودعات). إذا كان اسم متغير غريب يظهر في مشروع واحد فقط، فإن (SA-BPE) يقول: "لا، هذا محدد للغاية. لا تصنع قطعة لهذا الاسم".
"جواز السفر اللغوي" (عدد اللغات): لا يُسمح بإنشاء قطعة إلا إذا ظهرت في الكثير من لغات البرمجة المختلفة. إذا كان نمط معين موجوداً فقط في لغة "بايثون" ولا يظهر أبداً في "جافا" أو "سي++"، فقد يكون خاصاً جداً بخصائص بايثون ولا ينبغي أن يحصل على قطعة خاصة.

التشبيه الإبداعي:
فكر في (BPE) القياسي كطباخ يصنع حساءً عن طريق رمي كل مكون يجده في المطبخ، بغض النظر عما إذا كان جزرة أم ملعقة صدئة. الحساء سيكون طعمه غريباً ويحتوي على قطع صلبة.

أما (SA-BPE) فهو يشبه طباخاً رئيسياً صارماً يقول: "نحن فقط نضيف المكونات الموجودة في الكثير من الوصفات المختلفة. إذا كانت هناك بهارات تظهر في وصفة واحدة غريبة فقط من عام 1995، فسنتركها خارجاً". النتيجة هي حساء أنقى وأكثر تنوعاً وطعمه جيد بغض النظر عمن يتناوله.

ماذا يحدث عندما يستخدمون (SA-BPE)؟

اختبر الباحثون هذه الطريقة على عدة نماذج برمجية (مثل StarCoder2 و CodeGemma) ووجدوا ما يلي:

قطع خردة أقل: انخفض عدد الرموز غير المفيدة أو "ضعيفة التدريب" بشكل كبير (في بعض الحالات، انخفضت إلى 44 رمزاً سيئاً فقط من أصل مئات الآلاف).
ضغط أفضل: لا يزال بإمكان الروبوت قراءة الكود بكفاءة. فهو لا يحتاج إلى المزيد من القطع للقيام بالمهمة؛ بل في الواقع، يستخدم قطعاً أقل وأفضل جودة.
لا يوجد فقدان في السرعة: الجزء الأفضل؟ الروبوت يقرأ الكود بنفس سرعة السابق. القواعد الجديدة غيرت فقط كيفية صنع القطع في المصنع، وليس كيفية استخدام الروبوت لها في المطبخ.

الخلاصة الكبرى

تتعلق هذه الورقة البحثية بتنظيف "القاموس" الخاص بنماذج الذكاء الاصطناعي. من خلال التأكد من أن الذكاء الاصطناعي يتعلم فقط الكلمات والرموز الشائعة والمفيدة حقاً عبر عالم البرمجة بأكم، نحصل على نماذج:

أذكى (أقل عرضة للهلوسة).
أكثر أماناً (يصعب خداعها).
أكثر كفاءة (أقل هدراً للذاكرة).

إنها فكرة بسيطة ولكنها قوية: لا تجعل الذكاء الاصطناعي يحفظ الأخطاء الإملائية والنكات الخاصة بمشروع واحد؛ بل علمه اللغة العالمية للكود.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "من أين تأتي الكلمات: التنظيم الفعال لمجزئات الرموز البرمجية من خلال إسناد المصدر".

1. بيان المشكلة

تتناول الورقة مشكلة الرموز (tokens) غير المدربة كفاية في مجزئات الترميز بنظام "ترميز زوج البايت" (BPE)، لا سيما في مجال توليد الكود البرمجي.

الظاهرة: غالبًا ما تنتج مجزئات BPE القياسية رموزًا تظهر في المفردات ولكنها نادرًا أو لا تُرى أبدًا أثناء تدريب النموذج. تفتقر هذه الرموز إلى تمثيلات التضمين (embedding) الكافية، مما يؤدي إلى "ازدحام" المفردات.
العواقب: يمكن أن تتسبب الرموز غير المدربة كفاية في حدوث هلوسات للنموذج، وتعمل كناقلات لهجمات الاختراق (jailbreak attacks) على مستوى الرمز، وتقلل من كفاءة الاستنتاج.
السبب الجذري في الكود: تحدد الورقة أن مجزئات الكود عرضة للإفراط في التخصيص (overfitting) على مصادر بيانات محددة. تشمل المشكلات الشائعة ما يلي:
- الآثار المترتبة على مستودع معين: أسماء المتغيرات، أو أسماء الدوال، أو سلاسل النصوص المؤقتة (مثل الأخطاء المطبعية في "Lorem ipsum") الفريدة لمستودع أو مشروع واحد.
- عدم توازن التنوع: تفتقر بيانات التدريب غالبًا إلى التنوع في مصادر المستودعات واللغات، مما يجعل خوارزمية BPE تعطي الأولوية للأنماط المتكررة ولكن الضيقة (مثل تركيبات CamelCase أو snake_case المحددة من مستودع واحد كبير) على حساب الأنماط القابلة للتعميم.
- الرموز الوسيطة: حتى الرموز الوسيطة المستخدمة لبناء كلمات أكبر يمكن أن تصبح غير مدربة كفاية إذا كانت جزءًا من عمليات دمج (merges) مفرطة التخصيص لمستودع معين.

2. المنهجية: BPE المنسوب للمصدر (SA-BPE)

يقترح المؤلفون SA-BPE، وهو مجموعة من التعديلات على خوارزمية تدريب BPE القياسية التي تقدم تنظيمًا (regularization) بناءً على إسناد مصدر البيانات. بدلاً من مجرد عد تكرار الرمز، يقوم SA-BPE بتتبع تنوع المصادر التي تظهر فيها أزواج الرموز.

الآليات الأساسية

يتتبع المنهج مقياسين لكل زوج من الرموز أثناء التدريب:

$R$ (المستودعات - Repositories): عدد المستودعات البرمجية المتميزة التي يظهر فيها الزوج.
$L$ (اللغات - Languages): عدد لغات البرمجة المتميزة التي يظهر فيها الزوج.

يقدم المؤلفون نوعين من التعديلات على هدف BPE:

أ. معيار تخطي الدمج (قيد صارم - Hard Constraint)
تقوم الخوارزمية بتخطي دمج الزوج إذا لم يستوفِ عتبات التنوع الدنيا:

يتم تنفيذ الدمج فقط إذا ظهر الزوج في $R_t$ من المستودعات و $L_t$ من اللغات على الأقل.
الحدس: إذا كان الزوج موجودًا في مصادر قليلة جدًا، فمن المرجح أنه أثر ناتج عن مستودع معين (إفراط في التخصيص) ويجب استبعاده مبكرًا. هذا يمنع المفردات من النمو برموز متخصصة للغاية.

ب. معيار الأولوية (قيد ناعم - Soft Constraint)
يقوم المؤلفون بتعديل دالة التقييم المستخدمة لاختيار الدمج التالي. بدلاً من تعظيم التكرار الخام ( $F$ )، يقدمون عوامل وزن لتقليل أولوية الأزواج منخفضة التنوع:

$F \cdot L$ : يعطي الأولوية للأزواج التي تظهر في العديد من اللغات.
$F \cdot \log(R + 1)$ : يعطي الأولوية للأز pairs التي تظهر في العديد من المستودعات.
$F \cdot \log(R + 1) \cdot L$ : يجمع بين كلا العاملين.
المنطق: هذا النهج هو عكس مفهوم TF-IDF تمامًا. فبينما يرفع TF-IDF من وزن المصطلحات الفريدة لوثيقة ما، يقوم SA-BPE بخفض وزن المصطلحات الفريدة لمستودع أو لغة واحدة لتعزيز القدرة على التعميم.

تفاصيل التنفيذ

التدريب: تُطبق التعديلات فقط أثناء مرحلة بناء المفردات.
الاستنتاج: تظل عملية الاستنتاج مطابقة لـ BPE القياسي. يستخدم النموذج المفردات وقائمة الدمج الناتجة دون أي عبء حسابي إضافي أثناء التوليد.

3. المساهمات الرئيسية

تحليل الرموز غير المدربة كفاية: تقدم الورقة تحليلاً منهجيًا للرموز غير المدربة كفاية في نماذج الكود الرئيسية (CodeGemma, Qwen2.5 Coder, StarCoder2)، وتصنفها إلى أنواع مثل أسماء المتغيرات الخاصة بمستودع معين، وأخطاء علامات الترقيم، والأجزاء الوسيطة للرموز المفرطة في التخصيص.
خوارزمية SA-BPE: تقديم إسناد المصدر ( $R$ و $L$ ) كآلية تنظيم لتدريب BPE.
التحقق التجريبي: تدريب نماذج صغيرة تعتمد على Llama (بـ 100 مليون معلمة) لإثبات أن SA-BPE يقلل من الرموز غير المدربة كفاية دون التضحية بالضغط أو الحاجة إلى تغييرات في مسار الاستنتاج.
المصدر المفتوح: إصدار تنفيذ sa-bpe.

4. النتائج التجريبية

قيم المؤلفون SA-BPE على مجموعات بيانات Java و Python ومتعددة اللغات (18 لغة) باستخدام مقاييس مثل معدل الضغط (CR)، وتغطية الرموز (Token Coverage)، ومتوسط طول الرمز (MTL)، وعدد الرموز المتحقق من عدم تدريبها كفاية.

التقليل في الرموز غير المدربة كفاية:
- في التجارب متعددة اللغات، نجح أفضل متغير لـ SA-BPE (وهو $F \cdot \log R \cdot L$ ) في تقليل عدد الرموز المتحقق من عدم تدريبها كفاية من 640 (في BPE القياسي) إلى 44.
- يمثل هذا انخفاضًا هائلًا في رموز "النفايات" التي لا يستطيع النموذج استخدامها بفعالية.
الضغط والتغطية:
- حققت مجزئات SA-BPE معدلات ضغط أفضل أو مماثلة لـ BPE القياسي.
- أظهرت تغطية رموز أعلى على بيانات التقييم غير المرئية، مما يشير إلى قدرة أفضل على التعميم على المستودعات الجديدة.
- انخفض متوسط طول الرمز (MTL)، مما يشير إلى أن المفردات أقل تضخمًا بأسماء المتغيرات الطويلة والمتخصصة وأكثر تركيزًا على المكونات القابلة لإعادة الاستخدام.
تحليل التقليم (Pruning Analysis):
- عند تقليم المفردات، أظهرت مجزئات SA-BBCE أن إزالة الرموز تؤثر فورًا على الضغط (ضعف التكرار)، بينما يمكن لـ BPE القياسي أن يزيل آلاف الرموز دون أي تأثير على الضغط (ارتفاع تكرار الرموز غير المفيدة).
المقارنة مع البدائل:
- تفوق SA-BPE على متغيرات BPE الأخرى مثل BoundlessBPE و PickyBPE من حيث الضغط وتقليل الرموز غير المدربة كفاية.
- حافظ على نفس سرعة الاستنتاج مثل BPE القياسي، على عكس بعض البدائل التي تتطلب إجراءات استنتاج معقدة.

5. الأهمية والأثر

الجاهزية للإنتاج: بما أن SA-BPE يعدل فقط مرحلة التدريب ويترك إجراء الاستنتاج دون تغيير، فهو يعتبر بديلًا جاهزًا للاستبدال (drop-in replacement) لمسارات BPE الحالية. إنه لا يزيد من زمن انتقال الاستنتاج أو استخدام الذاكرة أثناء التوليد.
السلامة والمتانة: من خلال القضاء على الرموز غير المدربة كفاية، تقلل الطريقة من خطر الهلوسة والثغرات الأمنية المحتملة (الاختراقات) المرتبطة بالرموز التي لم يتعلمها النموذج بشكل صحيح.
الكفاءة: تخلق مفردات أكثر كفاءة حيث يكون لكل رمز احتمالية أعلى ليكون مفيدًا، مما يؤدي إلى أداء أفضل للنموذج بنفس حجم المفردات.
القدرة على التعميم: رغم التركيز على الكود، يشير المؤلفون إلى إمكانية تكييف النهج للغة الطبيعية باستخدام "الوثائق" أو "الكتب" كوحدة لإسناد المصدر، وإن كان مقياس "اللغة" تحديدًا فريدًا لمجال الكود.

في الختام، تثبت الورقة أن تنوع المصدر هو عامل حاسم، وغالبًا ما يتم تجاهله، في تدريب المجزئات. ومن خلال التنظيم الصريح ضد الإفراط في التخصيص لمستودع أو لغة واحدة، ينتج SA-BPE مجزئات أنظف وأكثر متانة تحسن كفاءة وسلامة نماذج توليد الكود.