💬 NLP

X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation

تقترح الورقة البحثية X-Token، وهو إطار عمل لتقطير المعرفة عبر أجهزة الترميز (cross-tokenizer) بتوجيه من الإسقاط، يستخدم مصفوفات إسقاط متفرقة للتغلب على عدم توافق المفردات ومحدودية مطابقة الرموز في التقطير القائم على اللوجيت (logit-based distillation)، مما يمكن النماذج الطلابية من تعلم "المعرفة المظلمة" بفعالية من النماذج المعلمة ذات المفردات غير المتطابقة وتحقيق أداء رائد في هذا المجال.

المؤلفون الأصليون: Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Mingyu Yang, Ali Taghibakhshi, Saurav Muralidharan, Ashwath Aithal, Pavlo Molchanov

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Mingyu Yang, Ali Taghibakhshi, Saurav Muralidharan, Ashwath Aithal, Pavlo Molchanov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب صغير (نموذج الطالب) كيفية حل المسائل الرياضية وكتابة القصص. لديك معلم عبقري (نموذج المعلم) يعرف كل شيء، ولكن هناك عقبة: إنهما يتحدثان لغات مختلفة.

يتحدث الطالب لغة "لاما" (Llama)، حيث الرقم 201 هو كلمة واحدة فقط. بينما يتحدث المعلم لغة "كيوين" (Qwen)، حيث يتم تقسيم 201 إلى ثلاث كلمات منفصلة: 2، و0، و1.

في الماضي، كانت محاولة تعليم الطالب باستخدام هذا المعلم تشبه محاولة مطابقة الجوارب من درجين مختلفين لا تتطابق أحجامهما. إذا حاولت فرض المطابقة، فسيصاب الطالب بالارتباك، أو والأسوأ من ذلك، سيتم تجاهل نصيحة المعلم القيمة تماماً.

تقدم هذه الورقة البحثية طريقة جديدة تسمى X-Token لإصلاح هذا عدم التطابق. إليك كيف تعمل، مقسمة إلى مفاهيم بسيطة:

1. المشكلة: عدم تطابق "درج الجوارب"

حاولت الطرق السابقة حل هذه المشكلة عن طريق تقسيم المفردات إلى مجموعتين:

المجموعة "الشائعة": الكلمات التي تبدو متطابقة تماماً في كلتا اللغتين (مثل: "the"، "cat").
المجموعة "غير الشائعة": الكلمات التي لا تتطابق (مثل: "201" مقابل "2-0-1").

عاملت الطريقة القديمة (التي تسمى GOLD) هاتين المجموعتين بشكل مختلف. فقد قدمت نصيحة مثالية للكلمات "الشائعة"، لكنها قدمت نصيحة فوضوية وعشوائية للكلمات "غير الشائعة".

الفشل: إذا احتاج الطالب لتعلم رقم رياضي حرج مثل 201، وكان هذا الرقم يقع ضمن المجموعة "غير الشائعة"، فإن الطريقة القديمة ستؤدي فعلياً إلى إلحاق الضرر بتعلم الطالب. الأمر يشبه معلماً يقول لطالب: "لا تقلق بشأن الرقم 201؛ فقط خمن عشوائياً". تُظهر الورقة أن هذا تسبب في انهيار درجات الرياضيات لدى الطالب من درجة جيدة بلغت 12.89 إلى درجة سيئة للغاية بلغت 2.56.

2. الحل: "المترجم العالمي" (مصفوفة الإسقاط)

يقدم X-Token أداة خاصة تسمى مصفوفة الإسقاط ( $W$ ). فكر في هذا كـ مترجم عالمي أو حجر رشيد يقع بين الطالب والمعلم.

بدلاً من إجبار الطالب على تعلم الكلمات التي تبدو متطابقة تماماً فقط، يقول هذا المترجم:

"حسناً، عندما يقول المعلم '2'، و'0'، و'1'، فإن هذا هو نفس الشيء بالنسبة لـ '201' الخاصة بالطالب".
إنه ينشئ جسراً حتى يتمكن الطالب من فهم منطق المعلم الكامل، حتى لو قام المعلم بتقسيم الكلمات بشكل مختلف.

3. أسلوبان مختلفان في التدريس (دوال الخسارة)

أدركت الورقة البحثية أنه في بعض الأحيان يحتاج "المترجم العالمي" إلى العمل بطريقتين مختلفتين، اعتماداً على الموقف. لقد ابتكروا نمطين:

النمط أ: "الدمج الكامل" (P-KL)

متى يُستخدم: عندما يقوم المعلم بتقسيم الكلمات الحرجة (مثل الأرقام الرياضية) إلى قطع صغيرة لا يتعرف عليها الطالب على الإطلاق.
كيف يعمل: يتخلص تماماً من فكرة الكلمات "الشائعة" مقابل "غير الشائعة". فهو يستخدم المترجم لربط عقل المعلم بالكامل بعقل الطالب.
النتيجة: لقد أنقذ هذا النمط درجات الرياضيات! فباستخدام هذا النمط مع معلم "كيوين"، قفزت درجة الرياضيات لدى الطالب من 2.56 (مع الطريقة القديمة) لتصل إلى 15.54. بل إنه تفوق على معلم يتحدث نفس لغة الطالب.

النمط ب: "المطابقة المرنة" (H-KL)

متى يُستخدم: عندما يتفق المعلم والطالب في معظم الأمور، ولكن توجد بعض الاختلافات الطفيفة (مثل قول المعلم "Hund" + "reds" بدلاً من "Hundreds" الخاصة بالطالب).
كيف يعمل: يحافظ على التقسيم بين "الشائع" و"غير الشائع"، لكنه يخفف القواعد. فبدلاً من المطالبة بمطابقة دقيقة، يقول: "إذا قال المترجم إن هذين هما أقرب تطابق، فلنعتبرهما متطابقين".
النتيجة: منح هذا النمط دفعة صغيرة ولكن ثابتة (حوالي +0.5 نقطة) عندما كان معلم "Phi-4-mini" لا يجزئ الأرقام بشكل عدواني.

4. "لجنة الخبراء" (استخلاص المعرفة من عدة معلمين)

تُظهر الورقة البحثية أيضاً أنه يمكنك استخدام عدة معلمين في وقت واحد.

تخيل أن لديك معلماً عبقرياً في الرياضيات ومعلماً في سرد القصص.
يسمح X-Token للطالب بالاستماع إليهما في آن واحد.
النتيجة: عندما جمعوا بين معلم متخصص في الرياضيات (Phi-4-mini) ومعلم للمعرفة العامة (Llama-3)، تعلم الطالب بشكل أفضل مما لو كان لديه معلم واحد فقط. إنه يشبه طالباً يحصل على دروس خصوصية في الرياضيات من معلم، ودروس أخرى في التاريخ من معلم آخر، ثم يجمع بين تلك الدروس ليصبح طالباً خارقاً.

ملخص النتائج

الطريقة القديمة: إذا لم تكن المفردات متطابقة تماماً، يصاب الطالب بالارتباك ويؤدي بشكل سيء.
طريقة X-Token: من خلال استخدام مترجم ذكي واختيار أسلوب التدريس المناسب (الدمج الكامل مقابل المطابقة المرنة)، يمكن للطالب التعلم بفعالية من معلمين يتحدثان "لغات" مختلفة.
الدليل: في اختبار رياضيات قياسي (GSM8k)، حسّن X-Token درجة الطالب بمقدار 6 أضعاف مقارنة بأفضل طريقة سابقة عند استخدام معلم محدد.

باخت-صار، X-Token هو نظام ذكي يتوقف عن محاولة إجبار لغتين مختلفتين على أن تبدوا كشيء واحد، وبدلاً من ذلك يبني جسراً لكي يتمكن الطالب من التعلم من أفكار المعلم، بغض النظر عن الطريقة التي يختار بها المعلم التعبير عنها.

ملخص تقني: X-Token: تقطير المعرفة الموجه بالإسقاط عبر اختلاف أجهزة الترميز (Cross-Tokenizer)

بيان المشكلة

تتطلب عملية تقطير المعرفة (Knowledge Distillation - KD) عادةً وجود جهاز ترميز (Tokenizer) مشترك بين نموذجي المعلم والطالب، مما يقيد الممارسين فعلياً ضمن عائلات نماذج محددة. هذا القيد يمنع الاستفادة من معلمين أقوى أو متخصصين ذوي مفردات غير متوافقة (مثل التقطير من نموذج Qwen أو Phi إلى طالب من عائلة Llama)، ويعيق عملية التقطير متعدد المعلمين عبر عائلات أجهزة الترميز المتنوعة.

تنقسم طرق تقطير المعرفة الحالية عبر أجهزة الترميز المختلفة إلى فئتين: القائمة على التمثيل (محاذاة الحالات الخفية) والقائمة على توزيع اللوغاريتمات (العمل على احتمالات المخرجات). تُفضل الفئة الأخيرة في مرحلة ما قبل التدريب المستمر لأنها لا تتطلب تغييرات هيكلية. ومع ذلك، فإن الطريقة الرائدة الحالية القائمة على اللوغاريتمات، GOLD، تعاني من محدوديتين هيكليتين حرجتين عند التعامل مع أجهزة ترميز غير متوافقة:

فشل الرموز غير الشائعة (Uncommon-Token Failure): عندما تقوم أجهزة الترميز بتجزئة النص بشكل مختلف (على سبيل المثال، تقسيم المعلم للأرقام متعددة الخانات بينما يجمعها الطالب في رمز واحد)، تقع الرموز الحرجة ضمن مجموعة "غير متطابقة". هذه الرموز تتعرض للتدهور بسبب الضوضاء غير المحددة الهوية الناتجة عن المطابقة القائمة على الرتبة، ويتم كبتها بواسطة التدرجات الناتجة عن حد (common-KL)، مما يؤدي إلى انخفاض حاد في الأداء (على سبيل المثال، انخفاض دقة GSM8k من 12.89 إلى 2.56).
**المطابقة شديدة التحفظ (Over-Conservative Matching):ما: إن شرط التساوي النصي (1-to-1) الصارم يستبعد المحاذات الدلالية الصحيحة حيث تختلف الأشكال السطحية (على سبيل المثال، رمز الطالب "Hundreds" الذي يقابله في المعلم "Hund" + "reds")، مما يترك إشارات الإشراف المفيدة غير مستغلة.

المنهجية: X-Token

يعالج X-Token هذه المشكلات من خلال إطار عمل مكون من ثلاثة عناصر: محاذاة النطاق (Span Alignment)، مصفوفة الإسقاط ( $W$ )، وصيغ الخسارة التكاملية (Complementary Loss Formulations).

1. محاذاة التسلسل (Sequence Alignment)

للتعامل مع اختلاف أطوال التسلسل وعدم المحاذاة الموضعية، يستخدم X-Token تقنية محاذاة النطاق. يتم تجميع الرموز في كتل (chunks) تترجم إلى نفس النص الأساسي. يتم تطبيق دمج "قاعدة السلسلة" (chain-rule merge) داخل كل كتلة لدمج احتمالات الرموز في توزيع واحد على مستوى الكتلة، مما يخلق وحدات متوافقة للتقطير.

2. مصفوفة الإسقاط ( $W$ )

تقوم مصفوفة إسقاط متفرقة $W \in \mathbb{R}^{|\mathcal{V}_S| \times |\mathcal{V}_T|}$ بخرائط احتمالات رموز الطالب إلى فضاء مفردات المعلم. يتم إنشاؤها بشكل حتمي عبر مرحلتين:

مرحلة التطابق التام (Exact-Match Pass): تضبط $W[s, t] = 1$ للرموز التي لها تطابقات نصية معيارية.
مرحلة قاعدة تعدد الرموز (Multi-Token-Rule Pass): بالنسبة لرموز الطالب غير المتطابقة، يتم إعادة ترميز النص المفكك بواسطة جهاز ترميز المعلم. يتم ربط رمز الطالب بتسلسل رموز المعلم الناتج مع أوزان متناقصة (على سبيل المثال، $\beta=0.9, \gamma=0.1$ ).
يتم إنشاء المصفوفة من قواعد جهاز الترميز ويمكن تحسينها اختيارياً أثناء التدريب.

3. صيغ الخسارة التكاملية

يقدم X-Token نمطين للخسارة، يتم اختيارهما بناءً على تدقيق تغطية الرموز الحرجة (مثل الأرقام) في مفردات الطالب:

P-KL (التباعد لـ KL الموجه بالإسقاط): مصمم للحالات التي تقع فيها الرموز الحرجة ضمن المجموعة "غير الشائعة" (مثل معلم Qwen). يقوم بإزالة التقسيم تماماً؛ حيث يتم إسقاط توزيع الطالب عبر $W$ إلى فضاء مفردات المعلم، ويتم حساب تباعد KL مباشر بين توزيع المعلم وتوزيع الطالب المسقط. هذا يلغي التدرجات الخاطئة القائمة على الرتبة والآثار المثبطة.
H-KL (التباعد لـ KL الهجين): مصمم للحالات التي يكون فيها التقسيم سليماً هيكلياً (مثل معلم Phi-4-mini). يحافظ على الهيكل الهجين ولكنه يخفف من تعريف المجموعة "الشائعة". بدلاً من ذلك، يتضمن أزواج $(s, t^*)$ حيث $t^*$ هو أعلى رمز معلم في الرتبة لرمز الطالب $s$ تحت مصفوفة $W$ . هذا يلتقط المحاذات شبه المتكافئة مع الحفاظ على الإشراف الأكثر حدة عبر KL المباشر للأزواج المتطابقة هويّاً.

4. التقطير متعدد المعلمين

يمتد X-Token طبيعياً ليشمل معلمين متعددين من خلال تجميع خسائر كل معلم. يستخدم الأوزان الثابتة (التي تفوقت على المخططات التكيفية في التجارب) لدمج الإشارات من معلمين متباينين، مستفيداً من نقاط قوتهم المتكاملة (مثل الاستدلال مقابل المعرفة العامة).

5. القياس الديناميكي (Dynamic Scaling)

لتحقيق استقرار التدريب، يتم إعادة قياس خسارة التقطير ديناميكياً في كل خطوة لتتطابق مع حجم خسارة الإنتروبيا المتقاطعة (cross-entropy loss)، مما يمنع عدم استقرار التحسين الناتج عن تفاوت مقاييس الخسارة.

المساهمات الرئيسية

المحاذاة الحتمية عبر أجهزة الترميز: تقديم مصفوفة إسقاط متفرقة $W$ يتم إنشاؤها عبر قواعد النصوص وفك ترميز تعدد الرموز، مما يسمح بمحاذاة مباشرة للمفردات دون الحاجة لمكونات إضافية قابلة للتدريب.
صيغ خسارة مزدوجة: اقتراح P-KL و H-KL، اللذين يتكيفان مع أنظمة عدم توافق أجهزة الترميز المختلفة. يستعيد P-KL الإشارة للرموز غير المتطابقة الحرجة، بينما يعمل H-KL على تحسين المحاذاة للرموز المتوافقة جيداً.
القدرة على التقطير متعدد المعلمين: إثبات أن X-Token يتيح التقطير الفعال من معلمين متباينين، حيث تظهر النتائج أن مجموعات المعلمين المتكاملة تحقق أداءً متفوقاً على المعلم الواحد أو الأزواج المتجانسة.
محاذاة تسلسل قوية: طريقة محاذاة نطاق تعتمد على البرمجة الديناميكية (DP) وتتميز بالقابلية للتوسع، مما يضمن وحدات متسقة نصياً لعملية التقطير.

النتائج التجريبية

أُجريت التجارب باستخدام Llama-3.2-1B كطالب، و Qwen3-4B و Phi-4-mini-Instruct و Llama-3.2-3B كمعلمين.

الأداء مقابل SOTA: يتفوق X-Token على الحالة الراهنة (GOLD) بمعدل +3.82 نقطة عند استخدام معلم Qwen3-4B (مع تحسن بمقدار 6 أضعاف في GSM8k، من 2.56 إلى 15.54) وبمقدار +0.5 نقطة مع معلم Phi-4-mini.
التفوق عبر عائلات النماذج: في نظام Qwen، تجاوز X-Token (P-KL) عملية التقطير من معلم Llama-3.2-3B (من نفس نوع جهاز الترميز)، مما يثبت أن التقطير عبر أجهزة ترميز مختلفة يمكن أن يتجاوز حدود العائلة الواحدة عندما تكون صيغة الخسارة صحيحة.
مكاسب تعدد المعلمين: حقق إعداد المعلمين الاثنين (Phi-4-mini + Llama-3.2-3B) تحسناً قدره +1.3 نقطة عن تقطير المعلم الواحد، مما يسلط الضوء على قيمة الجمع بين قدرات المعلمين المتنوعة.
نتائج دراسة الاستئصال (Ablation):
- اختيار الخسارة أمر حاسم: فشل P-KL مع Phi-4-mini، وفشل H-KL مع Qwen3-4B.
- تعلم مصفوفة الإسقاط $W$ بشكل مشترك يحقق مكاسب طفيفة ولكن ثابتة مقارنة بالتهيئة القائمة على القواعد والثابتة.
- تفوقت الأوزان الثابتة للمعلمين على المخططات التكيفية (المبنية على الإنتروبيا أو الثقة).

الأهمية

تزعم الورقة أن X-Token يثبت أن المحاذاًة الدقيقة على مستويي التسلسل والمفردات، جنباً إلى جنب مع تصميم الخسارة التكيفي، هما المفتاح لإطلاق الإمكانات الكاملة لتقطير المعرفة عبر أجهزة الترميز المختلفة. من خلال معالجة أوجه القصور الهيكلية في الطرق القائمة على التقسيم، يسمح X-Token للممارسين بالاستفادة من معلمين أقوى أو متخصصين أو متنوعين دون التقيد بالتوافق بين أجهزة الترميز، مما يكسر فعلياً "قيد جهاز الترميز" الذي يحد حالياً من توسيع النماذج وتخصصها.