💬 NLP

TiTok: Transfer Token-level Knowledge via Contrastive Excess to Transplant LoRA

يُعد TiTok إطار عمل مبتكر يتيح نقل محولات LoRA عبر هياكل النماذج اللغوية الكبيرة المختلفة من خلال التقاط المعرفة على مستوى الرموز عبر التباين الزائد لتصفية البيانات الاصطناعية بشكل انتقائي، مما يحقق مكاسب كبيرة في الأداء دون الحاجة إلى نماذج إضافية أو أعباء تشغيلية.

المؤلفون الأصليون: Chanjoo Jung, Jaehyung Kim

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chanjoo Jung, Jaehyung Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً بارعاً (النموذج المصدر - Source Model) أمضى سنوات في إتقان وصفة معينة، مثل صنع خبز العجين المخمر (Sourdough) المثالي. هذا الطباخ لديه مجموعة خاصة من الملاحظات والتقنيات (مُلحق LoRA - LoRA adapter) التي تجعل خبزه مذهلاً.

الآن، تخيل أنك تريد تعليم طباخ مختلف (النموذج المستهدف - Target Model) كيفية صنع نفس الخبز. ولكن هناك عقبة، فالطباخ الجديد هو شخص مختلف، ربما يستخدم أكواب قياس مختلفة أو يتحدث لغة مختلفة قليلاً. لا يمكنك ببساطة تسليمه ملاحظات الطباخ الأصلي لأن الطباخ الجديد لن يفهم مقاييسه.

تقليدياً، لتعليم الطباخ الجديد، سيتعين عليك:

البدء من الصفر: تجعله يتدرب لشهور (وهذا مكلف وبطيء).
استئجار مترجم: تجعل الطباخ القديم يكتب كل خطوة بالتفصيل، ثم تستأجر شخصاً ثالثاً (المُميز - Discriminator) للتحقق مما إذا كانت الخطوات منطقية قبل أن يحاول الطباخ الجديد تطبيقها. هذا أمر معقد ويستغرق الكثير من الوقت.

TITOK هي طريقة جديدة وذكية لحل هذه المشكلة. إنها تشبه "قلم التحديد الذكي" الذي ينقل جوهر المهارة دون الحاجة إلى مترجم أو قدر هائل من الممارسة.

إليك كيف يعمل TITOK، مقسماً إلى خطوات بسيطة:

1. اختبار "الهواة مقابل الخبراء"

بدلاً من أن تطلب من الطباخ الجديد تخمين الوصفة، يطلب TITOK من الطباخ القديم القيام بشيئين:

الهواة: "اصنع الخبز باستخدام مهاراتك الأساسية الافتراضية".
الخبراء: "اصنع الخبز باستخدام ملاحظات العجين المخمر الخاصة بك".

ثم يقوم TITOK بالمقارنة بين المحاولتين. إنه ينظر إلى كل كلمة (أو "رمز" - Token) في الوصفة.

إذا اتفق الطباخ الأساسي والطباخ الخبير على كلمة (مثل "دقيق")، فهذه الكلمة ليست مميزة جداً.
ولكن إذا كان الطباخ الأساسي مرتبكاً بشأن كلمة ما، وقال الطباخ الخبير: "لا، إنها بالتأكيد بادئة العجين المخمر (sourdough starter)"، فإن TITOK يسلط الضلّط على تلك الكلمة.

هذا الفرق يسمى "الفائض التبايني" (Contrastive Excess). إنه يشبه كشاف الضوء الذي يسلط الضوء فقط على الأجزاء من الوصفة حيث تبرز المعرفة الخاصة للخبير فعلياً.

2. "الفلتر الذكي"

عادةً، عندما تطلب من الذكاء الاصطناعي توليد بيانات تدريب (بيانات اصطناعية)، فإنه يرتكب الكثير من الأخطاء أو يولد أشياء مملة ومتكررة.

الطريقة القديمة: تقوم بتوليد 1000 وصفة تدريب، ثم تستأجر بشراً (أو ذكاءً اصطناعياً منفصلاً) لقراءتها جميعاً والتخلص من السيئ منها.
طريقة TITOK: لأن لدينا ذلك "الكشاف" من الخطوة الأولى، فنحن لسنا بحاجة إلى قاضٍ منفصل. يقوم TITOK تلقائياً بالتخلص من الأجزاء المملة من الوصفة ويحتفظ فقط بالكلمات عالية القيمة والمميزة.

إنه يشبه المنخل السحري الذي يسمح فقط لقطع الذهب بالمرور بينما يسقط الرمل للخارج، كل ذلك دون الحاجة إلى يد ثانية للمساعدة.

3. "مترجم اللغة" (محاذاة الرموز - Token Alignment)

أحياناً، يتحدث الطباخ القديم والطباخ الجديد "لغات" مختلفة (يستخدمان مجزئات كلمات - Tokenizers مختلفة، أي طريقة تقطيع الكلمات).

الطباخ القديم: "Sour-dough" (كلمتان)
الطباخ الجديد: "Sourdough" (كلمة واحدة)

يمتلك TITOK خوارزمية ذكية تعمل كقاموس ثنائي اللغة. فهي تربط "Sour-dough" الخاصة بالطباخ القديم بـ "Sourdough" الخاصة بالطباخ الجديد، بحيث تنتقل المعرفة بشكل مثالي، حتى لو اختلفوا في طريقة عدّ الكلمات.

لماذا يعد هذا أمراً مهماً؟

لا تدريب إضافي: لا تحتاج إلى تدريب ذكاء اصطناعي "قاضٍ" منفصل لتصفية البيانات. الطباخ القديم يقوم بعملية التصفية نيابة عنك.
يعمل عبر النماذج المختلفة: يمكنك أخذ المعرفة من نموذج صغير لتعليم نموذج كبير، أو نقلها من علامة تجارية للذكاء الاصطناعي إلى أخرى (مثل الانتقال من Mistral إلى Llama).
الكفاءة: يوفر كميات هائلة من قوة الحوسسة والوقت لأنه يركز فقط على أكثر "اللحظات" أهمية في البيانات، متجاهلاً الضجيج.

باختصار:
TITOK يشبه المعلم الذكي الذي لا يكتفي بنسخ ولصق الكتاب المدرسي. بدلاً من ذلك، يراقب الخبير وهو يحل مشكلة ما، ويكتشف بالضبط أين يعمل عقل الخبير بأقصى طاقته، ثم يخبر الطالب: "مهلاً، انتبه لهذه الخطوات المحددة؛ أما الباقي فهو مجرد ضجيج خلفي". هذا يسمح للطالب بتعلم المهارة بشكل أسرع وأكثر دقة، حتى لو كان نوعاً مختلفاً تماماً من الطلاب.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "TITOK: نقل المعرفة على مستوى الرمز عبر الفائض التبايني لزراعة LoRA".

1. بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في سيناريوهات العالم الحقيقي، لكن الضبط الدقيق الكامل (Full Fine-tuning) مكلف حاسوبياً. وتعمل طرق الضبط الدقيق الفعال للمعلمات (PEFT) مثل LoRA (التكيف منخفض الرتبة) على تخفيف ذلك عبر تحديث مجموعة فرعية صغيرة فقط من المعلمات. ومع ذلك، يوجد قيد جوهري: محولات LoRA مرتبطة ارتباطاً وثيقاً بنموذجها الأساسي المحدد ولا يمكن نقلها مباشرة إلى نماذج خلفية مختلفة (على سبيل المثال، من Mistral إلى Llama).

تواجه الحلول الحالية عيوباً كبيرة:

تقطير المعرفة (Knowledge Distillation - KD): يتطلب عادةً الوصول إلى بيانات التدريب الأصلية للمهمة، والتي غالباً ما تكون غير متوفرة أو مملوكة لجهات خاصة.
TransLoRA: نهج حديث يستخدم بيانات اصطناعية لنقل معرفة LoRA. ومع ذلك، فإنه يتطلب تدريب نموذج تمييز إضافي لتصفية البيانات الاصطناعية منخفضة الجودة، مما يؤدي إلى تعقيد إضافي، وأعباء حسابية، وتعقيد في خط الإنتاج (Pipeline).

التحدي الجوهمري هو تمكين زراعة LoRA (LoRA transplantation) عبر نماذج مختلفة (عائلات مختلفة، أحجام، أو إصدارات) دون الحاجة إلى البيانات الأصلية، ودون نماذج تمييز مساعدة، وبأقل قدر من الأعباء الحسابية.

2. المنهجية: إطار عمل TITOK

يقترح المؤلفون TITOK (نقل المعرفة على مستوى الرمز عبر الفائض التبايني)، وهو إطار عمل ينقل المعرفة من خلال التدريب الانتقائي على الرموز المعلوماتية (Informative Tokens) ضمن البيانات الاصطناعية. تتكون العملية من أربع مراحل رئيسية:

أ. توليد البيانات الاصطناعية

بدلاً من استخدام النموذج المستهدف لتوليد الاستعلامات (كما في TransLoRA)، يستخدم TITOK النموذج الخبير المصدر ( $M_s + A_s$ ، حيث $M_s$ هو النموذج الأساسي و $A_s$ هو محول LoRA) لتوليد كل من الاستعلامات ( $q$ ) والملصقات ( $y$ ) بناءً على مطالبة بذرية (few-shot seed prompt). يضمن هذا توافق البيانات الاصطناعية مع توزيع معرفة محول LoRA المصدر بدقة.

ب. درجة الفائض التبايني على مستوى الرمز (Token-Wise Contrastive Excess Score)

هذا هو الابتكار الجوهري. يقوم TITOK بحساب "درجة الفائض" لكل رمز في الاستجابة لتحديد المواضع التي يحقن فيها محول LoRA معرفة مهمة محددة.

النموذج الهاوي (Amateur Model): النموذج الأساسي المصدر وحده ( $M_s$ ).
النموذج الخبير (Expert Model): النموذج الأساسي المصدر مع LoRA ( $M_s + A_s$ ).
الحساب: بالنسبة لرمز $y_i$ في الاستجابة $y$ المعطاة للاستعلام $q$ ، تُعرف درجة الفائض $S(y_i)$ بأنها الفرق في احتمالات اللوغاريتم (الخسارة) بين النموذجين الخبير والهاوي:
$S(y_i) = \log P_{M_s+A_s}(y_i | q, y_{<i}) - \log P_{M_s}(y_i | q, y_{<i})$
التفسير: تشير الدرجة الموجبة العالية إلى أن محول LoRA قد زاد بشكل كبير من الثقة في التنبؤ بذلك الرمز مقارنة بالنموذج الأساسي. تمثل هذه الرموز المعرفة الخاصة بالمهمة التي يفتقر إليها النموذج الخلفي. هذا المقياس مستند نظرياً إلى اختبار نسبة الإمكان (Likelihood Ratio Test - LLR)، والذي يحدد المناطق التي تتباعد فيها التوزيعات بشكل أكبر.

ج. التصفية على مرحلتين

يقوم TITOK بتصفية مجموعة البيانات الاصطناعية ( $D_s$ ) باستخدام درجات الفائض قبل تدريب النموذج المستهدف:

تصفية العينات (Sample Filtering): يحسب متوسط درجة الفائض لكل عينة. يتم الاحتفاظ فقط بأفضل $M$ من العينات ذات متوسط الدرجات الأعلى. هذا يزيل الأمثلة الاصطناعية غير المعلوماتية.
اختيار الرموز (Token Selection): داخل العينات المحتفظ بها، يتم استخدام أعلى $k\%$ فقط من الرموز (المصنفة حسب درجات الفائض الفردية الخاصة بها) للتدريب. يتم تدريب النموذج المستهدف فقط على هذه الرموز عالية القيمة، مع تجاهل الباقي.

د. محاذاة أجهزة الترميز (Tokenizer Alignment)

عند النقل بين نماذج ذات أجهزة ترميز (Tokenizers) مختلفة (مثل Mistral مقابل Llama)، يكون الربط المباشر للرموز مستحيلاً. يستخدم TITOK خوارما محاذاة المؤشر المزدوج (Dual-pointer alignment algorithm):

يقوم بمحاذاة تسلسلات الرموز للمصدر والمستهدف عن طريق فك ترميز نطاقات النص بشكل تدريجي.
يقوم بنشر الأقنعة الثنائية (احتفظ/تجاهل) من المصدر إلى المستهدف باستخدام أربع قواعد:
1. واحد لواحد (One-to-One): نسخ مباشر.
2. واحد لمتعدد (One-to-Many): تكرار الدرجة.
3. متعدد لواحد (Many-to-One): متوسط الدرجات.
4. متعدد لمتعدد (Many-to-Many): المتوسط والتكرار.
يسمح هذا للنموذج المستهدف بالتعلم من المناطق الدلالية الصحيحة حتى لو اختلف الترميز.

3. المساهمات الرئيسية

نقل المعرفة على مستوى الرمز: على عكس الطرق السابقة التي تنقل تسلسلات كاملة أو تعتمد على محاذاة اللوغاريتم العالمية، يركز TITOK على الإشارات على مستوى الرمز، حيث يحدد وينقل فقط الرموز المحددة التي تكون فيها معرفة المحول أكثر أهمية.
تصميم خالٍ من نموذج التمييز: يلغي TITOK الحاجة إلى نموذج تمييز مساعد. فهو يستخدم النموذج المصدر نفسه (كـ "هاوي" و "خبير") لتوليد إشارات الإشراف، مما يقلل بشكل كبير من الأعباء الحسابية وتعقيد خط الإنتاج.
محاذاة قوية لأجهزة الترميز: تتيح خوارزمية المحاذا_المقترحة نقل المعرفة بفعالية عبر نماذج ذات أجهزة ترميز مختلفة، وهو ما يعد عقبة شائعة في عمليات زراعة LoRA عبر البنى المختلفة.
كفاءة البيانات: يعمل المنهج بفعالية مع البيانات الاصطناعية المولدة من مطالبات (prompts) بذرية، ويمكنه حتى استخدام بيانات خارجية من مجالات/مستخدمين مختلفين، مما يظهر مرونة عالية.

4. النتائج التجريبية

قام المؤلفون بتقييم TITOK على ثلاثة اختبارات مرجعية: Big-Bench Hard (BBH)، و MMLU (الاستدلال)، و LaMP (التخصيص/التوليد).

مكاسب الأداء:
- تفوق TITOK باستمرار على النماذج المرجعية (Vanilla، و KD، و TransLoRA) في جميع إعدادات النقل.
- متوسط التحسينات: +9.94% عن Vanilla، و +8.5% عن KD، و +4.4% عن TransLoRA.
- النقل عبر النماذج: فعال في النقل من Mistral إلى Llama، ومن النماذج الصغيرة إلى الكبيرة (3B $\to$ 8B)، ومن إصدارات مختلفة (Llama-2 $\to$ Llama-3).
دراسات الاستئصال (Ablation Studies):
- ثبت أن كلاً من تصفية العينات و اختيار الرموز ضروريان؛ حيث أدى إزالة أي منهما إلى تدهور الأداء.
- استخدام الخبير المصدر (Source Expert) لتوليد الاستعلامات حقق نتائج أفضل من استخدام النموذج المستهدف.
المتانة:
- ظل TITOK فعالاً حتى عند استخدام بيانات اصطناعية منخفضة الجودة أو بيانات خارجية من مستخدمين/مهام مختلفة.
- أظهر متانة تجاه تصميمات المطالبات المختلفة ونسب الاختيار ( $k\%$ ).
الكفاءة:
- حقق TITOK تقليلاً في إجمالي وقت الحوسبة بنسبة 1.5x–2.5x مقارنة بـ TransLoRA، ويرجع ذلك أساساً إلى إلغاء تدريب نموذج التمييز.

5. الأهمية

يمثل TITOK تحولاً جذرياً في نقل المعرفة لـ PEFT. فمن خلال الانتقيع من التقطير على مستوى التسلسل أو مستوى اللوغاريتم إلى النقل الانتقائي على مستوى الرمز، فإنه يعالج "الضجيج" المتأصل في البيانات الاصطناعية وجمود طرق زراعة LoRA الحالية.

الواقعية: يوفر حلاً خفيف الوزن وقابلاً للتشغيل المباشر (plug-and-play) لنشر محولات LoRA عبر عائلات نماذج متنوعة دون الحاجة لإعادة التدريب من الصفر أو الوصول إلى البيانات المملوكة.
القابلية للتوسع: يتوسع المنهج جيداً مع النماذج الأكبر (مثل 70B بارامتر) والبنى المعقدة مثل MoE.
القدرة على التعميم: قدرته على العمل مع بيانات خارجية وأجهزة ترميز مختلفة تجعله قابلاً للتطبيق للغاية في سيناريوهات العالم الحقيقي حيث تعد خصوصية البيانات وعدم تجانس النماذج قيوداً رئيسية.

باختصار، يوفر TITOK آلية بسيطة وقوية لـ "زراعة" المعرفة المتخصصة من نموذج إلى آخر من خلال التركيز على الرموز الدقيقة التي تحمل تلك المعرفة، متجاوزاً الحاجة إلى النماذج المساعدة الثقيلة أو مجموعات البيانات الأصلية.