Synthesizing Instruction-Tuning Datasets with Contrastive Decoding

إليك ملخص تقني مفصل لورقة البحث بعنوان "توليف مجموعات بيانات ضبط التعليمات باستخدام فك التشفير التبايني" (CoDIT).

1. بيان المشكلة

تعالج الورقة البحثية قصوراً جوهرياً في طرق توليد مجموعات بيانات ضبط التعليمات (Instruction-Tuning) الحالية. فبينما يعد استخدام النماذج اللغوية الكبيرة (LLMs) لتوليد الاستجابات لضبط التعليمات ممارسة قياسية، تعاني الطرق الحالية من تداخل القدرات:

• المعرفة المسبقة (Pre-trained Knowledge): المعرفة بالعالم التي اكتُسبت خلال مرحلة ما قبل التدريب.
• قدرات اتباع التعليمات (Instruction-Following Capabilities): القدرة المحددة على اتباع تعليمات المستخدم والتي اكتُسبت خلال مرحلة ما بعد التدريب (الضبط الدقيق/المحاذاة).

يفترض المؤلفون أنه عندما يقوم النموذج الذي خضع للضبط (Post-trained model) بتوليد استجابة، فإنه يمزج هذين المكونين. وبما أن المعرفة المسبقة غالباً ما تكون موجودة بالفعل في معاملات (Parameters) النموذج الطالب، فإن تضمينها في بيانات التدريب يعمل كـ ضجيج (Noise) بدلاً من كونها إشارة مفيدة. هذا "عدم التطابق" يمنع النموذج الطالب من تعلم سلوكيات اتباع التعليمات الصافية بكفاءة. الهدف هو فصل هذه القدرات لتوليد بيانات تدريب تعزل وتضخم مهارات اتباع التعليمات مع كبح المعرفة المسبقة المشتركة.

2. المنهجية: CoDIT

يقترح المؤلفون CoDIT (فك التشفير التبايني لمجموعات بيانات ضبط التعليمات)، وهي طريقة تطبق فك التشفير التبايني أثناء مرحلة توليد الاستجابة لتوليد أزواج (تعليمات-استجابة) عالية الجودة.

الآلية الجوهرية

يعامل CoDIT النموذج الذي خضع للضبط كـ "خبير" (Expert)، ونسخة ما قبل التدريب الخاصة به (نفس النموذج قبل ضبط التعليمات) كـ "هاوٍ" (Amateur).

• التسجيل التبايني (Contrastive Scoring): لكل رمز (Token) $v$ في المفردات، يحسب النموذج درجة $s(v)$ بناءً على الفرق في احتمالات اللوغاريتم بين النموذج الذي خضع للضبط ($\theta_{post}$) والنموذج قبل التدريب ($\theta_{pre}$):
  $$s(v; x, y_{<i}) = \log P(v | x, y_{<i}; \theta_{post}) - \log P(v | x, y_{<i}; \theta_{pre})$$
• اختيار الرمز (Token Selection): يتم اختيار الرمز ذو أعلى درجة تباينية، بشرط استيفائه لـ قيد المعقولية (Plausibility Constraint). يضمن هذا القيد أن يكون الرمز ذا احتمالية عالية بما يكفي تحت النموذج الذي خضع للضبط (يتم التحكم فيه عبر المعلمة الفائقة $\alpha$) لمنع توليد نصوص غير منطقية (وهي مشكلة شائعة في فك التشفير التبايني غير المقيد).

التفسير النظري: تقطير فضاء النص (Text-Space Distillation)

تقدم الورقة إثباتاً نظرياً بأن CoDIT يعمل كعملية تقطير لـ "متجه الدردشة" (Chat Vector) من فضاء المعاملات إلى فضاء النص.

• متجه الدردشة ($\Delta\theta = \theta_{post} - \theta_{pre}$) يمثل إزاحة المعاملات الناتجة عن ضبط التعليمات.
• باستخدام توسيع تايلور من الدرجة الأولى، يوضح المؤلفون أن التسجيل التبايني يتناسب طردياً مع الضرب الداخلي بين متجه الدردشة وتدرج احتمالية اللوغاريتم (Log-likelihood gradient).
• من خلال تعظيم هذه الدرجة، يختار CoDIT الرموز التي تتوافق تدرجاتها بشكل وثيق مع اتجاه تحديث ضبط التعليمات.
• الأهمية: على عكس التقطير التقليدي في فضاء المعاملات (الذي يتطلب بنيات متطابقة)، يقوم CoDIT بنقل قدرات اتباع التعليمات عبر فضاء النص، مما يسمح بالانتقال بين نماذج ذات أحجام وبنيات مختلفة.

3. المساهمات الرئيسية

1. منهجية مبتكرة (CoDIT): إطار عمل لتوليد مجموعات بيانات ضبط التعليمات التي تكبح صراحةً المعرفة المسبقة وتضخم سلوك اتباع التعليمات باستخدام فك التشفير التبايني بين نسخ النموذج قبل وبعد الضبط.
2. مجموعات بيانات رائدة: إصدار مجموعات بيانات ضبط التعليمات التي تم بناؤها عبر CoDIT والتي تفوق مجموعات البيانات العامة الموجودة (مثل WildChat و Magpie-Pro و WebR) عبر اختبارات معيارية متعددة.
3. التحقق النظري والتجريبي:
   • أثبت أن CoDIT يقطر "متجه الدردشة" بفعالية إلى فضاء النص.
   • أظهر أن هذه الطريقة تعمل عبر عائلات نماذج مختلفة (Qwen, Llama, Gemma) ومقاييس مختلفة، بغض النظر عما إذا كان النموذج المعلم قد خضع لتعلم تعزيزي (RL) أو مجرد ضبط تعليمات (IT).

4. النتائج التجريبية

قيم المؤلفون CoDIT باستخدام 9 أزواج من (المعلم-الطالب) (على سبيل المثال: Qwen3-8B/30B، Gemma-3-27B كمعلمين؛ Llama-3.1-8B، Qwen3-8B-Base، Gemma-3-4B كطلاب).

• النماذج المرجعية (Baselines): تمت المقارنة مع Vanilla (التوليد المباشر بواسطة المعلم) و Best-of-N (اختيار الأفضل من بين 5 توليدات عبر حكم LLM).
• الاختبارات المعيارية: WildBench، AlpacaEval 2.0، و MT-Bench.
• النتائج الرئيسية:
  • تفوق مستمر: تفوقت النماذج المدربة على مجموعات بيانات CoDIT باستمرار على تلك المدربة على نماذج Vanilla و Best-of-N عبر جميع التكوينات التسعة.
  • المقارنة مع البيانات العامة: حققت مجموعات البيانات المولدة عبر CoDIT درجات أعلى من مجموعات البيانات مفتوحة المصدر الحالية (مثل WildChat و Magpie-Pro) في WildBench و AlpacaEval 2.0.
  • الجودة مقابل القدرة: أظهر التحليل أن CoDIT لا يحسن بشكل كبير درجات سلاسة النص العامة أو درجات الجودة (كما تقاس بواسطة أحكام LLM) مقارنة بـ Vanilla. بدلاً من ذلك، ينبع مكسب الأداء تحديداً من العزل والنقل الأفضل لـ قدرات اتباع التعليمات.
  • توافق متجه الدردشة: أظهرت النتائج التجريبية أن الضبط الدقيق على بيانات CoDIT يؤدي إلى تحديثات في المعاملات ذات تشابه جيب التمام (Cosine Similarity) أعلى مع متجه الدردشة الخاص بالمعلم مقارنة ببيانات Vanilla، مما يؤكد آلية التقطير النظرية.
  • المتانة: تظل الطريقة فعالة حتى عندما يتضمن النموذج المعلم مراحل التعلم التعزيزي (RL)، مما يشير إلى أن RL يصقل إشارة اتباع التعليمات بدلاً من إعاقة CoDIT.

5. الأهمية

• فك الارتباط بين المعرفة والمهارة: يقدم CoDIT طريقة مبدئية لفصل "ما يعرفه النموذج" (ما قبل التدريب) عن "كيف يتبع التعليمات" (ما بعد التدريب)، مما يعالج عقبة حرجة في توليد البيانات الحالي.
• نقل مستقل عن البنية (Architecture-Agnostic Transfer): من خلال العمل في فضاء النص بدلاً من فضاء المعاملات، يتيح CoDIT نقل قدرات اتباع التعليمات بين نماذج ذات بنيات مختلفة (مثل تدريب طالب Llama على بيانات مولدة بواسطة معلم Qwen)، وهو أمر غير ممكن في التقطير القائم على المعاملات.
• توليد بيانات فعال: يوفر طريقة لتوليد بيانات تدريب عالية الجودة دون الحاجة إلى تسمية بشرية أو عمليات تصفية معقدة متعددة المراحل، وذلك ببساطة عبر الاستفادة من الفرق بين حالتي ما قبل وما بعد التدريب للنموذج.

في الختام، يمثل CoDIT تحولاً من التعامل مع البيانات المولدة بواسطة LLM ككتلة واحدة من "المعرفة + المهارة" إلى استخراج مستهدف لـ "المهارة"، مما يؤدي إلى ضبط تعليمات أكثر فعالية وأداء نموذج متفوق.