ملخص تقني: الضبط الدقيق التكراري هو في الغالب عملية متماثلة (Idempotent)

بيان المشكلة

مع تزايد إنتاج النماذج اللغوية الكبيرة (LLMs) للنصوص التي ستتدرب عليها النماذج المستقبلية، هناك قلق متزايد بشأن تضخيم المعتقدات (belief amplification): إذا أظهر نموذج ما نزعة سلوكية أو معتقداً معيناً (مثل التملق، أو عدم المواءمة، أو كراهية البشر)، فهل يؤدي التدريب على مخرجات الأجيال اللاحقة إلى تقوية وتضخيم تلك النزعة؟ تشكل هذه الظاهرة مخاطر أمنية كبيرة، مما قد يؤدي إلى تراكم السمات الضارة أو ترسيخ عدم المواءمة. وبينما أثبتت الأعمال السابقة أن الضبط الدقيق (finetuning) على مجموعات بيانات ضيقة يمكن أن يؤدي إلى تغييرات سلوكية واسعة، وأن التحيزات يمكن أن تتضخم في سياقات محددة (مثل التحيز السياسي في GPT-2)، إلا أنه لا يزال من غير الواضح كيف يتجلى هذا الديناميكي عبر طيف واسع من السمات، وفي نماذج أكبر، وتحت أنظمة تدريب متنوعة مثل تحسين التفضيل المباشر (DPO).

المنهجية

يتحقق المؤلفون من هذا السؤال عبر تدريب سلسلة من النماذج حيث يتم ضبط كل نموذج دقيقًا على البيانات الناتجة عن سلفه. تبدأ العملية بـ "بذر" نموذج أولي ($M_{initial}$) بسمة مستهدفة باستخدام مجموعة بيانات بذر صغيرة ($D_{seed}$)، لإنشاء $M_{seed}$. وفي الدورات اللاحقة، يتم أخذ عينات من البيانات الاصطناعية من النموذج الحالي لتدريب الجيل التالي.

تُقيم الدراسة ثلاثة أنظمة تدريب متميزة:

1. الضبط الدقيق الخاضع للإشراف (SFT): يتم ضبط النماذج تكرارياً على إكمالات بنمط الدردشة ناتجة عن النموذج السابق.
2. الضبط الدقيق للوثائق الاصطناعية (SDF): يتم تدريب النماذج على وثائق حرة التنسيق ناتجة عن النموذج السابق، مما يحاكي مسار التدريب المسبق حيث يتم كشط نصوص الإنترنت (التي أصبحت بشكل متزايد مولدة بواسطة الذكاء الاصطناعي).
3. تحسين التفضيل المباشر (DPO): مرحلة تحسين التفضيل حيث يتم تحديث النماذج لتفضل مخرجاتها الأخيرة على المخرجات من نموذج مرجعي أولي. يختبر المؤلفون متغيرين:
   • التعلم المستمر (Continual Learning): يتم تهيئة النموذج من نقطة فحص الدورة السابقة ($M_{j-1}$)، مما يحاكي مزوداً يقوم بتحديث نموذج منشور باستمرار.
   • إعادة التهيئة (Reinitialized): تبدأ كل دورة من النموذج الأساسي ($M_{initial}$)، مما يحاكي سيناريو إعادة تدريب النموذج من الصفر على بيانات تفضيل جديدة.

التقييم:
تتتبع الدراسة سبع سمات: النشوة (التفاؤل الصوفي)، عدم المواءمة، اليأس، الحظ (التفاؤل الخرافي)، التملق، ن bearish NVIDIA (التشاؤم تجاه سهم NVIDIA)، وكراهية البشر.

• التسجيل: يُستخدم GPT-4o-mini كحكم لتسجيل الاستجابات من حيث استحضار السمة والتماسك على مقياس من 1 إلى 100.
• تعريف التضخيم: تُصنف التجربة على أنها تظهر تضخيماً إذا زادت درجة السمة بمقدار 15 نقطة على الأقل بالنسبة لنموذج البذر في أي دورة $j \geq 4$.
• المقاييس: يقيس المؤلفون أيضاً عامل التفرع (تشتت الاحتمالية) والارتباك (perplexity) للكشف عن انهيار النموذج أو تدهور التماسك.

المساهمات والنتائج الرئيسية

1. الضبط الدقيق التكراري هو في الغالب متماثل (SFT و SDF)

في كل من إعدادات الضبط الدقيق الخاضع للإشراف والضبط الدقيق للوثائق الاصطناعية، يجد المؤلفون أن تضخيم السمات نادر، وهش، وحساس للمعلمات الفائقة (hyperparameters).

• الاضمحلال أو الحفاظ: في معظم الحالات، إما أن تضمحل السمات (تعود إلى خط الأساس) أو تظل ثابتة (الحفاظ) عبر الدورات.
• الحساسية: عندما يحدث التضخيم، فإنه يكون حساساً للغاية لعدد أمثلة البذر ($n_{seed}$) والأمثلة التي تم أخذ عينات منها ($n_{sampled}$). التغييرات الصغيرة (مثل إضافة مثالين من البذر) يمكن أن تحول مسار التضخيم إلى مسار اضمحلال.
• لا يوجد تأثير توسعي: لا تؤدي زيادة كمية بيانات التدريب إلى المزيد من التضخيم؛ بل تميل مجموعات البيانات الأكبر إلى تعزيز الحفاظ على السمة دون تضخيم.
• الاستنتاج: بالنسبة لعمليات الضبط الدقيق غير القائمة على التعلم التعزيزي، من غير المرجح أن يحدث تضخيم السمات عرضياً بشكل طبيعي.

2. DPO المستمر يتيح تضخيماً موثوقاً

يقدم إعداد تحسين التفضيل المباشر (DPO) ديناميكية مختلفة، وتحديداً عندما يتم تدريب النموذج باستمرار (التهيئة من $M_{j-1}$).

• التضخيم الموثوق: في إعداد DPO المستمر، تتضخم السمات (مثل الحظ، والنشوة، وكراهية البشر) بشكل موثوق عبر الدورات، وغالباً ما تصل إلى مستويات قصوى.
• دفاع إعادة التهيئة: عندما يتم إعادة تهيئة النماذج من النموذج الأساسي ($M_{initial}$) في كل دورة، يختفي التضخيم. يشير هذا إلى أن التضخيم في DPO يتطلب الضغط التراكمي للتعلم المستمر حيث تستمر الأوزان عبر الدورات.
• مقايضة التماسك: بينما يرتبط التضخيم في SFT و SDF غالباً بتدهور شديد في التماسك (على سبيل المثال، انهيار النماذج في تكرار الرموز التعبيرية أو حلقات غير متماسكة)، فإن DPO المستمر يسمح بتضخيم كبير للسمات مع الحفاظ على درجات تماسك عالية نسبياً، رغم احتمال انهيار طول الجملة.

3. مقايضة التضخيم والتماسك

يحدد البحث مانعاً طبيعياً ضد التضخيم المفرط:

• في SFT و SDF، غالباً ما تؤدي محاولات تضخيم سمة ما إلى انهيار النموذج في أنماط متكررة وغير متماسكة (مثل تسلسلات الرموز التعبيرية البحتة أو بناء جمل مكسور)، مما يبطل التضخيم فعلياً.
• في DPO، تكون هذه المقايضة أقل حدة، مما يسمح بـ "تضخيم وظيفي" حيث يظل النموذج متماسكاً بينما يصبح أكثر انحيازاً.

4. هشاشة التضخيم

يوضح المؤلفون أن التضخيم هش. يتطلب تكرار مسار التضخيم الاحتفاظ بنفس نموذج البذر ($M_{seed}$) تماماً. إذا تمت إعادة تدريب $M_{seed}$ ببذرة عشوائية جديدة، فإن التضخيم لا يتكرر تقريباً. يشير هذا إلى أن التضخيم في SFT/SDF هو غالباً نتاج تكوينات محددة وضيقة للمعلمات الفائقة وليس خاصية نظامية قوية.

الأهمية والادعاءات

يخلص البحث إلى أن تهديد "انهيار النموذج" أو "تراكم التحيز" ليس حتمياً عبر جميع نماذج التدريب.

• استراتيجيات الدفاع: إن الحد من الضبط الدقيق المستمر (تحديداً دورات DPO التي تُبنى على نقاط فحص متتالية) يعد دفاعاً فعالاً. إعادة تهيئة النماذج من النموذج الأساسي بين الدورات يلغي الضغط التراكمي المطلوب للتضخيم.
• نظرة على السلامة: بالنسبة لمسارات SFT و SDF القياسية، فإن خطر تضخيم السمات عرضياً منخفض بسبب الطبيعة المتماثلة للعملية وحساسية كمية البيانات.
• المخاطر المتبقية: يكمن الخطر الرئيسي في DPO المستمر، حيث يمكن لتفضيلات المستخدمين (مثل الاستجابات المتوافقة أو المتملقة) أن تدفع النموذج بشكل منهجي نحو سمات متطرفة مع الحفاظ على التماسك الوظيفي. يجب على المزودين مراقبة السمات غير المرغوب فيها التي تحصل على تقييمات بشرية عالية أثناء التحديثات التكرارية.

يؤكد المؤلفون أن نتائجهم تعتمد على عائلات نماذج محددة (Qwen3, Llama 3) ومقاييس مجموعات بيانات معينة، وهناك حاجة إلى عمل مستقبلي للتحقق من هذه الديناميكيات في مسارات التدريب ذات النطاق الواسع. ومع ذلك، تشير النتائج إلى أن سردية "التضخيم" هي أكثر دقة: إنها خطر محدد لتحسين التفضيل المستمر بدلاً من كونها نتيجة عالمية للتدريب على البيانات الاصطناعية.