ملخص تقني: نحو بناء نماذج تأسيسية غير قابلة للضبط الدقيق

1. بيان المشكلة

إن إتاحة النماذج التأسيسية (FMs)، وخاصة النماذج اللغوية الكبيرة (LLMs)، كأوزان مفتوحة، تسهل إعادة الاستخدام الواسع والابتكار العلمي، ولكنها تعرض مدربي النماذج لمخاطر اقتصادية وأمنية كبيرة. فبمجرد إصدار الأوزان، يمكن للمستخدمين إجراء ضبط دقيق (fine-tuning) غير مصرح به ومنخفض التكلفة لمهام لاحقة. وهذا يخلق مشكلتين رئيسيتين:

• المخاطر الاقتصادية: يمكن للمستخدمين الاستحواذ على القيمة الناتلة عن التكييفات اللاحقة التي كان من المفترض أن تعود ملكيتها للمدرب الأصلي.
• المخاطر الأمنية: يفقد المدربون السيطرة على دورة حياة النموذج. فالضبط الدقيق غير المصرح به على بيانات ضارة (مثل العنف، التطرف، أو التمييز) يمكن أن يولد مخرجات ضارة مع الاحتفاظ بسمعة النموذج المسبق التدريب، مما قد يؤدي إلى مسؤوليات قانونية وتنظيمية.

تعتمد الدفاعات الحالية، مثل تحصين النماذج أو إلغاء التعلم الخاص بمهام محددة، على معرفة المهام اللاحقة أو توزيعات البيانات المراد تقييدها. وتعد هذه النهج غير عملية للإصدارات مفتوحة الأوزان العامة حيث يفتقر المدربون إلى الرؤية حول كيفية إعادة توظيف النماذج. تعالج الورقة الحاجة إلى آلية تسمح بالإصدار مفتوح المصدر مع الحد جوهرياً من فعالية الضبط الدقيق غير المصرح به وغير المرتبط بمهمة محددة.

2. المنهجية: التدريب المسبق بالقناع الخاص (PMP)

يقترح المؤلفون التدريب المسبق بالقناع الخاص (Private Mask Pre-Training - PMP)، وهو نموذج تدريب مسبق مصمم لجعل عدم القابلية للضبط الدقيق خاصية جوهرية في هندسة النموذج. الفكرة الأساسية هي تركيز تعلم التمثيل في شبكة فرعية متفرقة (sparse subnetwork) يتم تحديدها في مرحلة مبكرة من التدريب، مع الحفاظ على القناع الثنائي المحدد سراً.

إجراء الـ PMP

يعمل PMP عبر ثلاث مراحل:

1. اكتشاف القناع المبكر الخاص:

   • يخضع النموذج لمرحلة "إحماء" قصيرة للتدريب المسبق على مجموعة فرعية صغيرة من البيانات.
   • باستخدام معيار "تذكرة اليانصيب المبكرة" (early-bird lottery ticket)، تحدد الطريقة قناعاً ثنائياً متفرقاً مستقراً ($M$) بناءً على مقدار التدرجات خلال هذه المرحلة.
   • يتم اختيار القناع عندما تستقر الأقنعة المتتالية (مقاسة عبر تقاطع الاتحاد - IoU).
   • هذا القناع $M$ يُحفظ سراً ويكون ثابتاً لجميع عمليات التدريب اللاحقة.

2. التدريب المسبق بالقناع الخاص:

   • يتم تدريب النموذج على مجموعة بيانات التدريب المسبق الكاملة، ولكن التحسين يقتصر بدقة على المعلمات المحددة بواسطة القناع ($\theta_M$).
   • تظل المعلمات المتممة ($\theta_{\bar{M}}$) مجمدة طوال عملية التدريب المسبق بأكمله.
   • على الرغم من أن التمرير الأمامي (forward pass) يستخدم متجه المعلمات الكثيف الكامل، إلا أن جميع تحديثات التدرج تنحصر في الشبكة الفرعية المتفرقة.

3. الإصدار بدون القناع:

   • عند التقارب، يصدر المدرب الأوزان الكثيفة النهائية فقط.
   • القناع الخاص $M$ لا يتم الكشف عنه.

آلية الدفاع

عندما يحاول مستخدم غير مصرح له إجراء ضبط دقيق للنموذج الصادر دون استخدام القناع، يجب عليه تحديث متجه المعلمات الكامل. وهذا يخلق عدم تطابق جوهري في التحسين:

• التدريب المسبق: تم تحسين هدف شرطي حيث كانت التحديثات مقيدة بـ $\theta_M$، بينما ظلت $\theta_{\bar{M}}$ ثابتة.
• الضبط الدقيق غير المصرح به: يحسن هدفاً مشتركاً يقوم بتحديث كل من $\theta_M$ و $\theta_{\bar{M}}$.
• النتيجة: تجبر عملية الضبط الدقيق التحديثات على المعلمات المتممة المجمدة ($\theta_{\bar{M}}$)، والتي لم يتم تكييفها أبداً أثناء التدريب المسبق. تشير التحليلات النظرية إلى أن مشهد الخسارة (loss landscape) على طول هذه الاتجاهات المجمدة يظهر انحناءً موجباً (حدة/sharpness). إن تحديث هذه الاتجاهات يؤدي إلى زعزعة استقرار الحل المسبق التدريب، مما يؤدي إلى مكاسب تكييف محدودة أو تدهور في الأداء.

3. التحليل النظري

تقدم الورقة تبريراً نظرياً لسبب تسبب PMP في عدم القابلية للضبط الدقيق:

• الهندسة المحلية غير المتماثلة: يصل النموذج المسبق التدريب إلى حد أمثل شرطي حيث يكون مشهد الخسارة مسطحاً على طول الفضاء الجزئي المدرب ($\theta_M$) ولكنه يظهر انحناءً موجباً على طول الاتجاهات المجمدة ($\theta_{\bar{M}}$).
• عدم الاستقرار: عند إجراء الضبط الدقيق بدون القناع، يقوم خوارزم التحسين المتدرج العشوائي (SGD) بتحديث كلا الفضائين. يوضح التحليل النظري (Proposition 1) أن التحديثات للاتجاهات المجمدة تسبب اضطرابات مزعزعة للاستقرار. وتحديداً، تزداد خسارة التدريب المسبق المتوقعة (أو تفشل في الانخفاض) بسبب الانحناء الموجب في الاتجاهات غير المتكيفة، مما يعاكس أي مكاسب من تدرجات المهمة المحددة.
• الاستنتاج: الضبط الدقيق غير المصرح به عرضة رياضياً لزعزعة الاستقرار، مما يحد من مكاسب الضبط الدقيق القابلة للتحقيق.

4. النتائج التجريبية

قيم المؤلفون منهجية PMP على بنيات GPT-2 و TinyLlama (1.1B)، والتي تم تدريبها مسبقاً على SlimPajama-6B وتم ضبطها دقيقاً على معيار GLUE.

• أداء النموذج الأساسي: يحافظ PMP على القدرات الجوهرية للنموذج الأساسي. في كثير من الحالات (مثل TinyLlama على CoLA و MRPC)، قدمت نماذج PMP أداءً مقارباً أو أفضل قليلاً من النماذج المرجعية غير المعتمدة على PMP قبل الضبط الدقيق.
• الضبط الدقيق غير المصرح به: عند إجراء الضبط الدقيق بدون القناع الخاص، أظهرت نماذج PMP تدهوراً كبيراً عبر مهام لاحقة متنوعة (مثل SST-2، MRPC، QQP، MNLI). كان انخفاض الأداء متسقاً عبر البنيات والمهام، مما يشير إلى فشل عام في التكيف الفعال بدلاً من كونه هشاشة مرتبطة بمهمة معينة.
• الضبط الدقيق المصرح به: عندما يتم تزويد المستخدمين الموثوقين بالقناع الخاص، يمكنهم إجراء الضبط الدقيق عن طريق تحديث الفضاء الجزئي المقنع فقط. في هذا السيناريو، طابقت نماذج PMP أو تجاوزت أداء الضبط الدقيق غير المصرح به، مما يثبت أن الطريقة لا تمنع التكيف بطبيعتها بل تقيده على الأطراف المصرح لها.
• دراسات الاستئصال (Ablation Studies):
  • التذكرة المبكرة مقابل القناع العشوائي: كان استخدام قناع تذكرة اليانصيب المبكرة أمراً حاسماً. فالأقنعة العشوائية بنفس درجة التفرق لم تسبب نفس المستوى من عدم القابلية للضبط الدقيق، مما يؤكد أن استقرار الشبكة الفرعية المبكرة هو المفتاح.
  • نسبة القناع: قدمت نسبة قناع قدرها 0.7 (تفرق بنسبة 70%) أفضل مقايضة بين الأداء الأساسي وقمع الضبط الدقيق غير المصرح به.
  • المعلمات الفائقة (Hyperparameters): لم تؤدِ تغيير معدلات التعلم وعصور الضبط الدقيق إلى استعادة الأداء للمستخدمين غير المصرح لهم، مما يشير إلى أن القيد جوهري في عدم التطابق في التحسين، وليس مسألة ضبط للمعلمات الفائقة.
  • تصور مشهد الخسارة: أكدت التصورات أن مشهد الخسارة مسطح في الاتجاه المصرح به (الفضاء الجزئي المقنع) ولكنه شديد الانحدار في الاتجاه غير المصرح به، مما يدعم فرضية "الجدار الشديد".
  • المتانة: تجادل الورقة بأن magnitudes التدرجات وحدها لا تكشف موقع القناع بسبب التداخل التوزيعي، مما يجعل من الصعب على الخصوم استنتاج القناع.

5. المساهمات الرئيسية

1. تحديد المشكلة: توضح الورقة أن عدم القابلية للضبط الدقيق هي مشكلة أساسية على مستوى التدريب المسبق، وتسلط الضوء على نقص الآليات التي تمكن المدربين من التحكم في التكيف غير المصرح به في الإصدارات مفتوحة الأوزان.
2. إطار عمل PMP: تقترح التدريب المسبق بالقناع الخاص، وهو نموذج عام يحافظ على المنفعة الأساسية مع تقييد الضبط الدقيق غير المصرح به في بيئة "الصندوق الأسود" غير المرتبطة بمهمة محددة.
3. الرؤية النظرية: تقدم تحليلاً يوضح أن PMP يسبب عدم تطابق جوهري بين أهداف التدريب المسبق والضبط الدقيق، مما يضخ اضطرابات مزعزعة للاستقرار أثناء التحديثات غير المصرح بها.
4. التحقق التجريبي: تثبت أن PMP يقلل باستمرار من مكاسب التكيف عبر مختلف المعايير والبنيات مع الحفاظ على أداء تنافسي في مرحلة ما قبل الضبط الدقيق.

6. الأهمية والادعاءات

تدعي الورقة أنها تعيد صياغة عدم القابلية للضبط الدقيق ليس كمشكلة إلغاء تعلم خاصة بمهمة معينة، بل كخاصية مستحثة أثناء التدريب المسبق. من خلال تركيز التعلم في شبكة فرعية متفرقة خاصة، يسمح PMP لمدربي النماذج بإصدار النماذج التأسيسية مع الاحتفاظ بالسيطرة الفعلية على التكيف اللاحق.

يؤكد المؤلفون أن هذا النهج:

• لا يتطلب معرفة مسبقة بالبيانات أو المهام اللاحقة.
• يحافظ على القيمة الاقتصادية والأمنية للنموذذ الأصلي للمدرب.
• يسمح بالتكيف "المصرح به" للمستخدمين الموثوقين الذين يمتلكون القناع الخاص.
• يقدم آلية عملية للتوفيق بين انفتاح نظام الذكاء الاصطناعي والحاجة إلى التحكم الأمني والاقتصادي، دون الاعتماد على افتراضات حول كيفية إعادة توظيف النماذج الصادرة.