🤖 machine learning

GD-FPS: Growth-Driven Feedforward Parameter Selection for Efficient Fine-Tuning

تقترح الورقة البحثية طريقة GD-FPS، وهي طريقة لاختيار المعلمات تعتمد حصرياً على خلوها من التدرج وعلى التمرير الأمامي فقط، حيث تحدد بكفاءة المجموعات الفرعية المثلى للضبط الدقيق عبر قياس أحجام الأوزان الجوهرية مع نمو التنشيط النسبي، محققةً أداءً تنافسياً مع تقليل استهلاك الذاكرة وزمن الاستجابة بشكل كبير مقارنة بالنهج الحالية القائمة على التدرج.

المؤلفون الأصليون: Kenneth Yang, Wen-Li Wei, Jen-Chun Lin

نُشر 2026-05-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kenneth Yang, Wen-Li Wei, Jen-Chun Lin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج ذكاء اصطناعي مدرب مسبقاً) قد قرأت كل كتاب تقريباً في العالم. والآن، تريد تعليم هذه المكتبة مهارة جديدة محددة جداً، مثل التعرف على أنواع نادرة من الطيور أو تشخيص نوع معين من الأورام.

كانت الطريقة القديمة للقيام بذلك هي الضبط الدقيق الكامل (Full Fine-Tuning): حيث كنت تجبر المكتبة بأكملها على إعادة قراءة كل كتاب وإعادة كتابة كل صفحة لتناسب الموضوع الجديد. هذا يشبه محاولة ترميم ناطحة سحاب بينما لا تزال مأهولة بالسكان؛ الأمر يستغرق وقتاً طويلاً، ويكلف ثروة من الطاقة (قدرة الحوسبة)، ويتطلب كمية هائلة من المساحة (الذاكرة) لاستيعاب جميع المخططات والملاحظات.

ثم حاول الناس استخدام الطرق القائمة على الإضافة (Addition-Based Methods) (مثل Adapters أو LoRA). وبدلاً من إعادة كتابة المكتبة بأكملها، قاموا ببناء "غرف" أو "أرفف" إضافية صغيرة. ورغم أن هذا وفر بعض المساحة، إلا أنه جعل التنقل داخل المبنى أكثر تعقيداً (تعقيد هندسي) وأبطأ سرعة العثور على الكتاب (زمن انتقال الاستدلال/Inference Latency).

بعد ذلك جاءت الطرق القائمة على الاختيار (Selection-Based Methods) (مثل GPS). كانت الفكرة ذكية: "دعونا نختار فقط الصفحات الأكثر أهمية في المكتبة الموجودة حالياً لإعادة كتابتها ونترك الباقي كما هو". ومع ذلك، لمعرفة أي الصفحات كانت مهمة، تطلبت الطريقة القديمة عملية "تمرير خلفي" (Backward Pass) هائلة ومرهقة. كان الأمر يشبه مطالبة أمين المكتبة بقراءة كل كتاب، وكتابة نقد مفصل لكل جملة، ثم التحقق من ملاحظاته ليرى أي الجمل كانت أكثر أهمية. كان هذا لا يزال بطيئاً للغاية، ويستهلك كل الذاكرة، وكانت نتائجه متذبذبة لأنها تعتمد على الكتب العشوائية التي اختارها أمين المكتبة أولاً (الضجيج العشوائي/Stochastic Noise).

الحل الجديد: GD-FPS (اختيار المعلمات القائم على النمو عبر التمرير الأمامي)

يقترح مؤلفو هذه الورقة البحثية طريقة جديدة وأكثر ذكاءً لاختيار الصفحات التي يجب إعادة كتابتها. وقد أطلقوا عليها اسم GD-FPS.

إليك كيف تعمل، باستخدام تشبيه بسيط:

1. لقطة "ما قبل" (المرتكز - The Anchor)
تخيل أنك تأخذ لقطة لحالة المكتبة الحالية باستخدام مجموعة قياسية من الكتب (بيانات التدريب المسبق). تسجل مدى "صخب" أو نشاط كل رف كتب عندما يتصفح الناس هذه الكتب القياسية. هذا هو المرتكز (Anchor). وهو يمثل السلوك الطبيعي للمكتبة.

2. لقطة "ما بعد" (النمو - The Growth)
الآن، تحضر الكتب الجديدة المحددة (المهمة المستهدفة، مثل تحديد أنواع الطيور). تراقب المكتبة مرة أخرى وترى كيف تتفاعل أرفف الكتب مع هذه الكتب الجديدة.

3. حساب "النمو" (The Growth Calculation)
بدلاً من إجراء نقد هائل يعود للوراء، يسأل GD-FPS ببساطة: "أي أرفف الكتب أصبحت أكثر صخباً أو نشاطاً بشكل ملحوظ عند انتقالنا إلى الكتب الجديدة مقارنة بالكتب القديمة؟"

المعادلة السحرية: ينظر النظام إلى شيئين:
- القوة الجوهرية (Intrinsic Strength): ما مدى أهمية هذا الرف عادةً؟ (مقدار الوزن/Weight magnitude).
- النمو النسبي (Relative Growth): ما مدى زيادة نشاطه مع الكتب الجديدة مقارنة بالكتب القديمة؟ (نمو التنشيط/Activation growth).

إذا كان الرف صاخباً بالفعل مع الكتب القديمة وظل صاخباً مع الكتب الجديدة، فهو يقوم بعمله المعتاد فقط. أما إذا كان الرف هادئاً من قبل وفجأة أصبح صاخباً جداً مع الكتب الجديدة، فهذه علامة على النمو. هذا الرف يعد حاسماً للمهمة الجديدة.

لماذا يعد هذا أمراً هاماً؟

تزعم الورقة وجود ثلاث مزايا رئيسية لـ GD-FPS مقارنة بطرق "الاختيار" السابقة:

إنه سباق قصير وليس ماراثون (السرعة): كانت الطريقة القديمة تتطلب تشغيل عملية حسابية خلفية معقدة (مثل عملية تدقيق كاملة) للعثور على الصفحات المهمة. أما GD-SFS فيقوم فقط بتشغيل تمرير أمامي سريع (مثل نظرة خاطفة). وتقول الورقة إن هذا يجعل عملية الاختيار أسرع بمقدار 2.7 مرة.
يمكن حمله في حقيبة ظهر (الذاكرة): لأنه لا يحتاج إلى تخزين كميات هائلة من "ملاحظات التدقيق" (Gradients) للمكتبة بأكملها، فإنه يستخدم ذاكرة أقل بـ 18 مرة. وهذا يعني أنه يمكنك تشغيله على أجهزة كمبيوتر أصغر وأرخص بكثير.
إنه موثوق (حتمي - Deterministic): كانت الطريقة القديمة تشبه رمي العملة المعدية؛ إذا اخترت مجموعة مختلفة من الكتب عشوائياً للبدء بها، فقد ينتهي بك الأمر بإعادة كتابة صفحات مختلفة. أما GD-FPS فهو حتمي (Deterministic). بغض النظر عمن يقوم بتشغيله أو كيف يقوم بخلط الكتب، سيختار دائماً نفس الصفحات المهمة بالضبط لأنه ينظر إلى متوسط سلوك المجموعة بأكملها، وليس إلى عينة عشوائية.

النتائج

اختبر المؤلفون هذه الطريقة على 26 مهمة بصرية مختلفة، تتراوح من تحديد أنواع معينة من الزهور والكلاب إلى رصد الأورام في الصور الطبية (التجزئة الدلالية/Semantic Segmentation).

الأداء: قدم GD-FPS أداءً يضاهي، أو حتى يتفوق على، أفضل الطرق الموجودة حالياً (بما في ذلك طرق "الإضافة" المعقدة وطريقة "الاختيار" السابقة).
الكفاءة: حقق هذه النتال بينما كان أسرع بكثير وأخف في استهلاك الذاكرة خلال مرحلة الإعداد.

باختصار، GD-FPS يشبه أمين مكتبة ذكي يمكنه تحديد الصفحات القليلة التي تحتاج إلى تحديث في موسوعة ضخمة لموضوع جديد بشكل فوري، دون الحاجة إلى إعادة قراءة الموسوعة بأكملها أو بناء غرف جديدة، مما يوفر الوقت والمال والمساحة.

ملخص تقني: GD-FPS

بيان المشكلة

تعد عملية الضبط الدقيق كفء المعلمات (PEFT) أمراً ضرورياً لتكييف النماذج الضخمة سابقة التدريب مع المهام اللاحقة دون التكاليف الباهظة للذاكرة والحوسبة المرتبطة بالضبط الدقيق الكامل. ومع ذلك، تواجه أساليب PEFT الحالية قيوداً جوهرية:

الأساليب القائمة على الإضافة (مثل: Adapters، LoRA) تُدخل معلمات قابلة للتدريب جديدة، مما يزيد من تخزين النموذج، وزمن انتقال الاستدلال (inference latency)، والتعقيد الهندسي فيما يتعلق بوضع الوحدات الأمثل.
الأساليب القائمة على الاختيار (مثل: Gradient-based Parameter Selection، GPS) تتجنب إضافة معلمات جديدة ولكنها تعتمد على حساب تدرجات النموذج الكامل خلال مرحلة الاختيار. هذا النهج يتسبب في استهلاك هائل للذاكرة (مطابق للضبط الدقيق الكامل)، وتأخير حوسبي كبير بسبب عمليات الانتشار العكسي (backward passes)، ويعاني من الضجيج العشوائي الناتج عن أخذ عينات الدفعات (batch sampling)، مما يجعل عملية الاختيار غير حتمية وحساسة لإعدادات البيئة.

التحدي الجوهري هو تحديد مجموعة فرعية متفرقة (sparse) من المعلمات للضبط الدقيق بحيث تكون كفؤة في الذاكرة، سريعة، حتمية، وقوية، دون الاعتماد على حسابات التدرج المكلفة حوسبياً.

المنهجية: اختيار المعلمات مدفوع بالنمو عبر التغذية الأمامية (GD-FPS)

يقترح المؤلفون GD-FPS، وهو أسلوب يعتمد حصرياً على خلوه من التدرج (gradient-free)، حيث يحدد المعلمات المثلى بالكامل من خلال عمليات التغذية الأمامية (forward passes). تعمل هذه الطريقة بناءً على فرضية أن المعلمات الحرجة للتكيف مع المجال هي تلك التي تظهر نمواً كبيراً في التنشيط (activation growth) بالنسبة لسلوك ما قبل التدريب الخاص بالنموذج، موازنةً بحجم وزنها الجوهري.

يتكون الإطار من مرحلتين متمايزتين:

1. مرحلة التثبيت المسبق (Prior-Anchoring Phase)

الهدف: إنشاء خط أساس سلوكي (مرتكز) يمثل حالة ما قبل التدريب للنموذج.
العملية: يتم إجراء تمريرة أمامية (forward pass) على مجموعة فرعية مختارة عشوائياً من بيانات ما قبل التدريب الأصلية ( $D_{pre}$ ).
المخرج: يتم حساب القيمة المتوقعة لمعيار تنشيطات المدخلات لكل وزن: $\mathbb{E}_{x \sim D_{pre}}[|a_k^{(i-1)}(x)|]$ .
الكفاءة: هي إجراء يتم لمرة واحدة ويُستخدم لجميع المهام اللاحقة، ويتطلب عبئاً هامشياً (على سبيل المثال، 27.38 ثانية لـ 12,800 صورة على وحدة معالجة رسومية واحدة).

2. مرحلة قياس النمو (Growth-Quantifying Phase)

الهدف: قياس التكيف الخاص بالمهمة من خلال مقارنة تنشيطات البيانات اللاحقة مع مرتكز ما قبل التدريب.
العملية: يتم إجراء تمريرة أمامية على مجموعة البيانات اللاحقة ( $D_{down}$ ) لحساب توقع التنشيط الخاص بالمهمة: $\mathbb{E}_{x \sim D_{down}}[|a_k^{(i-1)}(x)|]$ .
التقييم (Scoring): يتم حساب درجة الأهمية النهائية ( $I_{GD-FPS}$ ) لوزن $w_{k,j}^{(i)}$ عن طريق ضرب حجمه الجوهري في النمو النسبي لتنشيطه:
$I_{GD-FPS}(w_{k,j}^{(i)}) = |w_{k,j}^{(i)}| \cdot \left( \frac{\mathbb{E}_{x \sim D_{down}}[|a_k^{(i-1)}(x)|]}{\mathbb{E}_{x \sim D_{pre}}[|a_k^{(i-1)}(x)|]} - 1 \right)$
الاختيار: يتم اختيار أعلى $k$ من المعلمات ذات الدرجات الأعلى لكل عصبون (neuron) لغرض الضبط الدقيق.

تضمن هذه الصيغة استبعاد المعلمات ذات التنشيط الساكن العالي (غير المرتبط بالمهمة) ولكن ذات النمو النسبي المنخفض، بينما يتم اختيار تلك التي تظهر "طفرة" كبيرة في التنشيط خاصة بالمجال الجديد.

المساهمات الرئيسية

اختيار خالٍ من التدرج: يلغي GD-FPS الحاجة إلى عمليات الانتشار العكسي خلال مرحلة اختيار المعلمات، مما يعالج مباشرة اختناقات الذاكرة وزمن الانتقال في أساليب الاختيار القائمة على التدرج مثل GPS.
القوة الحتمية: من خلال الاعتماد على الخصائص الإحصائية العالمية (مقادير التنشيط المتوقعة) بدلاً من تدرجات الدفعات العشوائية، يضمن GD-FS عملية اختيار حتمية لا تتأثر بالبذور العشوائية (random seeds)، أو أحجام الدفعات، أو تغييرات أخذ عينات البيانات.
آلية مدفوعة بالنمو: إن تقديم مقياس "النمو النسبي" مقابل مرتكز ما قبل التدريب يسمح للطريقة بالتمييز بين المعلمات النشطة بطبيعتها وتلك التي تتكيف حقاً مع المهمة الجديدة.
تقييم شامل: تم التحقق من صحة الطريقة عبر 26 مهمة بصرية، بما في ذلك تصنيف الصور (FGVC و VTAB-1k) والتقسيم الدلالي (semantic segmentation)، مما يثبت قدرتها على التعميم عبر بنيات مختلفة (ViT, Swin) ومهام متنوعة.

النتائج التجريبية

يقيم البحث GD-FPS مقابل أفضل الأساليب المرجعية الحالية، بما في ذلك الضبط الدقيق الكامل، والأساليب القائمة على الإضافة (Adapter, LoRA, VPT)، والمنافس الرئيسي القائم على الاختيار (GPS).

تصنيف الصور (FGVC & VTAB-1k):
- في اختبار FGVC، حقق GD-FPS متوسط دقة بلغ 92.07%، متفوقاً على GPS (91.78%) و SSF (90.72%).
- في اختبار VTAB-1k المتنوع، حقق GD-FPS متوسط دقة بنسبة 75.04%، وهو ما يضاهي GPS (75.18%) ويتفوق بشكل ملحوظ على طرق PEFT الأخرى العامة.
التقسيم الدلالي (VOC2012 & Cityscapes):
- باستخدام هيكل Swin-L، حقق GD-FPS متوسط mIoU بنسبة 83.62% و mAcc بنسبة 89.78%.
- نجح في تجاوز خط الأساس للضبط الدقيق الكامل في كلا المقياسين وتفوق على طرق PEFT العامة الأخرى، ولم يتأخر إلا خلف طريقة ProPETL المتخصصة والمصممة هندسياً بكثافة.
مكاسب الكفاءة (مقابل GPS):
- الذاكرة: قلل ذروة استخدام ذاكرة وحدة معالجة الرسومات بمقدار 18 ضعفاً تقريباً خلال مرحلة الاختيار.
- زمن الانتقال: سرّع تنفيذ عملية اختيار المعلمات بأكثر من 2.7 ضعف.
- الحوسبة: خفض التكلفة الحوسبية من 100.9 GFLOPs إلى 16.8 GFLOPs لكل صورة.
القوة (Robustness):
- حافظ GD-FPS على نسبة تقاطع (Intersection Ratio - IR) تزيد عن 97% عبر مختلف البذور العشوائية، وأحجام الدفعات، ونسب البيانات.
- في المقابل، أظهر GPS انخفاضاً بنسبة 20-30% في IR تحت نفس المتغيرات، مما يسلط الضوء على حساسيته للعوامل العشوائية.

الأهمية والادعاءات

يزعم البحث أن GD-FPS يقدم حلاً كفؤاً في الذاكرة، سريعاً، وقوياً لضبط النماذج واسعة النطاق. ومن خلال الاعتماد الصارم على عمليات التغذية الأمامية، فإنه يحل المقايضة الأساسية بين كفاءة الاختيار والتكاليف الحوسبية لحساب التدرج.

يؤكد المؤلفون أن GD-FPS يثبت إمكانية التعايش بين الأداء العالي، والكفاءة، والمتانة الهيكلية ضمن أساليب PEFT القائمة على الاختيار. فهو يوفر بديلاً قابلاً للتوسع للبيئات محدودة الموارد، مما يلغي التعقيد الهندسي للأساليب القائمة على الإضافة وتكاليف الذاكرة/الزمن الباهظة لأساليب الاختيار القائمة على التدرج، كل ذلك مع ضمان نتيجة حتمية.