💻 computer science

Reliability-Weighted Spectral Allocation with Full Spectral Cores for Parameter-Efficient Visual Fine-Tuning

تقترح هذه الورقة طريقة تخصيص طيفي مرجحة بالموثوقية تحدد تلقائياً أعداد المعلمات ومواقعها الخاصة بالمهمة باستخدام أدلة قائمة على التدرج، مما يتيح ضبطاً دقيقاً بصرياً كفؤاً في المعلمات مع نوى طيفية كاملة تتفوق على الاختبار الخطي مع عدم اشتراط ميزانيات رتب محددة من قبل المستخدم.

المؤلفون الأصليون: Ba Ty Dang, Kim Huong Tran, Thi Uyen Nguyen

نُشر 2026-08-13

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ba Ty Dang, Kim Huong Tran, Thi Uyen Nguyen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك عقل روبوت فائق الذكاء، تعلم بالفعل التعرف على ملايين الأشياء من مكتبة ضخمة من الصور. هذا العقل ضخم، مليء بمليارات الروابط الصغيرة، وهو بارع للغاية في أداء مهمته. ولكن ماذا لو أردت تعليم هذا الروبوت مهارة جديدة ومحددة — مثل التعرف على زهور نادرة أو تمييز أنواع مختلفة من الكلاب — دون الحاجة إلى إعادة تدريب عقله بالكامل من الصالب؟ هذا هو تحدي "الضبط الدقيق" (Fine-tuning).

عادةً، لتعليم هذا العقل الضخم خدعة جديدة، سيتعين عليك تعديل كل رابط تقريباً داخلها. الأمر يشبه محاولة إعادة طلاء ناطحة سحاب كاملة فقط لتغيير لون الباب الأمامي؛ فهذا يستغرق وقتاً طويلاً، ويكلف ثروة، ويستهلك كمية هائلة من الطاقة. لقد ابتكر العلماء اختصاراً ذكياً يسمى "الضبط الدقيق الفعال للمعلمات" (PEFT). فبدلاً من لمس العقل بأكمله، يحاول PEFT تعليم الروبوت من خلال تعديل مجموعة صغيرة ومخصصة من الملاحظات أو المفاتيح فقط. فكر في الأمر كأنك تعطي الروبوت قائمة تشغيل مخصصة ليستمع إليها أثناء عمله، بدلاً من إعادة كتابة نظام تشغيله بالكامل. السؤال الكبير هو: كيف تعرف أي الملاحظات الصغيرة يجب تغييرها؟ إذا أخطأت في التخمين، فقد يصاب الروبوت بالارتباك. هذا البحث يغوص في هذا اللغز تحديداً، محاولاً إيجاد أذكى طريقة لاختيار تلك الملاحظات المحددة تلقائياً، دون الحاجة إلى بشر يخمنون المقدار الصحيح.

خدعة السحر "الموزونة بالموثوقية"

لقد اخترع مؤلفو هذا البحث، با تي دانج، وكيم هونج تران، وثي أوين نغوين، طريقة جديدة لمساعدة هذه العقول الروبوتية الضخمة على تعلم مهام جديدة بكفاءة. هم يسمون نهجهم "التخصيص الطيفي الموزون بالموثوقية مع النوى الطيفية الكاملة" (Reliability-Weighted Spectral Allocation with Full Spectral Cores). إنه اسم طويل وصعب، لذا دعونا نفككه في شكل قصة عن أمين مكتبة منظم جداً.

تخيل أن عقل الروبوت عبارة عن مكتبة ضخمة من الكتب (البيانات). عندما يحاول الروبوت تعلم مهمة جديدة، مثل التعرف على "Flowers-102"، فإنه يرتبك قليلاً. ولإصلاح ذلك، يعطي الباحثون الروبوت اختبار "معايرة" صغيراً — وهو اختبار سريع باستخدام بضع صور عينات. وبينما يخوض الروبوت هذا الاختبار، يراقب الباحثون أي أجزاء من عقله "تعرق" (تعمل بجهد) وأي أجزاء تسترخي فحسب.

الاختبار ذو الجزئين
إليك الجزء الذكي: يقسم الباحثون الاختبار إلى مجموعتين منفصلتين من الأسئلة. يطلبون من الروبوت حل النصف الأول، ثم النصف الثاني. هم لا ينظرون فقط إلى مدى صعوبة العمل الذي يقوم به الروبوت؛ بل يتحققون مما إذا كان الروبوت يعمل بجهد على نفس أجزاء عقله في كلا نصفي الاختبار.

إذا تحمس الروبوت تجاه "البتلات" في النصف الأول وتحمس تجاه "البتلات" في النصف الثاني، فهذه إشارة موثوقة. هذا يعني أن العقل يحتاج حقاً للتعلم عن البتلات. ولكن إذا تحمس تجاه "البتلات" في النصف الأول وتحمس تجاه "الأوراق" في النصف الثاني، فهذه إشارة مرتبكة. يطلق الباحثون على هذا "الاتساق". هم يستخدمون هذا الاتساق لتصفية الضجيج؛ فهم يريدون فقط تعديل أجزاء العقل التي تقول باستمرار: "مهلاً، أنا أحتاج للمساعدة في هذا!".

قائمة تشغيل "النواة الطيفية"
بمجرد العثور على الأجزاء الموثوقة، لا يقومون بمجرد تدوير قرص واحد. بدلاً من ذلك، ينشئون "نواة طيفية". تخيل أن روابط عقل الروبوت تشبه لوحة تحكم صوتية ضخمة بها آلاف المنزلقات. الطرق القديمة كانت تسمح لك فقط بتحريك المنزلقات التي تصطف بالفعل في صف مستقيم (التحجيم القطري). لكن هذه الطريقة الجديدة تقول: "لا، دعونا نفتح اللوحة بالكامل!".

إنهم يسمحون للمنزلقات بالتفاعل مع بعضها البعض بطرق معقدة. الأمر يشبه أخذ لحن بسيط وإضافة طبقات هارمونية، وخطوط باص، وطبول تتحدث جميعها مع بعضها البعض. هذه "النواة الطيفية الكاملة" تلتقط التفاعلات المعقدة والواقعية بين أجزاء مختلفة من العقل. وجد الباحثون أن هذا التفاعل المعقد أفضل بكثير في إصلاح أخطاء الروبوت من مجرد تعديل التغييرات الخطية البسيطة.

الميزانية التلقائية
أحد أكبر الصداع في تعليم الربوتات هو تحديد مقدار الذاكرة المستخدمة. عادةً، يجب على الإنسان أن يقول: "حسناً، يمكنك تغيير 1,000 منزلق فقط". إذا اخترت عدداً قليلاً جداً، سيبقى الروبوت غبياً؛ وإذا اخترت الكثير، فستستهلك الكثير من الطاقة.

طريقة هذا البحث تشبه مدير ميزانية ذكي لا يحتاج إلى إنسان لوضع حد أقصى. فهي تنظر إلى "الأدلة" من الاختبار (مقدار الطاقة التي استخدمها العقل ومدى اتساقه) وتقرر تلقائياً: "حسناً، لهذه المهمة المتعلقة بالزهور، نحتاج بالضبط إلى 3,536 منزلقاً. أما بالنسبة لمهمة الكلاب تلك، فنحن بحاجة إلى 54,610". إنها تحدد القدر المثالي من العمل المطلوب لكل وظيفة محددة دون أن يخبر أحدها بمقدار ما يجب إنفاقه.

ما وجدوه

اختبر الباحثون هذه الطريقة على أنواع مختلفة من عقول الروبوتات، من القديمة (مثل ResNet) إلى الحديثة والمتطورة (مثل ViT و Swin). جربوها في مهام مثل التعرف على الأنسجة، وتمييز الزهور، والتعرف على الحيوانات الأليفة، وحتى فهم الصور الطبية.

إليك ملخص النتائج:

إنها تتفوق على نهج "الرأس فقط": عندما قاموا بتغيير الجزء الأخير فقط من الروبوت (الرأس) دون لمس العقل، كان أداء الروبوت مقبولاً ولكنه ليس رائعاً. وباستخدام طريقتهم الجديدة، أصبح الروبوت أذكى بشكل ملحوخص. على سبيل المثال، في مهمة "Flowers-102" مع عقل حديث (ViT-B/16)، قفزت دقة الروبوت بنسبة 4.85 نقطة مئوية مقارنة بمجرد تعديل الرأس. هذا فوز كبير!
إنها فعالة للغاية: على الرغم من أن الروبوت أصبح أذكى، إلا أنهم اضطروا فقط لتغيير جزء ضئيل جداً من العقل. في مهمة الزهور، قاموا فقط بتحسين 3,536 إحداثياً محدداً. قد يبدو هذا كثيراً، لكن مقارنة بالعقل بأكمله، فهو يمثل 0.004% فقط من إجمالي المعلمات. إنه يشبه ضبط وتر واحد في جيتار لجعل الآلة بأكملها تبدو مثالية.
ليست حلاً سحرياً لكل شيء: الورقة البحثية صادقة بشأن حدودها. فبينما تفوقت على نهج "الرأس فقط"، لم تتفوق دائماً على نهج "الضبط الدقيق الكامل" (حيث يتم إعادة تدريب العقل بأكله). في بعض الحالات، كانت الطرق المتخصصة المصممة خصيصاً لأنواع معينة من الروبوتات أفضل قليلاً. ولكن كأداة عامة الغرض لا تحتاج إلى إنسان لتخمين الإعدادات، فقد كانت منافساً قوياً.
خدعة "الدمج": بعد أن يتعلم الروبوت المهمة الجديدة، يمكن للباحثين "دمج" التغييرات مرة أخرى في العقل الرئيسي. وهذا يعني أن الروبوت ليس مضطراً لحمل "وحدة تعلم" منفصلة وضخمة أثناء عمله. الأمر يشبه التعديل مباشرة على الكتاب الموجود على الرف بدلاً من الاحتفاظ بدفتر ملاحظات منفصل. وهذا يجعل الروبوت أسرع وأسهل في الاستخدام في العالم الحقيقي.

الخلاصة

يشير هذا البحث إلى أننا لسنا بحاجة لتخمين كيفية تعليم عقول الذكاء الاصطنا الضخمة حِيلاً جديدة. من خلال مراقبة مدى اتساق رد فعل العقل تجاه اختبار صغير، يمكننا تلقائياً العثور على النقاط الصغيرة الدقيقة التي تحتاج إلى إصلاح. ومن خلال السماح لتلك النقاط بالتواصل مع بعضها البعض بطرق معقدة (النواة الطيفية الكاملة)، نحصل على نتائج أفضل بكثير من الإصلاحات الخطية البسيطة.

وعلى الرغم من أنها قد لا تكون الطريقة الأفضل لكل سيناريو على حد الإ، إلا أنها تقدم طريقة قوية وتلقائية لجعل الذكاء الاصطناعي أكثر ذكاءً دون التكلفة الهائلة لإعادة تدريب كل شيء. إنها خطوة نحو جعل الذكاء الاصطناعي يتعلم مهارات جديدة بسرعة، وبتكلفة منخفضة، ودون الحاجة إلى بشر يديرون كل مفتاح بدقة.

ملخص تقني: التخصيص الطيفي الموزون بالموثوقية مع النوى الطيفية الكاملة للضبط الدقيق البصري الموفر للمعلمات

بيان المشكلة

غالبًا ما يتم تكييف النماذج البصرية المدربة مسبقًا لمهام هبوطية ببيانات محدودة الملصقات. وبينما يوفر الضبط الدقيق الكامل أداءً عاليًا، إلا أنه مكلف حاسوبيًا وغير عملي عندما يجب أن يدعم هيكل خلفي واحد مهام متعددة، حيث يتطلب الأمر تخزين هيكل خلفي منفصل لكل مهمة. يعالج الضبط الدقيق الفعال للمعلمات (PEFT) هذه المشكلة عن طريق تجميد الهيكل الخلفي وتعلم حالة مدمجة خاصة بالمهمة. ومع ذلك، فإن طرق PEFT الحالية (مثل المحولات "adapters"، أو LoRA، أو المحفزات البصرية) تعتمد عادةً على معلمات فائقة يحددها المستخدم مثل ميزانيات الرتبة، أو عرض المحولات، أو مواقع الإدراج، أو قواعد التخصيص على مستوى الطبقة.

إن الميزانية الثابتة أو الموزعة بانتظام تفشل في مراعاة التوزيع غير المتجانس للمعلومات ذات الصلة بالمهمة عبر الهيكل الخلفي المدرب مسبقًا. تُظهر الموترات المختلفة تباينات مختلفة في الأطياف المتدرجة وحساسيات النقل؛ فالرتبة الثابتة قد تهدر السعة على الاتجاهات الضعيفة بينما لا تمثل الاتجاهات المعلوماتية بشكل كافٍ. علاوة على ذلك، تحتفظ العديد من طرق PEFT بفروع استدلال نشطة خاصة بالطريقة أثناء النشر، مما يزيد من زمن التأخير وحركة مرور الذاكرة. تفترض الورقة الحاجة إلى طريقة:

تخصيص السعة بناءً على أدلة المهمة بدلاً من الميزانيات المحددة من قبل المستخدم.
تحديد رتب كل طبقة والتوترات المشاركة تلقائيًا.
إزالة الفروع الخاصة بالطريقة عبر الدمج الجبري قبل النشر.

المنهجية

تعمل الطريقة المقترحة، التخصيص الطيفي الموزون بالموثوقية مع النوى الطيفية الكاملة، عبر ثلاث مراحل متصلة: المعايرة، والتخصيص الطيفي، والتكيف مع الدمج.

1. المعايرة وتقدير الدليل الطيفي

تستخدم الط طريقة مجموعة بيانات معايرة لتقدير الاتجاهات الطيفية ذات الصلة بالمهمة دون تحديث الهيكل الخلفي.

تجميع التدرج: لكل موتر هيكل خلفي مؤهل $W_\ell$ (باستثناء رؤوس المهام، والتمثيلات، وطبقات التطبيع)، تحسب الطريقة التدرج المنبسط $G_{\ell,t}$ لكل دفعة معايرة $t$ .
التقسيمات الحتمية: يتم تقسيم دفعات المعايرة إلى قسمين حتميين ( $I_0$ و $I_1$ ). يتم حساب متوسط التدرجات لكل قسم ( $G^{(0)}_\ell, G^{(1)}_\ell$ )، والمتوسط المجمع للتدرج ( $G_\ell$ ).
التفكك الطيفي: يتم إجراء تحليل تفكيك القيمة المفردة (SVD) المدمج على التدرج المجمع: $G_\ell = U_\ell \Sigma_\ell V^\top_\ell$ .
التقييم الموزون بالموثوقية: لكل نمط طيفي $j$ $j$ ، تحسب الطريقة درجة اتساق $q_{\ell,j}$ $q_{ℓ, j}$ بناءً على الاتفاق بين القسمين.
- لتكن $a_{\ell,j}$ و $b_{\ell,j}$ هي إسقاطات تدرجات القسم على المتجهات المفردة.
- الاستجابة المشتركة هي $s_{\ell,j} = (a_{\ell,j} + b_{\ell,j})/2$ ، والتباين هو $d_{\ell,j} = (a_{\ell,j} - b_{\ell,j})/2$ .
- الوزن معرف كـ $q_{\ell,j} = \frac{s_{\ell,j}^2}{s_{\ell,j}^2 + d_{\ell,j}^2 + \hat{\nu}_\ell + \epsilon}$ ، حيث $\hat{\nu}_\ell$ هو عقوبة التباين على مستوى الموتر.
- دليل النمط النهائي هو $e_{\ell,j} = \sigma_{\ell,j}^2 q_{\ell,j}$ ، والذي يجمع بين طاقة القيم المفردة واتساق القسم.

2. قاعدة التخصيص على مستوى النموذج

بدلاً من ميزانية رتبة يحددها المستخدم، تشتق الطريقة تخصيصًا عالميًا من توزيع الأدلة عبر جميع الموترات.

الدعم الفعال: تحسب الط طريقة دعم الدعم الفعال لشانون ( $D_1$ ) وحجم دعم الأدلة الإيجابية ( $D_0$ ) من احتمالات الأدلة المعيرة.
تحديد الرتبة التلقائي: يتم تحديد العدد الإجمالي للأنماط الطيفية المحتفظ بها $R$ عن طريق المتوسط الهندسي لهذه الدعومات: $R = \lceil \sqrt{D_0 D_1} \rceil$ .
الاختيار: يتم اختيار أعلى $R$ $R$ من قيم الأدلة عبر جميع الطبقات والموترات. هذا يحدد في آن واحد:
- أي الموترات ستشارك.
- الرتبة المحددة $r_\ell$ لكل موتر مشارك.
- لا تتطلب العملية أي ميزانية رتبة أو عتبة أو قائمة طبقات مقدمة من المستخدم.

3. تحسين النواة الطيفية الكاملة والدمج

البارامترية: ضمن الفضاءات الفرعية الطيفية المختارة يسارًا ( $U_{\ell, S_\ell}$ ) ويمنًا ( $V_{\ell, S_\ell}$ )، تقوم الطريقة بتحسين نواة طيفية كاملة $K_\ell \in \mathbb{R}^{r_\ell \times r_\ell}$ . بخلاف القياس القطري (الذي يحدث فقط الأزواج المتطابقة)، تلتقط النواة الكاملة التفاعلات بين الأنماط ( $u_{\ell,i} v_{\ell,j}^\top$ لجميع $i, j$ ).
التحسين: يتم تحسين النواة الطيفية ورأس المهمة باستخدام فقدان الهبوط القياسي. يظل الهيكل الخلفي والقواعد المختارة مجمدة.
الدمج الجبري: بعد التدريب، يتم دمج التحديثات المتعلمة جبريًا في موترات الهيكل الخلفي الأصلية: $W_\ell \leftarrow W_\ell + M^{-1}_\ell(U_{\ell, S_\ell} K_\ell V^\top_{\ell, S_\ell})$ . يؤدي هذا إلى إزالة فرع النواة الطيفية النشط، مما ينتج عنه نموذج استدلال قياسي بدون أي عبء إضافي في زمن التأخير الناتج عن آلية PEFT.

المساهمات الرئيسية

الدرجة الطيفية الموزونة بالموثوقية: آلية تسجيل مبتكرة تجمع بين طاقة التدرج المجمع والاتساق بين قسمي المعايرة الحتميين، مما يقلل من تأثير الأنماط غير المستقرة.
التخصيص الخالي من المستخدم على مستوى النموذج: صياغة تحدد بشكل مشترك عدد الأنماط المحتفظ بها، والموترات المشاركة، والرتب الخاصة بكل طبقة دون الحاجة إلى ميزانية رتبة محددة من المستخدم أو اختيار يدوي للطبقات.
النواوى الطيفية الكاملة: استراتيجية تحسين تستخدم نوى مصفوفة كاملة داخل الفضاءات الفرعية المختارة لالتقاط التفاعلات بين الأنماط، وهي متفوقة نظريًا على القياس القطري، وتسمح بالدمج الجبري.
التقييم الموحد: تُطبق الطريقة بشكل موحد على كل من الهياكل الالتفافية (CNN) والمحولات (Transformers) عبر مهام التصنيف أحادي الملصق، والتعرف متعدد الملصقات، والتقسيم الدلالي.

النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات DTD، و Flowers-102، و Oxford-IIIT Pet، و Pascal VOC2007 باستخدام هياكل ResNet، و ViT، و Swin، و MobileNet.

الأداء مقابل الاختبار الخطي (Linear Probing): تتفوق الطريقة باستمرار على الاختبار الخطي. ومن أبرز المكاسب:
- Flowers-102 (ViT-B/16): زيادة قدرها 4.85 نقطة مئوية في Acc@1 مقارنة بالاختبار الخطي.
- Flowers-102 (ResNet-18): زيادة قدرها 4.21 نقطة مئوية.
- DTD (ResNet-50): زيادة قدرها 0.69 نقطة مئوية عن الاختبار الخطي و1.76 عن الضبط الدقيق الكامل، مع تحسين 150.9 ألف معلمة فقط (مقابل 23.6 مليون للضبط الدقيق الكامل).
المقارنة مع PEFT المتخصص: لا تتفوق الط طريقة بشكل موحد على النماذج المتخصصة (مثل RepAdapter، SSF) أو الضبط الدقيق الكامل في جميع الإعدادات. على سبيل المثال، في DTD مع ViT-B/16، حقق RepAdapter دقة أعلى. تشير المؤلفة إلى أن الطريقة تكون أكثر فائدة عندما تترك عملية التكيف المقتصرة على الرأس فجوة كبيرة ولكن الضبط الدقيق الكامل يكون مكلفًا جدًا.
كفاءة المعلمات: تحسن الطريقة ما بين 1,165 و 54,600 إحداثي من النواة الطيفية، مما يمثل 0.004% إلى 0.307% من إجمالي معلمات النموذج.
دراسات الاستئصال (Ablation Studies):
- الكامل مقابل القطري: تفوقت النواة الطيفية الكاملة على القياس الطيفي القطري بمقدار 1.07 نقطة مئوية (Acc@1) في DTD مع ResNet-18، مما يؤكد قيمة التقاط التفاعلات بين الأنماط.
- مكونات الموثوقية: أدى إزالة وزن اتساق القسم إلى تقليل الأداء، مما يؤكد أهمية درجة الموثوقية.

الأهمية والادعاءات

تدعي الورقة أن الطريقة المقترحة تقدم بديلًا مبدئيًا ومؤتمتًا للتهيئة اليدوية لـ PEFT. تكمن أهميتها الأساسية في:

إزالة البحث عن المعلمات الفائقة: فهي تلغي حاجة المستخدم لتحديد ميزانيات الرتبة، أو قوائم الطبقات، أو قواعد التخصيص، حيث تشتقها مباشرة من بيانات المعايرة.
كفاءة النشر: من خلال دمج التحديثات جبريًا، فإنها تلغي زمن تأخير الاستدلال وعبء الذاكرة المرتبط بفروع المحولات النشطة، وهو عيب شائع في طرق PEFT الأخرى.
القدرة على التعميم: توفر قاعدة تخصيص واحدة قابلة للتطبيق على بنيات متنوعة (CNNs و Transformers) ومهام مختلفة (التصنيف والتقسيم).

يعترف المؤلفون بتواضع بوجود قيود: تعتمد الفضاءات الفرعية المختارة على دفعات معايرة محددة، وقاعدة الدعم الفعال هي وسيلة استدلالية وليست معيارًا أمثل إحصائيًا، وتتطلب الطريقة حاليًا نسخة مدمجة منفصلة لكل مهمة. يقترحون أن العمل المستقبلي يجب أن يركز على استقرار التخصيص والتقريبات الأكثر كفاءة في المعايرة للنماذج الأكبر حجمًا.