🔢 mathematics

BROS: Bias-Corrected Randomized Subspaces for Memory-Efficient Single-Loop Bilevel Optimization

تقدم هذه الورقة البحثية BROS، وهي طريقة تحسين ثنائية المستوى عشوائية أحادية الحلقة وفعالة في استهلاك الذاكرة، تستخدم الفضاءات الفرعية العشوائية وتصحيح مسبار رادماخر (Rademacher bi-probe) لتحقيق نفس معدل التقارب $\mathcal O(\varepsilon^{-2})$ الخاص بالطرق الدقيقة مع تقليل ذروة استخدام الذاكرة بشكل كبير.

المؤلفون الأصليون: Hengrui Zhang, Boao Kong, Engao Zhang, Kun Yuan

نُشر 2026-05-12

📖 3 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Hengrui Zhang, Boao Kong, Engao Zhang, Kun Yuan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول ضبط آلة معقدة للغاية، مثل أوركسترا ضخمة، لتعزف أغنية مثالية. في عالم الذكاء الاصطنا_ني، هذه الآلة هي الشبكة العصبية (المشكلة ذات "المستوى الأدنى")، و"مقابض الضبط" التي تقوم بتعديلها هي المعلمات الفائقة (Hyperparameters) (المشكلة ذات "المستوى الأعلى").

التحدي يكمن في أنه لكي تعرف الاتجاه الذي يجب أن تدير فيه المقابض، عليك أولاً أن تستمع إلى الأوركسترا، وتفهم بدقة كيف يعزف كل موسيقي، ثم تحسب كيف سيغير تغيير مقبض واحد الأغنية بأكملها. هذا ما يسمى التحسين ثنائي المستوى (Bilevel Optimization).

المشكلة: عنق زجاجة "الذاكرة"

يوضح البحث أنه بالنسبة لنماذج الذكاء الاصطناعي الحديثة الضخمة (والتي تمتلك مليارات المعلمات)، فإن محاولة حساب اتجاهات الضبط هذه دفعة واحدة تشبه محاولة حمل مكتبة كاملة في حقيبة ظهرك.

الطريقة القديمة: تحاول الأساليب الحالية حساب الاتجاه المثالي عبر تتبع كل نوتة موسيقية وكل آلة في وقت واحد. وهذا يتطلب ذاكرة حاسوبية (RAM) هائلة تؤدي إلى تعطل النماذج الكبيرة.
طريقة "البديل" (Surrogate): تحاول طرق أخرى "الغش" عبر تبسيط الرياضيات لتوفير الذاكرة، لكنها تنتهي بإعطائك اتجاهاً خاطئاً قليلاً، مما يؤدي إلى أغنية أسوأ.

الحل: BROS (الفضاءات الفرعية العشوائية المصححة الانحياز)

يقترح المؤلفون طريقة جديدة تسمى BROS. وإليك كيف تعمل باستخدام تشبيه بسيط:

1. استراتيجية "تسليط الضوء" (الفضاءات الفرعية العشوائية)

بدلاً من محاولة الاستماع إلى الأوركسترا بأكملها في وقت واحد (وهو أمر ثقيل جداً)، يستخدم BROS تسليط الضوء (Spotlight).

يختار عشوائياً مجموعة صغيرة من الموسيقيين (فضاء فرعي) للتركيز عليها للحظة.
يحسب كيفية ضبط المقابض بناءً على هذه المجموعة الصغيرة فقط.
ولأنه ينظر فقط إلى مجموعة صغيرة، فإنه يستخدم ذاكرة أقل بكثير (بنسبة تصل إلى 45% في اختباراتهم).

2. تصحيح "المرآة السحرية" (الاستقصاء الثنائي لـ Rademacher)

هذا هو الجزء الصعب: إذا استمعت فقط إلى مجموعة صغيرة، فإن حسابك للأوركسترا بأكملها سيكون منحازاً (خاطئاً). الأمر يشبه الحكم على سيمفونية كاملة بناءً على آلات الكمان فقط؛ قد تغفل عن الطبول.

معظم الطرق التي تستخدم نهج "تسليط الضوء" هذا تقبل بهذا الخطأ ببساطة، مما يفسد النتيجة النهائية.
السر في BROS: يستخدم خدعة رياضية ذكية تسمى الاستقصاء الثنائي لـ Rademacher (Rademacher bi-probe). فكر في هذا كـ "مرآة سحرية" أو "عدسة تصحيح".
بعد النظر في المجموعة الصغيرة، يطرح BROS بضعة أسئلة محددة وعشوائية (باستخدام إشارات عشوائية +1 و -1) ليعرف بالضبط كيف أدى تسليط الضوء إلى تشويه الرؤية.
بعد ذلك، يقوم "بإلغاء" هذا التشويه رياضياً.

النتيجة: أفضل ما في العالمين

بفضل هذا التصحيح، يحصل BROS على أفضل ما في العالمين:

ذاكرة منخفضة: يمكنه العمل على أجهزة كمبيوتر أصغر لأنه يعالج أجزاء صغيرة من النموذج في كل مرة.
دقة عالية: نظرًا لأنه يصحح الانحياز، فإنه يجد نفس اتجاه الضبط المثالي تماماً الذي تجده الطرق الثقيلة والمستهلكة للذاكرة. إنه لا يساوم على الجودة.

ما الذي اختبروه؟

اختبر المؤلفون BROS في أربع مهام حقيقية للذكاء الاصطناعي:

تنظيف البيانات الفوضوية: إصلاح بيانات تدريب الذكاء الاصطناعي التي تحتوي على تسميات خاطئة (مثل تصحيح واجب مدرسي تم تقييمه بشكل غير صحيح).
خلط البيانات: اكتشاف الوصفة المثالية لمصادر البيانات المختلفة لتدريب نموذج لغوي.
تعلم التمثيلات: تعليم الذكاء الاصطنا_ني كيف "يرى" الصور بشكل أفضل.
إعادة وزن العينات: تحديد أي الصور المحددة هي الأكثر أهمية ليتعلم منها الذكاء الاصطنا_ني.

في جميع هذه الاختبارات، استخدم BROS ذاكرة أقل بكثير (مقللاً ذروة الذاكرة بنسبة تصل إلى 45%) مع تحقيق أداء مطابق تقريباً للطرق الثقيلة كثيفة الاستهلاك للذاكرة.

باخت

BROS يشبه قائد أوركسترا ذكياً لا يحتاج لسماع كل آلة موسيقية في الأوركسترا في وقت واحد ليعرف كيفية ضبط الموسيقى. بدلاً من ذلك، يستمع إلى قسم صغير، ويستخدم خدعة رياضية خاصة لتصحيح ما فاته، وينتهي به الأمر بقيادة الأوركسترا بأكملها بشكل مثالي — دون الحاجة إلى نظام صوتي ضخم ومكلف.

ملخص تقني: BROS: الفضاءات الجزئية العشوائية المصححة للانحياز لتحسين المستوى المزدوج أحادي الحلقة بكفاءة الذاكرة

بيان المشكلة
يعد التحسين العشوائي ذو المستوى المزدوج (SBO) إطار عمل أساسيًا لتطبيقات التعلم العميق مثل تحسين المعلمات الفائقة (hyperparameter optimization)، وإعادة وزن البيانات، وتعلم التمثيلات، وتنظيف البيانات الفائقة. يتضمن التنسيق القياسي متغيرًا للمستوى الأعلى $x$ ومتغيرًا للمستوى الأدنى $Y$ (عادةً ما يكون بارامترات شبكة عصبية)، حيث تعتمد دالة الهدف للمستوى الأعلى على حل مسألة التحسين للمستوى الأدنى.

توفر طرق الـ SBO الحالية ذات الحلقة الواحدة الدقيقة (مثل MA-SOBA) ضمانات تقارب قوية (تعقيد عينات قدره $O(\epsilon^{-2})$ )، ولكنها تعاني من اختناقات شديدة في الذاكرة عندما تكون شبكة المستوى الأدنى كبيرة. تعتمد هذه الطرق على عمليات ضرب هسيان-متجه (HVP) وجاكوبي-متجه (JVP) في الفضاء الكامل للحفاظ على المتغيرات المساعدة، مما يتطلب ذاكرة تتناسب مع عدد البارامترات الكامل. وفي المقابل، فإن الطرق البديلة الموفرة للذاكرة (مثل طرق الجزاء أو طرق الرتبة صفر) تقلل من استخدام الذاكرة، ولكنها غالبًا ما تضحي بضمانات التقارب الدقيقة، أو تتطلب افتراضات أقوى، أو تقوم بتحسين مسألة بديلة بدلاً من دالة الهدف الأصلية للمستوى المزدوج.

المنهجية: BROS
يقترح المؤلفون BROS (التحسين عبر الفضاءات الجزئية العشوائية)، وهو طريقة SBO أحادية الحلقة ذات كفاءة في الذاكرة مصممة لمسائل المعلمات المصفوفية متعددة الطبقات. يعالج BROS اختناق الذاكرة عن طريق إجراء تحديثات المستوى الأدنى والمستوى المساعد ضمن فضاءات جزئية عشوائية منخفضة الأبعاد مع الحفاظ على بنية التدرج الفائق الدقيقة للحلقة الواحدة.

المكونات الأساسية لـ BROS هي:

تفكيك الفضاء الجزئي العشوائي:
بدلاً من تحديث بارامترات المستوى الأدنى الكاملة $Y \in \mathbb{R}^{m \times n}$ ، يقوم BROS بأخذ عينة من مسقط Haar بمقياس $P \in \mathbb{R}^{m \times r}$ (حيث $r \ll m$ ) في كل تكرار. يتم حساب تحديث المستوى الأدنى في الفضاء الجزئي المختزل $B \in \mathbb{R}^{r \times n}$ عبر الهدف المسقط $\tilde{g}(x, B) = g(x, Y + PB)$ . يتم تحديث متغير الفضاء الكامل كـ $Y^{k+1} = Y^k + P B^k$ . وهذا يقلل من بصمة الذاكرة للتدرجات، والتنشيطات، والاتجاهات المساعدة من $O(mn) $إلى$ O(rn)$.
تحديثات المساعد المصححة للانحياز:
إن نهج "الرسم ثم الرفع" (sketch-then-lift) الساذج للمتغير المساعد $Z$ (الذي يحل النظام الخطي الذي يتضمن الهسيان) يؤدي إلى انحياز لأن فعل الهسيان المرفوع $P \tilde{H} [P^\top Z]$ ليس مقدراً غير منحاز لفعل الهسيان في الفضاء الكامل $H[Z]$ . هذا الانحياز يشوه التدرد الفائق ويمكن أن يؤدي إلى حدود غير مستقرة.
لحل هذه المشكلة، يقدم BROS تصحيح مسبار Rademacher الثنائي. يقوم الخوارزمية بأخذ عينات من متجهات Rademacher مستقلة (متجهات الإشارة) $u$ و $\xi$ لتقدير حدود النقص الشبيهة بالأثر (trace-like) والمنقولة (transpose-like) الناتجة عن الإسقاط. تسمح هذه المسابير ببناء مقدر HVP مصحح، يُرمز له بـ $\widehat{H}[Z]$ ، والذي يكون مقدراً غير منحاز شرطياً لفعل الهسيان في الفضاء الكامل دون الحاجة إلى تكوين المصفوفة الكاملة.
التكرار أحادي الحلقة:
يحافظ BROS على تكرار أحادي الحلقة مقترن لمتغير المستوى الأعلى $x$ ، ومتغير المستوى الأدنى $Y$ ، والمتغير المساعد $Z$ ، ومقدر التدرج الفائق ذو المتوسط المتحرك $h$ . تستخدم التحديثات التدرج المسقط للمستوى الأدنى واتجاه المساعد المصحح للانحياز.

المساهمات الرئيسية

تكرار موفر للذاكرة: يقوم BROS بتفكيك تكرارات المستوى الأدنى والمستوى المساعد إلى فضاءات جزئية عشوائية، مما يقلل بشكل كبير من أبعاد التدرجات المخزنة، والتنشيطات، وعمليات حساب HVP/JVP.
استعادة التدرج الفائق غير المنحاز: حدد البحث الانحياز الناتج عن الإسقاط في أفعال الهسيان المرفوعة ويقترح تصحيح مسبار Rademacher طبقيًا. يضمن هذا أن يظل المقدر غير منحاز لفعل الهسيان متعدد الطبقات دون فرض افتراضات هيكلية إضافية (مثل الهسيانات ذات القطر الكتلي).
الضمانات النظرية: تحت الافتراضات القياسية (النعومة، والتقوس القوي للمستوى الأدنى)، يثبت المؤلفون أن BROS يحافظ على تعقيد العينات $O(\epsilon^{-2})$ للطرق أحادية الحلقة الدقيقة (تحديدًا MA-SOBA) لإيجاد نقطة استقرار $\epsilon$ . تعتمد معدل التقارب على نسبة الإسقاط $\omega_P = \max(m_\ell/r_\ell)$ ، مما يستعيد معدل الفضاء الكامل عندما يكون $r=m$ .

النتائج التجريبية
قيم المؤلفون BROS في أربع مهام تعلم ذات مستوى مزدوج:

تنظيف البيانات الفائقة لـ MNIST: حقق BROS دقة اختبار بلغت 84.30%، وهي تقترب بشدة من خط الأساس MA-SOBA (84.46%) وتتفوق على الطرق القائمة على الجزاء وطرق الرتبة صفر.
تعلم مزيج البيانات (نماذج نمط GPT بسعة 280 مليون معلمة): يطابق BROS أداء MA-SOBA (اللوغاريتم النهائي للبيربلكسيتي 2.8109 مقابل 2.8098) مع تقليل ذروة ذاكرة التدريب بالوكالة بنسبة تقارب 44.9% مقارنة بـ MA-SOBA و27% مقارنة بطرق الجزاء.
تعلم التمثيل الفائق لـ CIFAR-10: حقق BROS دقة اختبار نهائية قدرها 78.03%، وهي قابلة للمقارنة مع MA-SOBA (78.57%).
إعادة وزن العينات لـ CIFAR-100 ViT: حقق BROS أفضل دقة تحقق (49.88%) ودقة اختبار (49.05%) بين الطرق المقارنة، باستخدام 6.42 جيجابايت فقط من ذروة الذاكرة مقارنة بأكثر من 23 جيجابايت للخطوط المرجعية ذات الفضاء الكامل.

الأهمية والادعاءات
يزعم البحث أن BROS نجح في سد الفجوة بين كفاءة الذاكرة والتقارب النظري في التحسين العشوائي ذو المستوى المزدوج. على عكس الطرق البديلة التي تضحي بالدقة مقابل الكفاءة، يحافظ BROS على بنية تحديث التدرج الفائق أحادي الحلقة الدقيقة المرتبطة بها ورتبة تقاربها $O(\epsilon^{-2})$ . من خلال استخدام الفضاءات الجزئية العشوائية وآلية تصحيح الانحياز المبتكرة، يمكن لـ BROS تمكين مهام التحسين ذي المستوى المزدوج (مثل إعادة وزن البيانات وضبط المعلمات الفائقة) على الشبكات العصبية الكبيرة التي قد تكون غير مجدية لولا قيود الذاكرة، مما يقلل ذروة استخدام الذاكرة بنسبة تصل إلى 44.9% مع مطابقة أداء الفضاء الكامل عن قرب.