🤖 machine learning

BaLoRA: Bayesian Low-Rank Adaptation of Large Scale Models

يقدم BaLoRA امتداداً بايزياً لتقنية التكيف منخفض الرتبة (LoRA) يستخدم بارامترية تكيفية مع المدخلات لتعزيز دقة التنبؤ وتوفير تقديرات معايرة جيداً لعدم اليقين في آن واحد، مما يقلص بفعالية فجوة الأداء مع الضبط الدقيق الكامل مع تمكين تقدير موثوق للأخطاء في التطبيقات الحرجة.

المؤلفون الأصليون: Dario Coscia, Sindy Löwe, Max Welling

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dario Coscia, Sindy Löwe, Max Welling

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك موسوعة ضخمة وذكية للغاية (نموذج لغوي كبير مدرب مسبقاً) تعرف القليل عن كل شيء. تريد تعليمها مهارة جديدة محددة جداً، مثل حل الألغاز أو التعرف على الزهور النادرة.

الطريقة القديمة (الضبط الدقيق الكامل - Full Fine-Tuning):
تقليدياً، لتعليم هذه الموسوعة مهارة جديدة، عليك إعادة كتابة كل صفحة من صفحات الكتاب. هذا يشبه توظيف فريق من المحررين لإعادة كتابة المكتبة بأكملاء من أجل كل موضوع جديد. إنه أمر مكلف للغاية، وبطيء، وينتهي بك الأمر بامتلاك نسخة ثقيلة ومختلفة من المكتبة لكل مهمة.

الاختصار القياسي (LoRA):
لتوف-ير الوقت، اخترع الباحثون تقنية LoRA (التكيف منخفض الرتبة). بدلاً من إعادة كتابة المكتبة بأكملها، تقوم فقط بإضافة ملاحظة صغيرة لاصقة (Sticky-note) في الصفحات ذات الصلة. هذه الملاحظة صغيرة وغير مكلفة لصنعها.

المشكلة: ملاحظة LoRA القياسية تشبه الملاحظة الجامدة والمكتوبة مسبقاً؛ فهي تعطي إجابة واحدة وثابتة. إذا كان السؤال صعباً أو كانت البيانات شحيحة، فإن الملاحظة لا تعرف "مدى تأكدها". هي فقط تعطي إجابة، حتى لو كانت تخمن. كما أنها لا تستطيع التعبير عن الأفكار المعقدة بنفس جودة إعادة كتابة الكتاب بأكمله.

الحل الجديد (BaLoRA):
تقدم الورقة البحثية BaLoRA (التكيف منخفض الرتبة البايزي). فكر في BaLoRA كترقية لتلك الملاحظات اللاصقة من ورق ثابت إلى هولوغرامات ذكية وحية.

إليك كيف تعمل BaLoRA باستخدام تشبيهات بسيطة:

1. تشبيه "اليد المرتعشة" (عدم اليقين)

في LoRA القياسية، تقول الملاحظة: "الإجابة هي X بالتأكيد".
في BaLoRA، تقول الملاحظة: "الإجابة هي X على الأرجح، لكنني مترددة قليلاً بشأنها لأن هذا السؤال يبدو كأنه خدعة".

تعامل BaLoRA الأرقام الموجودة في الملاحظة ليس كحقائق ثابتة، بل كـ متغيرات عشوائية. تخيل أن الشخص الذي يكتب الملاحظة لديه يد مرتعشة قليلاً.

إذا كان السؤال سهلاً ومألوفاً، تكون يده ثابتة، وتكون الملاحظة واضحة.
إذا كان السؤال غريباً أو مربكاً، ترتعش يده أكثر، وتصبح الملاحظة "أكثر ضبابية".
هذه "الضبابية" هي عدم اليقين. إنها تخبرك: "أنا لست متأكدة بنسبة 100% هنا، لذا كوني حذرة". وهذا أمر بالغ الأهمية في الوظائف الحساسة التي تتطلب معرفة متى يكون النموذج مجرد مخمن.

2. "الهزاز الذكي" (الضجيج المتكيف مع المدخلات)

تدعي الورقة أن BaLoRA مميزة لأن "الارتعاش" ليس عشوائياً؛ بل هو ذكي.

LoRA القياسية: تضيف فقط كمية ثابتة من الضجيج (الاستاتيكية) إلى كل شيء.
BaLoRA: كمية الارتعاش تعتمد على المدخلات.
- التشبيه: تخيل موسيقياً يعزف مقطوعة. إذا كانت اللحن بسيطاً، يعزفه بإتقان. وإذا أصبح اللحن معقداً وصعباً، فإنه يضيف عمداً القليل من "الجاز" أو الارتجال (الضجيج) لاستكشاف احتمالات مختلفة.
- في BaLoRA، عندما يرى النموذج مدخلات صعبة، فإنه يضخ المزيد من "الضجيج" (عدم اليقين) تحديداً في الأجزاء النشطة من الملاحظة. هذا يجبر النموذج على التعلم بشكل أكثر قوة، مثل طالب يتدرب بقوة أكبر على الأسئلة التي يجدها مربكة. هذا يجعل النموذج في الواقع أذكى وأكثر دقة، وليس فقط أكثر حذراً.

3. "سحر الرتبة المنخفضة" (الكفاءة)

قد تقلق من أن إضافة "الارتعاش" و"عدم اليقين" سيجعل الملاحظة ضخمة وبطيئة.

ادعاء الورقة: تستخدم BaLoRA حيلة رياضية ذكية ("خدعة إعادة المعلمة المحلية منخفضة الرتبة").
التشبيه: بدلاً من حساب الارتعاش لكل كلمة في الموسوعة (والذي سيكون بطيئاً)، تقوم BaLoRA بحساب الارتعاش في منطقة "خلف الكواليس" صغيرة ومضغوطة ثم تسقطه على الصفحة.
النتيجة: لا تضيف أي وزن أو سرعة إضافية تقريباً. يمكنك استخدامها تماماً مثل LoRA القديمة، ولكن مع الميزة الإضافية لمعرفة مدى تأكد النموذج.

ماذا أثبتوا؟

اختبر المؤلفون هذه "الملاحظة اللاصقة الذكية" في ثلاثة عوالم مختلفة تماماً:

اللغة (الألغاز): اختبروها على نماذج Llama (روبوتات الدردشة بالذكاء الاصطعي) وهي تحل ألغاز المنطق الشائع.
- النتيجة: حصلت BaLoRA على درجات أفضل من LoRA القياسية بل وتفوقت على طرق متقدمة أخرى. لقد تعلمت المهام بشكل أفضل بسبب التدريب على عدم اليقين.
الرؤية (الصور): اختبروها في التعرف على الزهور والحيوانات الأليبة في الصور.
- النتيجة: طابقت دقة إعادة كتابة المكتبة بأكملها (الضبط الدقيق الكامل) ولكنها استخدمت جزءاً ضئيلاً جداً من الذاكرة. كما أعطت "درجات ثقة" أفضل (كانت تعرف متى تكون غير متأكدة).
العلوم (المواد): اختبروها في التنبؤ بـ "فجوة النطاق" (خاصية لتخزين الطاقة) للمواد ذات الهياكل المعدنية العضوية (MOFs).
- النتيجة: هذه مهمة علمية صعبة. لم تتنبأ BaLoRA بالقيمة فحسب؛ بل كان "تقدير عدم اليقين" الخاص بها أفضل في التنبؤ بمتى ستكون مخطئة من فريق كامل من نماذج LoRA القياسية التي تعمل معاً. وقد فعلت ذلك بجولة تدريب واحدة فقط، بينما احتاج الفريق إلى العديد من الجولات.

الخلاصة

BaLoRA هي طريقة لتعليم نماذج الذكاء الاصطناعي الضخمة مهارات جديدة بسرعة ورخص، ولكن مع قوة خارقة: وهي أنها تعرف متى لا تعرف.

إنها تحول الملاحظة الجامدة التي تقول "أعتقد أن هذه هي الإجابة" إلى ملاحظة مرنة تقول "أعتقد أن هذه هي الإجابة، ولكن إليك مدى ثقتي في هذه الإجابة". ومن المثير للدهشة، من خلال تعليم النموذج أن يكون صادقاً بشأن عدم يقينه، فإنه يصبح في الواقع أفضل في المهمة من النماذج التي تتظاهر بأنها متأكدة بنسبة 100%.

ملخص تقني: BaLoRA (التكيف منخفض الرتبة البايزي - Bayesian Low-Rank Adaptation)

1. بيان المشكلة

أثبت "التكيف منخفض الرتبة" (LoRA) نفسه كمعيار لعمليات الضبط الدقيق الفعال للمعلمات (PEFT) للنماذج الضخمة سابقة التدريب، حيث يوفر تكاليف حوسبة مخفضة عبر قصر التحديثات على بنية منخفضة الرتبة. ومع ذلك، يحدد البحث ثلاث قيود حرجة في طريقة LoRA القياسية وطرق PEFT الحتمية ذات الصلة:

تعبيرية محدودة: غالبًا ما تترك تحديثات تقدير النقطة ذات الرتبة المنخفضة فجوة استمرارية في الدقة مقارنة بالضبط الدقيق الكامل (FT).
الافتقار إلى تقدير عدم اليقين: لا توفر طريقة LoRA القياسية آلية مدمجة لتقدير عدم اليقين في التنبؤ، وهو نقص يعيق قابليتها للتطبيق في المجالات الحرجة للسلامة والبيئات شحيحة البيانات (مثل علوم المواد أو التنبؤ بالطقس).
عدم المرونة: لا تقوم الطرق الموجودة بترميز عدم اليقين بشكل طبيعي أثناء عملية التدريب، وغالبًا ما تتطلب مجموعات (ensembles) من النماذج (مما يزيد من الذاكرة والحوسبة) لتقريب عدم اليقين.

2. المنهجية: BaLoRA

يقدم BaLoRA امتدادًا بايزيًا لطريقة LoRA يعامل مصفوفة الاختزال ليس كمعلمات ثابتة، بل كمتغيرات عشوائية. الابتكار الجوهري هو إعادة بارامتريّة بايزية جديدة متكيفة مع المدخلات لمصفوفة اختزال LoRA ( $\theta_A$ ).

2.1 إعادة بارامتريّة بايزية متكيفة مع المدخلات

بدلاً من التحديث الحتمي $y = \theta_0 x + \theta_B \theta_A x$ ، يقوم BaLoRA بإدخال اضطراب على مدخلات مصفوفة الاختزال $\theta_A$ باستخدام ضجيج غاوسي يعتمد على المدخلات:
$\omega_{A;ij} = \theta_{A;ij} + \sqrt{\alpha(x)\theta_{A;ij}^2} \epsilon_{ij}, \quad \epsilon_{ij} \sim \mathcal{N}(0, 1)$
هنا، $\alpha(x)$ هي شبكة استدلال خفيفة الوزن تعمل على ضبط مقياس التباين بناءً على المدخل $x$ . تعني هذه الصيغة أن الأوزان ذات القيم الكبيرة تحمل عدم يقين يتناسب طرديًا مع حجمها، وأن عدم اليقين يتغير بتغير تنشيطات المدخلات.

2.2 هدف التدريب

يتم تدريب النموذج عن طريق تعظيم "الحد الأدنى للاحتمال الأدنى" (ELBO)، والذي يوازن بين ملاءمة البيانات وتعقيد النموذج (تباعد KL بين التوزيع اللاحق والسابك ضعيف المعلومات). يقبل تباعد KL حلاً مغلقًا يعتمد فقط على القيمة القياسية $\alpha(x)$ ومعامل معدل إسقاط (dropout rate) $p$ ، مما يجعله غير مكلف حوسبيًا للتقييم.

2.3 خدعة إعادة بارامتريّة محلية منخفضة الرتبة

إن التطبيق الساذج لأخذ العينات البايزية سيتطلب تجسيد مصفوفة تغاير كاملة بحجم $O(k^2)$ ، وهو أمر مكلف حوسبيًا للغاية. يستغل BaLoRA بنية الرتبة المنخفضة لتحديث LoRA لاستخلاص إجراء أخذ عينات فعال:

يتم أخذ العينات من الضجيج في الفضاء الكامن منخفض الأبعاد ( $\mathbb{R}^r$ ) بدلاً من الفضاء عالي الأبعاد للمخرجات.
يتم حساب عينة التنبؤ اللاحقة الدقيقة كالتالي:
$y = \theta_0 x + \theta_B \theta_A x + \theta_B (\sqrt{d(x)} \odot \epsilon_d)$
حيث $d(x) = \alpha(x) \theta_A^2 x^2$ و $\epsilon_d \sim \mathcal{N}(0, I_r)$ .
يحافظ هذا النهج على التوسع الحوسبي لـ LoRA القياسية ($O(Bkr)$) ويتجنب تجسيد مصفوفة التغاير الكاملة.

2.4 أوضاع الاستدلال

يدعم BaLoRA وضعين للنشر:

الوضع الحتمي: يتم دمج أوزان المهايئ (adapter) مع الأوزان سابقة التدريب ( $\theta = \theta_0 + \theta_B \theta_A$ )، مما يؤدي إلى صفر تأخير إضافي مقارنة بـ LoRA القياسية.
الوضع العشوائي (البايزي): يتم إجراء عمليات تمرير أمامي متعددة باستخدام الأوزان التي تم أخذ عينات منها لتقدير عدم اليقين التنبئي (المتوسط والتباين) عبر أخذ عينات مونت كارلو.

3. المساهمات الرئيسية

PEFT عشوائي مع تنظيم ضمني: يقترح BaLoRA طريقة يعمل فيها حقن الضجيج المعتمد على المدخلات كمنظم ضمني. من خلال تركيز الاضطرابات في الاتجاهات ذات التنشيطات العالية، فإنه يمنع التحديثات المفرطة في الثقة، مما يؤدي إلى تحسين الأمثلة وأداء المهام.
أخذ عينات منخفض الرتبة فعال: اشتق المؤلفون خدعة إعادة بارامتريّة محلية تسمح بأخذ عينات دقيقة لتوزيع التنبؤ اللاحق في الفضاء منخفض الأبعاد، مما يطابق الكفاءة الحوسبية لـ LoRA القياسية.
دقة وعدم يقين موحدين: يحقق الأسلوب أداءً يضاهي أحدث المعايير (SOTA) في الاستدلال المنطقي وتصنيف الصور، بينما يوفر في الوقت نفسه تقديرات معايرة لعدم اليقين، وكل ذلك ضمن عملية ضبط دقيق واحدة (على عكس طرق المجموعات/ensembles).

4. النتائج التجريبية

قيمت الورقة البحثية BaLoRA عبر ثلاثة مجالات:

4.1 الاستدلال المنطقي (معالجة اللغات الطبيعية)

النماذج: Llama-2-7B و Llama-3-8B.
الاختبارات المرجعية: 8 مهام تشمل BoolQ، وPIQA، وARC-c، وWinoG.
النتائج: يتفوق BaLoRA على LoRA القياسية بمتوسط ~2.9% (Llama-2) و ~5% (Llama-3). ويحقق SOTA في 6/8 اختبارات مرجعية لـ Llama-3-8B و 5/8 لـ Llama-2-7B، متفوقًا على المنافسين الحتميين مثل DoRA وMoRA وHiRA.
المتانة: يظل الأداء مستقرًا عبر نطاق واسع من المعلمات الفائقة للاحتمال السابك ( $p$ ).

4.2 الإدراك البصري (الرؤية الحاسوبية)

النموذج: ViT-L/16 مدرب مسبقًا على ImageNet-21K.
الاختبارات المرجعية: CIFAR-10، وCIFAR-100، وOxford-IIIT Pets، وOxford Flowers-102.
النتائج: يحتل BaLoRA باستمرار المركز الأول بين طرق PEFT. والجدير بالذكر أنه يطابق دقة الضبط الدقيق الكامل (99.61%) في Oxford Flowers-102 ويتفوق على الضبط الدقيق الكامل في CIFAR-100.
المعايرة: يحقق BaLoRA أدنى خطأ معايرة متوقع (ECE) في 2/4 مجموعات بيانات ويحتل المركز الثاني في البقية، متفوقًا على LoRA وDoRA دون الحاجة لمعايرة لاحقة.

4.3 التنبؤ بخصائص المواد (تطبيق علمي)

المهمة: التنبؤ بفجوة النطاق (Bandgap) للأطر المعدنية العضوية (MOFs) باستخدام مجموعة بيانات QMOF وMOFTransformer.
المقارنة: BaLoRA مقابل مجموعة (ensemble) من نماذج LoRA (والتي تتطلب عمليات تدريب متعددة).
النتائج: يحقق BaLoBA متوسط خطأ مطلق (MAE) قدره 0.266 إلكترون فولت، مما يقلص الفجوة مع الضبط الدقيق الكامل (0.224 إلكترون فولت) مع استخدام 6.75% فقط من المعلمات القابلة للتدريب.
عدم اليقين: ينتج BaLoRA تقديرات عدم يقين "صفرية القدرة" (zero-shot) ترتبط بقوة أكبر مع خطأ النموذج (ارتباط سبيرمان 0.346) من مجموعة نماذج LoRA المدربة (0.309)، على الرغم من تطلبه عملية تدريب واحدة فقط. وتتحسن تقديرات عدم اليقين بشكل رتيب مع زيادة عدد خطوات مونت كارلو في وقت الاختبار.

5. الأهمية والادعاءات

تزعم الورقة أن BaLoRA يعالج التحديات المزدوجة المتمثلة في التعبيرية وتقدير عدم اليقين في PEFT. ومن خلال دمج الانحيازات الاستقرائية البايزية في هندسة المهايئات منخفضة الرتبة، يقدم الأسلوب مزايا تكميلية وإضافية على النهج الحتمية البحتة.

وتشمل الادعاءات الرئيسية ما يلي:

الكفاءة: يطابق BaLoRA التوسع الحوسبي لـ LoRA القياسية ولا يتسبب في أي تأخير عند الاستدلال في الوضع الحتمي.
الأداء: يعزز الامتداد البايزي دقة التنبؤ، مما يقلص الفجوة مع الضبط الدقيق الكامل عبر مهام اللغة والرؤية، مدفوعًا بنمذجة عدم اليقين المنهجية وليس بزيادة سعة النموذج.
الفائدة العلمية: في علم المواد، يوفر BaLoRA تقديرات موثوقة لعدم اليقين ترتبط بالخطأ، وهي ميزة بالغة الأهمية للتطبيقات الحرجة للسلامة، متفوقًا على نماذج المجموعات (ensembles) بمتطلبات حوسبة أقل بكثير.
القدرة على التعميم: النهج ليس محصورًا في مجال معين، حيث أظهر فعالية في الاستدلال اللغوي الطبيعي، والإدراك البصري، ومهام الانحدار العلمي.

ويخلص المؤلفون إلى أن BaLoRA يشجع على تبني أوسع لتقنيات PEDT الواعية بعدم اليقين في الإعدادات التي تكون فيها التنبؤات الموثوقة بنفس أهمية التنبؤات الدقيقة.