🤖 machine learning

Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning

تُظهر هذه الورقة أن الضبط الدقيق باستخدام تقنية LoRA يتسبب بشكل فريد في تدهور أداء النموذج في الأمثلة ذات التباين العالي بين المقيّمين (الإنتروبيا العالية للتوسيم)، وهي ظاهرة تتميز بزيادة الخسارة أثناء التدريب والتي ترتبط ارتباطاً وثيقاً بعدم اليقين في التوسيم وتختلف عن الضبط الدقيق الكامل.

المؤلفون الأصليون: Brady Steele

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Brady Steele

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدرس فصلاً من الطلاب (نماذج الذكاء الاصطناعي) لحل لغز منطقي صعب يسمى "الاستدلال باللغة الطبيعية" (Natural Language Inference). تأتي هذه الألغاز من كتاب مدرسي، حيث حاول 100 شخص مختلف الإجابة على كل سؤال.

أحياناً، يتفق الـ 100 شخص جميعاً على الإجابة. نسمي هذه الأمثلة "نظيفة" (Clean).
وأحياناً، ينقسم الـ 100 شخص إلى نصفين، ويتجادلون ذهاباً وإياباً. نسمي هذه الأمثلة "متنازع عليها" (Contested).

تبحث الورقة البحثية فيما يحدث عندما تعلم هؤلاء الطلاب باستخدام طريقة محددة وعالية الكفاءة تسمى LoRA (التكيف منخفض الرتبة). LoRA تشبه إعطاء الطلاب دفتراً صغيراً ومحدوداً لكتابة ملاحظاتهم الجديدة فيه، بدلاً من السماسة بإعادة كتابة كتابهم المدرسي بالكامل.

إليك الاكتشاف المذهل الذي توصل إليه المؤلفون، مشروحاً ببساامة:

1. ظاهرة "إلغاء التعلم" (The Un-Learning Phenomenon)

عندما تعلم باستخدام كتاب مدرسي كامل (الضبط الدقيق الكامل - Full Fine-Tuning)، يصبح الطلاب أفضل في كل شيء بمرور الوقت. حتى الأمثلة الصعبة والمثيرة للجدل تصبح أسهل في النهاية.

ولكن عندما تستخدم طريقة LoRA (الدفتر الصغير)، يحدث شيء غريب:

الأشياء السهلة: يصبح الطلاب بارعين جداً في الأمثلة "النظيفة" حيث اتفق الجميع.
الأشياء الصعبة: بالنسبة للأمثلة "المتنازع عليها" (حيث اختلف البشر)، يصبح الطلاب في الواقع أسوأ مع استمرار التدريب. تزدهاد أخطاؤهم.

يسمي المؤلفون هذا "إلغاء التعلم" (Un-learning). الأمر كما لو أن الطالب، في اندفاعه لإتقان الحقائق الواضحة والسهلة، ينسى عن غير قصد كيفية التعامل مع الأمثلة الغامضة والمربكة. إنهم يتخصصون في الأنماط "السهلة" لدرجة أنهم يبدأون في الفشل فعلياً في الأمثلة "الصعبة".

2. "مقياس الارتباك" (Annotation Entropy)

كيف عرفوا أي الأمثلة كانت صعبة؟ استخدموا "مقياس ارتباك" يسمى "إنتروبيا التوسيم" (Annotation Entropy).

إنتروبيا منخفضة: الجميع متفقون. المقياس هادئ.
إنتروبيا عالية: الجميع يتجادلون. المقيتر يعم به الفوضى.

وجدت الورقة البحثية رابطاً مباشراً: كلما زاد ارتباك البشر بشأن مثال ما، زاد "إلغاء التعلم" لدى نموذج الذكاء الاصطناعي. أداء النموذج في هذه الأمثلة المربكة أصبح أسوأ كلما طال تدريبه.

3. لماذا يحدث هذا؟ (التشبيه)

فكر في نموذج الذكاء الاصطناعي كطاهٍ يحاول تعلم وصفة جديدة باستخدام دفتر ملاحظات صغير ومنخفض الجودة (LoRA).

الاستراتيجية: يرى الطاهي أن الناس يريدون سلطة بسيطة في 80% من الأوقات (الأمثلة النظيفة). فيكتب وصفة مثالية وواضحة للسلطة في دفتره الصغير.
المشكلة: ولكن في 20% من الأوقات، يتجادل الناس حول حساء حار ومعقد (الأمثلة المتنازع عليها). ولأن الدفتر صغير ولأن الطاهي يركز بشدة على السلطة، فإنه يبدأ في مسح الملاحظات المتعلقة بالحساء لإفساح المجال لمزيد من تفاصيل السلطة.
النتيجة: بحلول نهاية الأسبوع، يصنع الطاهي أفضل سلطة في العالم، لكنه نسي تماماً كيفية صنع الحساء، أو الأسوأ من ذلك، أنه يبدأ في صنع الحساء بشكل أسوأ مما كان عليه في اليوم الأول.

في المقابل، إذا كان لدى الطاهي سبورة بيضاء ضخمة (الضبط الدقيق الكامل)، فبإمكانه كتابة وصفة السلطة ووصفة الحساء جنباً إلى جنب دون الحاجة لمسح إحداهما لكتابة الأخرى.

4. الفرق بين "المُشفّر" (Encoder) و"المُفكك" (Decoder)

اختبر الباحثون أنواعاً مختلفة من "أدمغة" الذكاء الاصطناعي.

المُشفّرات (Encoders) (مثل BERT): هي مثل الطلاب المتميزين في القراءة وفهم النصوص. أظهروا تأثير "إلغاء التعلم"، لكنه كان أخف وطأة.
المُفككات (Decoders) (مثل Qwen): هي مثل الطلاب المتميزين في توليد النصوص. أظهروا تأثير "إلغاء التعلم" بشكل أقوى بكثير. عندما استخدمت هذه النماذج الدفتر الصغير، فقدت القدرة على التعامل مع الأمثلة المثيرة للجدل بشكل أسرع من غيرها.

5. لماذا يجب أن نهتم؟

هذا أمر بالغ الأهمية لأي شخص يستخدم الذكاء الاصطنا اليوم.

الفخ: نحن غالباً ما نستخدم LoRA لأنها رخيصة وسريعة. لكن هذه الورقة تحذرنا: إذا كانت بياناتك فوضوية أو مثيرة للجدل، فقد يجعل LoRA نموذجك أسوأ في التعامل مع تلك الفوضى. قد يجعله واثقاً ولكنه مخطئ في الأمور الصعبة.
الحل: إذا كنت تتعامل مع بيانات يختلف عليها البشر (مثل التشخيصات الطبية، أو اكتشاف المحتوى السام، أو القضايا الاجتماعية الحساسة)، فقد تحتاج إلى استخدام "دفتر" أكبر (رتبة LoRA أعلى) أو طريقة تدريب مختلفة تماماً للتأكد من أن النموذج لا "يلغي تعلم" الحقائق الصعبة.

الملخص

باخت-الكلمة: عندما تحصر ذكاءً اصطناعياً في وضع تدريب صغير وفعال (LoRA)، فإنه يصبح متخصصاً يتجاهل الأجزاء الفوضوية والمثيرة للجدل من الواقع. يصبح جيداً جداً في الحقائق السهلة والمتفق عليها لدرجة أنه يبدأ فعلياً في الفشل في الأمثلة الصعبة والغامضة.

تقدم لنا الورقة طريقة جديدة للتنبؤ بالضبط بالأمثلة التي سيعاني معها الذكاء الاصطناعي، وذلك بمجرد النظر في مدى اختلاف البشر حولها.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "إنتروبيا التوسيم تتنبأ بديناميكيات التعلم لكل مثال في الضبط الدقيق باستخدام LoRA."

١. بيان المشكلة

تتعلم الشبكات العصبية عادةً أمثلة التدريب بترتيب ثابت، حيث تكتسب الأمثلة "السهلة" قبل "الصعبة". تعتمد الطرق الحالية لتحليل ديناميكيات التدريب (مثل "خرائط بيانات الكارتوغرافيا" - Dataset Cartography) على مقاييس داخلية مستمدة من إحصائيات النموذج الخاصة (الثقة، التباين) لتحديد الصعوبة. ومع ذلك، فإن هذه المقاييس دائرية، لأنها مشتقة من عملية التدريب نفسها التي تسعى لشرحها.

علاوة على ذلك، بينما تُستخدم طرق الضبط الدقيق الفعال للمعلمات (PEFT) مثل LoRA (التكيف منخفض الرتبة) على نطاق واسع، إلا أن مسارات التعلم لكل مثال تحت قيود رتبة LoRA لا تزال غير مستكشفة. يتساءل المؤلفون:
١. هل يمكن لمقياس خارجي للغموض (إنتروبيا التوسيم) التنبؤ بترتيب التعلم؟
٢. هل تتغير ديناميكيات التعلم نوعياً تحت ظروف LoRA مقارنة بالضبط الدقيق الكامل، خاصة بالنسبة للأمثلة ذات الخلاف العالي بين الموثقين؟

٢. المنهجية

البيانات وإنتروبيا التوسيم

البيانات: تستخدم الدراسة مجموعات فرعية من ChaosNLI (المشتقة من SNLI وMNLI)، والتي توفر ١٠٠ توسيم مستقل لكل مثال.
المقياس: يحسب المؤلفون إنتروبيا التوسيم ( $H_i$ ) لكل مثال بناءً على توزيع الـ ١٠٠ تسمية.
- $H_i = -\sum p_{i,c} \log p_{i,c}$ ، حيث $p_{i,c}$ هو كسر الموثقين الذين اختاروا الفئة $c$ .
- تُصنف الأمثلة إلى ثلاث مجموعات: نظيفة (إنتروبيا منخفضة، إجماع قوي)، غامضة (خلاف متوسط)، ومتنازع عليها (إنتروبيا عالية، توزيعات متساوية تقريباً أو منقسمة).
الحقيقة الأرضية (Ground Truth): على عكس الأعمال السابقة التي تستخدم ثقة النموذج، يستخدم هذا النهج توزيع التوسيم البشري الخارجي كحقيقة أرضية للغموض.

الإعداد التجريبي

النماذج: تم اختبار ستة نماذج:
- المشفرات (Encoders): RoBERTa-base، BERT-base، DistilBERT، DeBERTa v3-base.
- المفككات (Decoders): Qwen2.5-1.5B، Qwen2.5-3B.
تكوينات التدريب:
- LoRA: تم تطبيقه برتب $r \in \{4, 16\}$ (مع مسح يصل إلى $r=32$ لبعض النماذج).
- الضبط الدقيق الكامل (Full FT): استُخدم كحد أقصى للسعة.
- PEFT بديل: تم اختبار محولات IA3 للمقارنة.
مقياس ديناميكيات التعلم: بدلاً من "أحداث النسيان" المنفصلة، يستخدم المؤلفون المساحة تحت منحنى الخسارة (AULC) وتغير الخسارة ( $\Delta \ell$ ) من بداية التدريب إلى نهايته.
- يشير AULC المنخفض إلى تعلم أسرع.
- يشير $\Delta \ell$ الموجب إلى "إلغاء التعلم" (un-learning) (زيادة الخسارة بمرور الوقت).

التحليل

يربط التحليل الأساسي بين إنتروبيا التوسيم ( $H$ ) وبين AULC باستخدام ارتباط رتب سبيرمان ( $\rho$ ). كما يقومون بإجراء ضوابط الارتباط الجزئي (التحكم في طول الجملة وهوية التسمية الذهبية) وتجارب حقن الضوضاء.

٣. المساهمات الرئيسية

١. اكتشاف "إلغاء التعلم" في LoRA: تحدد الورقة نمطاً نوعياً حيث تظهر الأمثلة المتنازع عليها (إنتروبيا التوسيم العالية) زيادة في الخسارة أثناء تدريب LoRA. ظاهرة "إلغاء التعلم" هذه غائبة إلى حد كبير في الضبط الدقيق الكامل وفي IA3.
٢. القدرة التنبؤية الخارجية: تعد إنتروبيا التوسيم متنبئاً قوياً لديناميكيات تعلم كل مثال عبر ستة معماريات نماذج مختلفة ومجموعتي بيانات. الارتباط إيجابي في جميع الحالات الـ ٢٥ المختبرة.
٣. تدرج الرتبة والمعمارية:
* يتدرج الارتباط بين الإنتروبيا وصعوبة التعلم طردياً مع رتبة Lo ( $r=4 < r=16 < \text{Full FT}$ ).
* تظهر النماذج التي تعتمد على المفككات (Decoder-only) ارتباطات أقوى ( $\rho \approx 0.35\text{--}0.42$ ) من نماذج المشفرات عند نفس الرتبة.
٤. الرؤية الميكانيكية: يتم دفع "إلغاء التعلم" بواسطة قيد الفضاء الفرعي منخفض الرتبة، وليس بسبب تنافس اتجاه التدرج. على الرغم من وجود توافق عالٍ في التدرج بين الأمثلة النظيفة والمتنازع عليها، إلا أن محول LoRA لا يستطيع تلبية تضاريس الخسارة لكليهما في آن واحد، مما يفرض مقايضة تصب في مصلحة الأنماط ذات الإجماع العالي على حساب الأمثلة المتنازع عليها.

٤. النتائج الرئيسية

قوة الارتباط: ارتباط رتب سبيرمان ( $\rho$ $ρ$ ) بين إنتروبيا التوسيم وAULC إيجابي في جميع الظروف ( $0.06 \le \rho \le 0.43$ $0.06 \leq ρ \leq 0.43$ ).
- المفككات: ارتباطات أقوى (مثلاً Qwen 3B LoRA $r=16$ : $\rho = 0.422$ ).
- المشفرات: ارتباط معتبر ولكنه أقل قليلاً (مثلاً RoBERTa LoRA $r=4$ : $\rho = 0.308$ ).
- الضبط الدقيق الكامل (Full FT): تظل الارتباطات إيجابية ولكن النمط النوعي لـ "إلغاء التعلم" يختفي؛ حيث تنخفض الخسارة لجميع الفئات.
تكميم إلغاء التعلم:
- تحت ظروف LoRA، تظهر الأمثلة المتنازع عليها $\Delta \ell$ موجباً ثابتاً (زيادة في الخسارة). بالنسبة لـ RoBERTA ( $r=4$ )، زادت خسارة الأمثلة المتنازع عليها بمقدار $+0.170$ ، بينما انخفضت خسارة الأمثلة النظيفة بمقدار $-0.586$.
- تحت ظروف Full FT، تظهر كلتا الفئتين انخفاضاً في الخسة.
- تحت ظروف IA3، أظهرت الأمثلة المتنازع عليها تغيراً قريباً من الصفر في الخسارة ( $\Delta \ell \approx -0.003$ )، مما يشير إلى عدم وجود إلغاء للتعلم.
المتانة:
- تتكرر التأثيرات عبر البذور العشوائية ومجموعات البيانات (SNLI وMNLI، وإن كان التأثير أضعف في MNLI بسبب تنوع الأنواع).
- تؤكد ضوابط الارتباط الجزئي أن العلاقة ليست مدفوعة بطول الجملة أو عدم توازن الفئات.
- حقن الضوضاء: أدى استبدال التسميات النظيفة بضوضاء عشوائية إلى زيادة AULC للأمثلة النظيفة، مما يشير إلى أن هيكل الخلاف في التسميات يشكل ديناميكيات التعلم مباشرة.
تحليل التدرج: على عكس المتوقع، تظل التدرجات للأمثلة النظيفة والمتنازع عليها متوافقة للغاية ( $\cos \theta \approx 0.80$ ) تحت ظروف LoRA، بينما ينخفض التوافق بشكل كبير تحت ظروف Full FT. يشير هذا إلى أن العائق هو سعة الفضاء الفرعي منخفض الرتبة لتمثيل تضاريس الخسارة المتعارضة، وليس صراعاً في اتجاه التدرج.

٥. الأهمية والآثار المترتبة

رؤية نظرية: تتحدى الورقة الافتراض القائل بأن التكيف منخفض الرتبة ببساطة "يتعلم أقل وينسى أقل" (كما اقترحت أعمال سابقة). بدلاً من ذلك، تكشف أن LoRA يمكن أن تُلغي تعلم البيانات الغامضة بنشاط أثناء تخصصها في الأنماط عالية الثقة.
أداة تشخيصية: تعمل إنتروبيا التوسيم كحقيقة أرضية خارجية مستقلة عن النموذج لتشخيص ديناميكيات التدريب، مما يكمل الإحصائيات الداخلية للنموذج.
إرشادات عملية:
- اختيار الرتبة: بالنسبة للمهام ذات الغموض المتأصل العالي (مثل التشخيص الطبي أو كشف السمية)، قد يكون استخدام LoRA برتبة منخفضة ( $r=4$ ) غير فعال. قد تكون الرتب الأعلى أو الضبط الدقيق الكامل ضروريين للحفاظ على التعلم في الأمثلة المتنازع عليها.
- دوال الخسارة: قد يؤدي استخدام "الاعتراض التقاطعي" (Cross-entropy) القياسي مع تسميات أغلبية الأصوات إلى تفاقم عملية إلغاء التعلم في البيانات الغامضة. يقترح المؤلفون استكشاف دوال خسارة تأخذ في الاعتبار عدم اليقين في التسمية (مثل التسميات الناعمة/Soft labels).
- المراقبة: يمكن أن يعمل تتبع مسارات خسارة كل مثال كأداة تشخيصية في الوقت الفعلي للكشف عن إلغاء التعلم في سيناريوهات PEFT.

باختصار، توضح هذه الدراسة أن قيد الرتبة في LoRA يخلق ديناميكية تنافسية حيث يعطي النموذج الأولوية للأمثلة "النظيفة"، مما يؤدي فعلياً إلى تدهور الأداء في الأمثلة "المتنازع عليها"، وهي ظاهرة يمكن التنبؤ بها عبر إنتروبيا التوسيم الخارجية وتختلف عن سلوك الضبط الدقيق الكامل القياسي.