An Artifact Audit of Budget-Dependent LoRA Rank Comparisons

في عالم الذكاء الاصطناعي، واجه الباحثون لفترة طويلة معضلة: كيف يمكن تعليم نماذج حاسوبية ضخمة ومُدربة مسبقاً مهاماً جديدة ومحددة دون التكلفة الباهظة لإعادة تدريبها من الصفر. الحل الذي أصبح معياراً هو تقنية تسمى "التكيف منخفض الرتبة"، أو ما يعرف بـ LoRA. تخيل مكتبة ضخمة حيث يمثل كل كتاب قطعة من المعرفة التي تعلمها الحاسوب. وبدلاً من إعادة كتابة المكتبة بأكملها لإضافة بعض الحقائق الجديدة، يقوم المهندسون بإدراج ملاحظات صغيرة ومرنة في الهوامش. هذه الملاحظات هي "المهايئات" (adapters)، وهي أقل تكلفة بكثير في الكتابة والتخزين من الكتب نفسها. وهناك إعداد رئيسي في هذه العملية هو "الرتبة" (rank)، والتي تعمل مثل قرص تحكم يحدد مدى كبر وتعقيد هذه الملاحظات. وكان الافتراض الشائع هو أن القرص الأكبر، الذي يسمح بملاحظات أكبر، يجب أن يوفر دائماً مرونة ونتائج أفضل، بشرما أن يُمنح الحاسوب الوقت الكافي لقراءتها.

ومع ذلك، فإن دراسة حديثة من جامعة شنغهاي ديانجي تتحدى هذا الافتراض البسيط من خلال النظر عن كثب في كيفية حساب "الوقت" أو "الميزانية" المخصصة للتعلم فعلياً. فقد اكتشف الباحثون أنه عندما ترتبط القواعد المتعلقة بمقدار الوقت الذي يحصل عليه النموذج بحجم الملاحظات، يمكن أن تكون النتائج مضللة تماماً. وجدوا أن نظاماً صُمم ليكون عادلاً قد عاقب الملاحظات الأكبر والأكثر تعقيداً بمنحها وقتاً ضئيلاً جداً للتعلم، بينما حصلت الملاحظات الأصغر على وقت هائل. وعندما صحح الباحثون هذا الخلل، انقلبت النتائج تماماً، مما أثبت أن التفوق الظاهري للملاحظات الأصغر كان وهماً خلقته قواعد التجربة، وليس الملاحظات نفسها.

تبدأ القصة بمجموعة من التجارب الحاسوبية التي أُجريت بالفعل. اختبرت هذه التجارب الأصلية أربعة أحجام مختلفة لهذه "الملاحظات" — رتب 2، 8، 16، و64 — في مهمة تتعلق بتصنيف مراجعات الأفلام كإيجابية أو سلبية. وقد وضع الباحثون قاعدة لضمان العدالة: فقد اعتقدوا أنه بما أن الملاحظة الأكبر تحتوي على معلومات أكثر للمعالجة، فيجب منحها خطوات أقل للتعلم، بينما تُمنح الملاحظة الأصغر خطوات أكثر. استندت هذه القاعدة إلى فكرة رياضية مفادها أن الجهد الإجمالي يجب أن يظل ثابتاً. وفي الممارسة العملية، كان هذا يعني أن أصغر ملاحظة، الرتبة 2، سُمح لها باتخاذ 682 خطوة للتعلم، بينما سُمح للرتبة 64، وهي الأكبر، بخطوة واحدة فقط.

وعند فحص نتائج هذه التشغيلات الأصلية، بدت الملاحظة الأصغر هي الفائزة بوضوح. فقد حقق نموذج الرتبة 2 دقة اختبار بلغت حوالي 74 بالمائة، بينما سجل نموذج الرتبة 64، الذي مُنح خطوة واحدة فقط، حوالي 51 بالمائة. ووقعت الأحجام الأخرى بينهما، مما خلق نمطاً يبدو فيه أن الملاحظات الأصغر تؤدي بشكل أفضل. للوهلة الأولى، أشار هذا إلى أن إبقاء الملاحظات صغيرة هو سر النجاح. لكن الباحثين اشتبهوا في أن النتيجة لم تكن تتعلق بحجم الملاحظات على الإطلاق، بل بالفرق الهائل في مقدار الوقت المسموح به لكل منها للتعلم.

ولاختبار هذا الاشتباه، أجرى الفريق مجموعة جديدة من التجارب المصممة لفصل حجم الملاحظات عن الوقت الممنوح لها. حافظوا على نفس المهمة ونفس النموذج الحاسوبي ولكنهم غيروا القواعد. أولاً، أعادوا تشغيل التجارب باستخدام القاعدة الأصلية، ولكن هذه المرة ضمنوا أن الظروف الأولية لم تكن مرتبطة عرضياً بحجم الملاحظة. كانت النتيجة هي نفسها: لا تزال الملاحظة الصغيرة هي الفائزة، بمتوسط دقة 77 بالمائة، بينما سجلت الملاحظة الكبيرة، التي ظلت مقيدة بخطوة واحدة، متوسط 50 بالمائة فقط. أكد هذا أن النتيجة الأصلية كانت قابلة للتكرار تحت تلك القواعد المحددة، لكنها لم تثبت أن الملاحظات الصغيرة أفضل بطبيعتها.

جاء الاختبار الحاسم عندما غير الباحثون القاعدة لمنح كل حجم ملاحظة نفس مقدار الوقت بالضبط: 42 خطوة. هذه المرة، انعكس الموقف بشكل دراماتيكي. فالملاحظة الكبيرة، الرتبة กำลัง 64، التي كانت تعاني من نقص شديد في التدريب سابقاً، قفزت لتصل دقتها إلى 78 بالمائة، لتصبح الأفضل أداءً. وفي الوقت نفسه، انخفضت الملاحظة الصغيرة، الرتبة 2، إلى 58 بالمائة. كما اختبر الباحثون ذلك على شرائح مختلفة من البيانات وحتى على مجموعة بيانات مختلفة حول مواضيع إخبارية، وظل النمط صحيحاً في كل مرة. عندما مُنحت الملاحظة الكبيرة خطوة واحدة فقط، كان أداؤها ضعيفاً؛ وعندما مُنحت 42 خطوة، كان أداؤها جيداً.

ولفهم ما كان يحدث بالضبط، نظر الباحثون في كيفية تحسن الملاحظة الكبيرة مع منحها مزيداً من الوقت. وجدوا أن الملاحظة الكبيرة قفزت بسرعة من درجة 49 بالمائة بخطوة واحدة إلى 64 بالمائة بـ 42 خطوة، ثم توقفت عن التحسن غالباً. في المقابل، استمرت الملاحظة الصغيرة في التحسن بثبات مع منحها مزيداً من الوقت، لتصل في النهاية إلى أفضل درجة لها وهي 74 بالمائة بعد 682 خطوة. وهذا كشف عن الآلية وراء الارتباك: القاعدة الأصلية حرمت الملاحظة الكبيرة من الوقت الذي تحتاجه للتعلم، بينما مُنحت الملاحظة الصغيرة وقتاً أكثر بكثير مما تحتاجه فعلياً. لم تكن الملاحظة الكبيرة تفشل بسبب كبرها؛ بل كانت تفشل لأنها لم تُدرب إلا بالكاد.

تخلص الدراسة إلى أن الملاحظة الأصلية — بأن الملاحظات الأصغر هي الأفضل — كانت نتاج طريقة محددة ومعيبة لقياس العدالة. فالقاعدة التي قللت عدد الخطوات للملاحظات الأكبر كانت قاسية للغاية، مما ترك النماذج الأكثر قدرة مع فرصة ضئيلة جداً للتعلم. ويؤكد الباحثون أن هذا لا يعني أن الملاحظات الكبيرة هي الأفضل دائماً، ولا يعني أن الملاحظات الصغيرة هي الأسوأ دائماً. بدلاً من ذلك، يوضح هذا أن ترتيب هذه النماذج يعتمد كلياً على كيفية تحديد ميزانية التعلم. إذا منحت نموذجاً كبيراً وقتاً قليلاً جداً، فسيبدو ضعيفاً. وإذا منحته وقتاً كافياً، يمكنه التفوق على النماذج الأصغر.

تعد هذه النتيجة بمثابة درس تحذيري لأي شخص يصمم تجارب لهذه النماذج الحاسوبية. فهي تشير إلى أن مقارنة أحجام النماذج المختلفة دون مراعاة دقيقة لكيفية السماح لكل منها بالتعلم يمكن أن تؤدي إلى استنتاجات خاطئة. إن الميزة الظاهرية لنموذج أصغر قد تكون ببساطة علامة على أن النموذج الأكبر لم يُمنح فرصة عادلة لإثبات نفسه. لم يدّع الباحثون أنهم حلوا مسألة أي حجم نموذج هو الأفضل لكل موقف، لكنهم أظهروا أن الإجابة ليست بسيطة مثل "الأصغر هو الأفضل". الأداء الحقيقي يعتمد على ضمان أن تكون المقارنة عادلة، وأن العدالة تتطلب منح كل نموذج الوقت الكافي لتعلم مهمته المحددة.