How Small Can You Go? A Controlled Study of LoRA Rank, Target Modules, and Quantization Trade-offs for Text-to-SQL on a 60M-Parameter Model

تخيل أن لديك دماغاً آلياً عملاقاً وذكياً للغاية، يعرف كل شيء تقريباً. إنه قوي جداً لدرجة أنه يستطيع كتابة القصص، وحل المسائل الرياضية، وحتى ترجمة اللغات. لكن هناك عقبة: هذا الدماغ ضخم وثقيل جداً لدرجة أنه يحتاج إلى حاسوب خارق ضخم ومكلف لتشغيله. الأمر يشبه محاولة قيادة شاحنة نقل كبيرة للذهاب إلى المتجر المجاور لشراء الحليب؛ فمعظم الناس لا يستطيعون تحمل تكلفة الوقود أو المرآب المخصص لشاحنة بهذا الحجم.

لقد وجد العلماء حيلة ذكية لإصلاح ذلك. بدلاً من بناء دماغ أصغر جديد من الصفر، يأخذون الدماغ العملاق ويعطونه "سترة تدريب" صغيرة وخفيفة الوزن. هذه السترة تعلم الدماغ كيفية القيام بمهمة محددة، مثل تحويل الجمل الإنجليزية إلى أوامر قواعد بيانات (SQL)، دون تغيير هيكل الدماغ بالكامل. يُسمى هذا الضبط الدقيق الفعال للمعلمات (Parameter-Efficient Fine-Tuning). فكر في الأمر كوضع حزام أدوات متخصص لمقاول عام؛ لا يحتاج المقاول لتعلم حرفة جديدة، بل يحتاج فقط إلى الأدوات المناسبة للمهمة المحددة.

ولكن هناك حيلة أخرى لتوفير المساحة: التكميم (Quantization). تخيل أن معرفة الدماغ العملاق مكتوبة على ألواح حجرية ضخمة وثقيلة. التكميم يشبه نحت تلك الألواح بعناقة لتحويلها إلى رقائق بلاستيكية خفيفة الوزن. المعلومات لا تزال موجودة، لكنها تشغل مساحة أقل بكافية. السؤال الكبير الذي يطرحه العلماء هو: إذا بدأنا بدماغ صغير، ما هو أصغر حجم يمكننا الوصول إليه لهذه السترات التدريبية والرقائق البلاستيكية قبل أن يبدأ الدماغ في نسيان كيفية أداء مهمته؟

---

تجربة "إلى أي مدى يمكننا التصغير؟" الكبرى

قرر باحثان مستقلان، ماهيندرا وأناغيم، الإجابة على هذا السؤال من خلال إجراء تجربة دقيقة ومنضبطة. لم يستخدموا دماغاً ضخماً بمليارات المعلمات (الذي سيكون مكلفاً جداً لاختبار كل الاحتمالات)، بل اختاروا نموذجاً محدداً وسهل الإدارة يتكون من 60 مليون معلمة يسمى T5-small. فكر في هذا النموذج كسيارة سيدان مدمجة وفعالة بدلاً من شاحنة نقل كبيرة. وقد كلفوه بمهمة محددة: ترجمة الأسئلة الإنجليزية إلى استعلامات SQL (اللغة التي تستخدمها قواعد البيانات للعثور على المعلومات) باستخدام مجموعة بيانات تسمى WikiSQL.

كان هدفهما هو تدوير ثلاثة "مقابض كفاءة" واحداً تلو الآخر لمعرفة مقدار الدقة التي سيفقدونها مقابل كل جزء من الذاكرة يوفرونه.

المقبض 1: حجم سترة التدريب (رتبة LoRA)

تحكم المقبض الأول في حجم "سترة التدريب" (المعروفة باسم LoRA). تخيل أن السترة تحتوي على عدد مختلف من الجيوب. السترة ذات الجيبين صغيرة جداً؛ أما السترة ذات الـ 32 جيباً فهي أكبر بكثير. اختبر الباحثون سترات تحتوي على 2، 4، 8، 16، و32 جيباً.

وجدوا شيئاً مفاجئاً: الأكبر ليس دائماً الأفضل.

• عندما زادوا الجيوب من 2 إلى 16، قفز أداء الروبوت بشكل كبير. فقد انتقل من الحصول على 38.6% من الإجابات الصحيحة إلى 59.6%.
• ومع ذلك، بمجرد وصولهم إلى 16 جيباً، لم يعد الإضافة مفيدة كثيراً. فالانتقال من 16 إلى 32 جيباً لم يرفع النتيجة إلا بنقطة واحدة بسيطة (لتصبح 60.4%).
• النتيجة: بالنسبة لهذه المهمة المحددة، كانت السترة ذات الـ 16 جيباً هي "النقطة المثالية". إضافة المزيد من الجيوب كان مجرد وزن إضافي دون فائدة حقيقية. لقد تعلم الروبوت بالفعل كل ما يحتاج لمعرفته.

المقبض 2: أين تضع السترة (الوحدات المستهدفة)

قرر المقبض الثاني أين توضع السترة على جسد الروبوت. للروبوت أجزاء مختلفة: بعض الأجزاء تتعامل مع "الانتباه" (التركيز على كلمات معينة)، وأخرى تتعامل مع طبقات "التغذية الأمامية" (معالجة المنطق).

• جربوا وضع السترة فقط على أجزاء "الاستعلام" (query) و"القيمة" (value) (وهي مناطق التركيز الأكثر أهمية).
• جربوا وضعها على نظام الانتباه بالكامل.
• جربوا إضافة أجزاء معالجة المنطق أيضاً.

النتيجة: كان من الأكثر كفاءة جعل السترة أكبر قليلاً (زيادة الرتبة إلى 16) بدلاً من لفها حول المزيد من أجزاء الروبوت. فتوسيع السترة لتغطية أجزاء إضافية من الجسم أعطى دقة إضافية ضئيلة جداً مقابل الوزن الزائد. كان مزيج "السترة ذات الـ 16 جيباً على مناطق التركيز" هو الأكثر كفاءة.

المقبض 3: مادة صنع الدماغ (التكميم)

غير المقبض الثالث مادة دماغ الروبوت من الحجر الثقيل (الدقة القياسية) إلى البلاستيك الخفيف (INT8 و NF4 quantization).

• النتيجة: كان هذا بمثابة نقطة تحول في الذاكرة. من خلال الانتقال إلى الرقائق البلاستيكية، خفضوا الذاكرة المطلوبة لتدريب الروبوت من 2.31 جيجابايت إلى 0.60 جيجابايت فقط. هذا يمثل انخفاضاً بنسبة 74%!
• المقايضة: انخفضت دقة الروبوت قليلاً، من 59.6% (مع الحجر الثقيل) إلى حوالي 53% (مع البلاستيك). ومع ذلك، لاحظ الباحثون أن هذا الانخفاض الطفيف في الدقة يستحق التوفير الهائل في المساحة. الأمر يشبه استبدال مقعد مريح قليلاً بسيارة تناسب مرآباً صغيراً جداً.

الحكم النهائي: نقطة باريتو المثالية (Pareto Sweet Spot)

قام الباحثون برسم جميع نتائجهم للعثور على "جبهة باريتو" (Pareto front) — وهي طريقة منمقة لقول "أفضل صفقة ممكنة". أرادوا أعلى دقة مقابل أقل تكلفة.

1. منطقة "غولدي لوكس" (المنطقة المثالية): أفضل توازن لمعظم الناس كان استخدام السترة ذات الـ 16 جيباً (رتبة LoRA 16) على مناطق التركيز مع الدماغ الحجري. حقق هذا الإعداد دقة 59.6% بينما استخدم 1.60 جيجابايت فقط من الذا_كرة، ودرب أقل من 1% من إجمالي دماغ الروبوت. لقد استعاد حوالي 83.7% من أداء الروبوت العميد المدرب بالكامل.
2. الخيار فائق الخفة: إذا كنت في موقف حيث تملك ذاكرة ضئيلة جداً (مثل العمل على هاتف قديم جداً)، فإن الدماغ البلاستيكي (NF4 quantization) مع السترة ذات الـ 8 جيوب كان هو الفائز. لقد استخدم 0.60 جيجابايت فقط من الذاكرة ولا يزال يحقق دقة 53.2%.

ماذا يعني هذا بالنسبة لك؟

تشير الورقة البحثية إلى أنه بالنسبة للنماذج الصغيرة التي تؤدي مهاماً محددة، فأنت لست بحاجة إلى المبالغة في هندسة الحل.

• لا تذهب إلى الصغر الشديد: السترة ذات الجيبين أو الأربعة جيوب ستترك الروبوت في حالة ارتباك.
• لا تذهب إلى الضخامة المفرطة: بمجرد وصولك إلى 16 جيباً، فأنت تضيع المساحة فحسب.
• لا تبالغ في التغطية: من الأفضل جعل السترة على الأجزاء الصحيحة أكبر قليلاً بدلاً من لفها حول جسم الروبوت بالكامل.

أجرى الباحثون هذه الاختبارات ثلاث مرات مع نقاط بداية عشوائية مختلفة للتأكد من أن النتائج لم تكن مجرد ضربة حظ. كانت النتائج متسقة: قاعدة "الـ 16 جيباً" صمدت في كل مرة. كما أشاروا إلى أنه بينما يعمل هذا بشكل رائع للأسئلة التي تتضمن جدولاً واحداً، فإننا لا نعرف بعد ما إذا كانت هذه القواعد تنطبق على الألغاز الأكثر صعوبة التي تتضمن جداول متعددة. ولكن في الوقت الحالي، إذا كنت تريد تشغيل روبوت ذكي بميزانية محدودة، فإن هذه الدراسة تعطيك وصفة واضحة وقابلة للتكرار: اجعل حجم السترة 16، وركز على الأجزاء الصحيحة، وإذا كنت مضطراً جداً لتوفير المساحة، فاستخدم الدماغ البلاستيكي.