Beyond Perplexity: A Geometric and Spectral Study of Low-Rank Pre-Training

ملخص تقني: ما وراء الـ Perplexity: دراسة هندسية وطيفية للتدريب المسبق منخفض الرتبة

بيان المشكلة
يواجه التدريب المسبق للنماذج اللغوية الكبيرة (LLMs) قيودًا تتعلق بتكاليف الذاكرة المرتبطة بتخزين الأوزان كاملة الرتبة، والتدرجات، وحالات المُحسِّن (optimizer states). وقد برز التدريب المسبق منخفض الرتبة كحل لتقليل هذه التكاليف، حيث تطورت الأساليب إلى ثلاث فئات: الأساليب القائمة على المُحسِّن (مثل GaLore وFira)، والأساليب القائمة على البنية (مثل CoLA وSLTrain)، والأساليب القائمة على المهايئ (مثل ReLoRA). ومع ذلك، لا يزال تقييم هذه الأساليب محدودًا؛ إذ تعتمد الممارسات الحالية بشكل شبه حصري على "الارتباك التحققي" (validation perplexity) من تجارب ذات بذرة واحدة (single-seed runs). ويجادل المؤلفون بأن الـ perplexity مؤشر ضعيف لجودة الحل؛ فالنماذج التي تمتلك نفس قيمة الـ perplexity قد تتقارب إلى مناطق مختلفة جوهريًا في مشهد الخسارة (loss landscape) ذات تمثيلات داخلية متباينة. علاوة على على ذلك، تفشل المقارنات الحالية غالبًا في التمييز بين مدى جودة ضبط نموذج مُدرب مسبقًا مقابل مدى جودة تعميم نموذج تم تدريبه مسبقًا باستخدام تلك الطريقة.

المنهجية
يقدم المؤلفون إطارًا تشخيصيًا لتوصيف الحلول التي تجدها خمس طرق للتدريب المسبق منخفض الرتبة (GaLore، Fira، CoLA، SLTrain، ReLoRA) مقابل التدريب كامل الرتبة عبر ثلاثة أحجام للنماذج (60 مليون، 130 مليون، 350 مليون بارامتر). تدرس الدراسة هذه الأساليب باستخدام 16 مقياسًا عبر أربعة أبعاد:

1. مشهد الخسارة أحادي البعد (الاتجاهات العشوائية): يقوم المؤلفون بإجراء اضطرابات لمعلمات النموذج على طول 100 اتجاه عشوائي لقياس متوسط وتباين خسارة التحقق. ويستخرجون مقاييس قياسية لـ الحدة (Sharpness) (معدل نمو الخسارة بعيدًا عن نقطة التفتيش) وتباين الاتجاه (Direction Variance) (تباين الخسارة/anisotropy).
2. مشهد الخسسة أحادي البعد (اتجاهات PCA العليا): يتم تطبيق الاضطرابات على طول الاتجاهات المفردة العليا لمصفوفات الأوزان لتحليل الهندسة على طول المحاور الأكثر أهمية.
3. الاستكمال أحادي البعد (1-D Interpolation): يقيس المؤلفون الخسارة على طول مسارات خطية بين نقاط التفتيش (checkpoints). ويقدمون مقياسين محددين:
   • ارتفاع حاجز نقاط التفتيش المتتالية (CCBH): يقيس الحاجز بين نقاط التفتيش المتتالية لنفس الطريقة.
   • ارتفاع حاجز ما بين الطرق (IMBH): مقياس مبتكر يحدد الفصل الهندسي بين طرق التدريب المختلفة عند نفس خطوة التدريب. ويكشف هذا ما إذا كانت الطرق المختلفة تتقارب نحو نفس الحوض (basin) أو نحو حلول متباينة هندسيًا.
4. المقاييس الطيفية والرتبة: تتبع الدراسة الهيكل الطيفي للأوزان والتحديثات، بما في ذلك الرتبة الفعالة (Effective Rank)، الرتبة المستقرة (Stable Rank)، الفجوة الطيفية (Spectral Gap)، ورتبة العتبة (Threshold Rank).
5. تشابه التنشيط (Activation Similarity): يقارن المؤلفون الحالات المخفية للنماذج منخفضة الرتبة مقابل النماذج المرجعية كاملة الرتبة باستخدام مسافة L2 للتنشيط، تشابه جيب التمام (Cosine Similarity)، والارتباط المتمركز للنوى (Linear CKA).

أخيرًا، يختبر المؤلفون ما إذا كانت هذه السمات الهندسية والطيفية يمكنها التنبؤ بالأداء في المهام اللاحقة (downstream zero-shot performance) بشكل أفضل من الـ perplexity وحدها، باستخدام الانحدار الخطي مع التحقق المتقاطع بنظام "ترك حجم واحد خارجًا" (LOSO) و"ترك طريقة واحدة خارجًا" (LOMO).

المساهمات الرئيسية

1. إطار تشخيصي: يقترح البحث مجموعة تقييم شاملة تتضمن مقي�s IMBH المبتكر، الذي يحدد الفصل الهندسي بين خوارزميات التدريب بدلاً من مجرد الفصل بين البذور أو العصور (epochs).
2. النتائج التجريبية عبر العائلات: تثبت الدراسة أن طرق التدريب منخفض الرتبة ليست مكافئة للتدريب كامل الرتبة ولا لبعضها البعض. وتشمل النتائج الرئيسية ما يلي:
   • الفصل الهندسي: تتقارب الطرق نحو أحواض متباينة هندسيًا، حيث ينمو مقياس IMBH بشكل رتيب مع تقدم التدريب.
   • البصمات الطيفية: يطابق GaLore الهيكل الطيفي لتحديثات كامل الرتبة عن كثب، بينما لا يفعل CoLA ذلك.
   • تباعد التمثيل: تتباعد تنشيطات النماذج منخفضة الرتبة بشكل متزايد عن كامل الرتبة في الطبقات المتأخرة. يظهر CoLA تنشيطات متعامدة، بينما يستعيد Fira المحاذاة فقط في الطبقة الأخيرة.
3. تحسين التنبؤ بالمهام اللاحقة: الـ perplexity للتحقق وحدها هي مؤشر غير مكتمل. إن تعزيز الـ perplexity بالسمات الهندسية والطيفية يحسن دقة التنبؤ بشكل كبير (ارتفع ارتباط بيرسون في LOSO من 0.873 إلى 0.913).
4. قاعدة كود موحدة: يطلق المؤلفون خط معالجة مفتوح المصدر يدمج التدريب المسبق، وحساب المقاييس، وتقييم المهام اللاحقة لتسهيل المزيد من الأبحاث.

النتائج

• هندسة مشهد الخسارة: يستقر التدريب كامل الرتبة في أحواض أكثر حدة (sharper) على طول الاتجاهات العشوائية، ولكن في أحواض أكثر تسطحًا (flatter) على طول اتجاه PCA الأول. وعلى العكس من ذلك، تتقارب الطرق منخفضة الرتبة مثل Fira وSLTrain نحو أحواض أكثر تسطحًا على طول الاتجاهات العشوائية، بينما تصل CoLA وReLoRA إلى الأحواض الأكثر حدة. يظهر GaLore ملفًا مختلطًا: مسطحًا بدرجة متوسطة على طول الاتجاهات العشوائية، ولكنه حاد على طول اتجاه PCA الأول الخاص به.
• حواجز ما بين الطرق: تشغل جميع الطرق أحواضًا متباينة هندسيًا. عند مقياس 60 مليون، يكون الحاجز بين كامل الرتبة وأي طريقة منخفضة الرتبة أعلى من الحواجز بين الطرق منخفضة الرتبة نفسها. يتقارب Fira نحو الحوض الأقرب هندسيًا إلى كامل الرتبة، بينما يظل SLTrain الأكثر عزلة.
• التحليل الطيفي: تهيمن طريقة كامل الرتبة على جميع مقاييس الرتبة. يتتبع GaLore هيكل كامل الرتبة عن كثب في الرتبة الفعالة والمستقرة، ولكنه يظهر فجوة طيفية أصغر. يعيد Fira وGaLore توزيع التوزيع الطيفي لتحديثات أوزان كامل الرتبة بأمانة أكبر.
• محاذاة التنشيط: يتتبع ReLoRA تمثيلات كامل الرتبة بشكل وثيق عبر جميع المقاييس. يظهر CoLA أكبر انحراف، حيث تصبح التنشيطات متعامدة مع النموذج المرجعي في الطبقات المتأخرة. يظهر Fira انحرافًا عاليًا في متوسط الطبقات، ولكنه يظهر انحرافًا منخفضًا بشكل مفاجئ في الطبقة الأخيرة.
• الأداء اللاحق: لا يتنبأ الـ perplexity للتحقق باستمرار بترتيب المهام اللاحقة. على سبيل المثال، يحقق Fira أقل قيمة perplexity في جميع المقاييس، ومع ذلك يتصدر CoLA عدة فئات لاحقة عند مقياسي 130 مليون و350 مليون رغم عدم تصدره لأعلى مراتب الـ perplex.

الأهمية
يخلص البحث إلى أن طرق التدريب المسبق منخفض الرتبة ليست تقريبات قابلة للتبادل مع التدريب كامل الرتبة؛ فهي تغير جوهريًا الحلول التي يتم الوصول إليها. وتوضح الدراسة أن الـ perplexity للتحقق توفر صورة غير كاملة لجودة النموذج. ومن خلال دمج المقاييس الهندسية والطيفية، يمكن للباحثين التنبؤ بالأداء اللاحق بشكل أفضل وفهم التحيزات الاستقرائية (inductive biases) المتميزة التي تفرضها استراتيجيات التدريب منخفض الرتبة المختلفة. يسلط العمل الضوء على أنه بينما تتقارب بعض الطرق (مثل Fira) نحو أحواض قريبة هندسيًا من كامل الرتبة، فإن طرقًا أخرى (مثل CoLA) تشغل وديانًا مختلفة، مما يشير إلى أن اختيار طريقة التدخل منخفض الرتبة يحدد المنطقة المحددة في مشهد الخسارة التي يسكنها النموذج.