Finite-Size Gradient Transport in Large Language Model Pretraining: From Cascade Size to Intensive Transport Efficiency
تقدم هذه الورقة إطار عمل لنقل التدرج ذي الحجم المحدود باستخدام خمسة مقاييس ملحوظة لتحليل قياسات التدرج الخام من نماذج Pico-LM وPythia، كاشفةً أنه بينما يتشاركان في هيكل أساسي لحجم الشلال يقترب من الواحد الصحيح، إلا أنهما يشغلان أنظمة نقل متميزة ذات سلوكيات قياس مختلفة في المدة والكفاءة المكثفة ترتبط بالأداء الخارجي.