23915 ورقة بحثية
تقدم الورقة البحثية AAAC، وهي طريقة كمية ما بعد التدريب خفيفة الوزن تحقق ضغطاً فائقاً لأوزان النماذج اللغوية الكبيرة (LLMs) بدقة 4 بت عبر استخدام كتب رموز تكيفية مدركة للتنشيط لتقليل خطأ إعادة البناء مع عبء تخزين مهمل ووقت كمي أسرع بكثير مقارنة بالأساليب القائمة على التدرج.
تقدم هذه الورقة بنية "المزيج المتكرر المهيكل" (SRM)، وهي بنية مبتكرة تتيح التحويل الجبري بين التدريب المتوازي والاستدلال المتكرر لتحقيق كفاءة تدريب، وسعة معلوماتية، وإنتاجية استدلال متفوقة مقارنة بالنماذج الحالية ذات التعقيد الخطي، مع إظهار مكاسب كبيرة في الأداء في كل من المعايير القياسية ومهام التعلم المعزز.
تثبت هذه الورقة أن الانحيازات المعرفية، مثل أثر الأولوية والارتكاز، هي نتائج حتمية رياضياً لقصور المعالجة المتسلسلة في كل من نماذج الذكاء الاصطناعي ذات التوليد الذاتي والإدراك البشري، مما يبرهن من خلال البراهين النظرية والتحقق التجريبي على أن هذه الانحيازات تمثل استجابات عقلانية للموارد وليست مجرد أخطاء.
تتناول هذه الورقة التحدي الذي كان مستعصياً في السابق والمتمثل في التلاعب الدلالي العالمي عالي الدقة في ضغط الصور المتعلم عبر تحليل فشل الهجمات القياسية واقتراح طريقة PGD-GSM جديدة ذات جدول زمني لـ "الاضمحلال الهندسي الدوري" لتنفيذ مثل هذه الهجمات بنجاح.
تُظهر هذه الورقة أن الاختبارات المرجعية لفك تشفير JPEG أحادية الخيط تفشل في التنبؤ بأداء مُحمّل بيانات تعلم الآلة (ML DataLoader) في العالم الحقيقي عبر بنيات معالجات مختلفة، مما يكشف أن تكوينات العمال متعددة الخيوط وسلوكيات فك التشفير المحددة غالبًا ما تعكس ترتيبات الإنتاجية، وتبرز torchvision وsimplejpeg كأكثر الخيارات متانة لأعباء عمل PyTorch.
تُثبت هذه الورقة أنه من خلال تنظيم الهندسة الكامنة لنموذج عالم مُدرب مسبقاً لضمان السلاسة والانتظام، يمكن استيعاب التخطيط الموجه نحو الأهداف في خريطة ديناميكيات عكسية خفيفة الوزن، مما يحقق أداءً يضاهي أو يتفوق على طرق البحث التكراري مع تقليل التكاليف الحسابية بأكثر من 100 ضعف.
تقدم هذه الورقة SoftGAC، وهو خوارزمية ممثل-ناقد توليدية تستخدم سياسة جسر عشوائية لتمكين التحسين الأقصى للإنتروبيا بشكل قابل للتتبع عبر تمريرة أمامية واحدة، محققة أداءً تنافسياً في معايير التحكم المستمر مع تقليل تكاليف الاستدلال بشكل كبير مقارنة بالنماذج المرجعية الحالية للانتشار ومطابقة التدفق.
يُعد AdaPreLoRA مُحسِّنًا مبتكرًا لتقنية LoRA يعالج مشكلة التفرد في مسبق المترادفات للفضاء العاملي (factor-space preconditioner) عبر اعتماد مسبق مترادفات كرونيكر قطري (diagonal Kronecker preconditioner) قائم على Adafactor في فضاء الأوزان، واختيار تحديث عاملي ذي صيغة مغلقة يقلل من عدم التوازن المرجح بـ ، مما يحقق أداءً تنافسيًا عبر مختلف النماذج والمهام مع الحفاظ على انخفاض عبء الذاكرة.
تتقصى هذه الورقة بشكل منهجي التقليم الهيكلي وتقطير المعرفة لضغط نماذج خليط الخبراء (MoE) واسعة النطاق أثناء مرحلة ما قبل التدريب، مبرهنةً على أن التقليم يوفر تهيئة فائقة، وأن جداول الضغط التدريجية تتفوق على أساليب الخطوة الواحدة، وأن الجمع بين نمذجة اللغة وتقطير التنبؤ متعدد الرموز يحقق أداءً تنافسياً في نموذج أصغر حجماً بشكل ملحوظ.
تقدم هذه الورقة "الأبعاد السببية" (كابا) كمقياس جوهري للنموذج يحدد الرتبة الفعالة للتأثير السببي لطبقة المحول (transformer)، مما يكشف أنه بينما تتوسع القدرة التمثيلية خطياً مع عرض المشفّر التلقائي المتناثر (sparse autoencoder)، فإن القدرة السببية تتشبع عند مستوى دون خطي يظل ثابتاً تجاه حجم النموذج ويظهر أنماطاً هيكلية متميزة عبر عمق الشبكة.