24017 ورقة بحثية
تقترح هذه الورقة نماذج التأسيس الرسومية المتمحورة حول البنية (SCGFM)، وهي نهج مبتكر يعامل طوبولوجيا الرسم البياني كمصدر أساسي للمعرفة القابلة للنقل من خلال استخدام قواعد هندسية قابلة للتعلم ومحاذاة "غوروموف-واسرشتاين" للتغلب على عدم التجانس الهيكلي وعدم توافق الميزات، مما يحقق تعميماً فائقاً عبر مجالات الرسوم البيانية المتنوعة.
تقدم الورقة البحثية AAAC، وهي طريقة كمية ما بعد التدريب خفيفة الوزن تحقق ضغطاً فائقاً لأوزان النماذج اللغوية الكبيرة (LLMs) بدقة 4 بت عبر استخدام كتب رموز تكيفية مدركة للتنشيط لتقليل خطأ إعادة البناء مع عبء تخزين مهمل ووقت كمي أسرع بكثير مقارنة بالأساليب القائمة على التدرج.
تقدم هذه الورقة بنية "المزيج المتكرر المهيكل" (SRM)، وهي بنية مبتكرة تتيح التحويل الجبري بين التدريب المتوازي والاستدلال المتكرر لتحقيق كفاءة تدريب، وسعة معلوماتية، وإنتاجية استدلال متفوقة مقارنة بالنماذج الحالية ذات التعقيد الخطي، مع إظهار مكاسب كبيرة في الأداء في كل من المعايير القياسية ومهام التعلم المعزز.
تثبت هذه الورقة أن الانحيازات المعرفية، مثل أثر الأولوية والارتكاز، هي نتائج حتمية رياضياً لقصور المعالجة المتسلسلة في كل من نماذج الذكاء الاصطناعي ذات التوليد الذاتي والإدراك البشري، مما يبرهن من خلال البراهين النظرية والتحقق التجريبي على أن هذه الانحيازات تمثل استجابات عقلانية للموارد وليست مجرد أخطاء.
تتناول هذه الورقة التحدي الذي كان مستعصياً في السابق والمتمثل في التلاعب الدلالي العالمي عالي الدقة في ضغط الصور المتعلم عبر تحليل فشل الهجمات القياسية واقتراح طريقة PGD-GSM جديدة ذات جدول زمني لـ "الاضمحلال الهندسي الدوري" لتنفيذ مثل هذه الهجمات بنجاح.
تُظهر هذه الورقة أن الاختبارات المرجعية لفك تشفير JPEG أحادية الخيط تفشل في التنبؤ بأداء مُحمّل بيانات تعلم الآلة (ML DataLoader) في العالم الحقيقي عبر بنيات معالجات مختلفة، مما يكشف أن تكوينات العمال متعددة الخيوط وسلوكيات فك التشفير المحددة غالبًا ما تعكس ترتيبات الإنتاجية، وتبرز torchvision وsimplejpeg كأكثر الخيارات متانة لأعباء عمل PyTorch.
تُثبت هذه الورقة أنه من خلال تنظيم الهندسة الكامنة لنموذج عالم مُدرب مسبقاً لضمان السلاسة والانتظام، يمكن استيعاب التخطيط الموجه نحو الأهداف في خريطة ديناميكيات عكسية خفيفة الوزن، مما يحقق أداءً يضاهي أو يتفوق على طرق البحث التكراري مع تقليل التكاليف الحسابية بأكثر من 100 ضعف.
تقدم هذه الورقة SoftGAC، وهو خوارزمية ممثل-ناقد توليدية تستخدم سياسة جسر عشوائية لتمكين التحسين الأقصى للإنتروبيا بشكل قابل للتتبع عبر تمريرة أمامية واحدة، محققة أداءً تنافسياً في معايير التحكم المستمر مع تقليل تكاليف الاستدلال بشكل كبير مقارنة بالنماذج المرجعية الحالية للانتشار ومطابقة التدفق.
يُعد AdaPreLoRA مُحسِّنًا مبتكرًا لتقنية LoRA يعالج مشكلة التفرد في مسبق المترادفات للفضاء العاملي (factor-space preconditioner) عبر اعتماد مسبق مترادفات كرونيكر قطري (diagonal Kronecker preconditioner) قائم على Adafactor في فضاء الأوزان، واختيار تحديث عاملي ذي صيغة مغلقة يقلل من عدم التوازن المرجح بـ ، مما يحقق أداءً تنافسيًا عبر مختلف النماذج والمهام مع الحفاظ على انخفاض عبء الذاكرة.
تتقصى هذه الورقة بشكل منهجي التقليم الهيكلي وتقطير المعرفة لضغط نماذج خليط الخبراء (MoE) واسعة النطاق أثناء مرحلة ما قبل التدريب، مبرهنةً على أن التقليم يوفر تهيئة فائقة، وأن جداول الضغط التدريجية تتفوق على أساليب الخطوة الواحدة، وأن الجمع بين نمذجة اللغة وتقطير التنبؤ متعدد الرموز يحقق أداءً تنافسياً في نموذج أصغر حجماً بشكل ملحوظ.