25254 ورقة بحثية
تتقصى هذه الورقة الهجمات الداخلية في أنظمة إجماع النماذج اللغوية الكبيرة متعددة الوكلاء من خلال اقتراح إطار عمل قائم على نموذج عالمي يستخدم التعلم التعزيزي لتدريب وكيل خبيث على تأخير أو منع الاتفاق بين الوكلاء الحميدين بشكل فعال.
تقترح هذه الورقة دفاعاً ضد هجمات كسر الحماية متعددة المحاولات (many-shot jailbreak) عن طريق إلحاق نموذج توضيحي واحد للسلامة عند وقت الاستدلال، مما يعمل على مواجهة الانحراف الضمني في التنشيط الناتج عن الضبط الدقيق الخبيث واستعادة سلوك الرفض لدى النموذج دون الحاجة إلى تحديث المعلمات أو الوصول إلى الصندوق الأبيض.
تقترح هذه الورقة البحثية طريقة "Cosine-Aware Adaptive EWC"، وهي طريقة مبتكرة تعمل على ضبط التنظيم القائم على المعلمات ديناميكيًا للتغلب على المقايضة الاصطناعية بين معدل نجاح الهجوم ودقة النموذج في هجمات الباب الخلفي الخفية لنماذج تحويل النص إلى صورة، مما يحقق أداءً ومتانة فائقين مقارنة بالنماذج المرجعية الحالية.
تقدم هذه الورقة تشخيصًا بالحقن الطيفي يكشف أن حقول القوة العصبية المتكافئة، مثل NequIP، تظهر "سقفًا طيفيًا" حادًا حيث تنهار قدرتها على استعادة الترددات الزاوية فجأة وراء حد نظري محدد بضرب الدرجة القصوى للعمود الفقري في درجة كثير الحدود لشبكة التنبؤ.
تجادل هذه الورقة بأن تطبيقات الشبكات العصبية الرسومية الناجحة في أتمتة التصميم الإلكتروني تتطلب مواءمة بنيات حوسبية محددة مع الهياكل الجبرية الأصلية لمهام الدوائر المتميزة، مثل تكرارات "ماكس-بلس" لتحليل التوقيت والأنظمة الخطية لتحليل هبوط الجهد (IR drop)، بدلاً من الاعتماد على نهج تعلم رسومي عام.
تقدم الورقة البحثية Hi-MoE، وهو إطار عمل هرمي لخليط من الخبراء (Mixture-of-Experts) يستخدم استراتيجية تحسين ثنائية المراحل لفرض توازن الحمل بين المجموعات وتخصص الخبراء داخل كل مجموعة في آن واحد، مما يؤدي إلى حل المقايضة بين استقرار التوجيه والتنوع مع تحقيق تحسينات كبيرة في الأداء مقارنة بالنماذج المرجعية الحالية.
تكشف هذه الورقة أن نماذج التعلم في السياق مقيدة ميكانيكيًا بمعاملة الرموز الموضحة كقاموس شامل، مما يؤدي إلى انهيار الدقة عندما تُملأ خانات التسمية برموز متجانسة أو حتى رموز صالحة دلاليًا، وهي ظاهرة تتركز في دوائر عصبية محددة تتجاوز الفهم الدلالي عبر استرجاع الرموز القائم على التنسيق.
تؤسس هذه الورقة إطاراً نظرياً يثبت أن إدراج الكتل المتبقية (residual blocks) في الشبكات المنظمة يحسن من مخاطر الاختبار بشكل مبرهن، وذلك عبر تفكيك فائدة القياس إلى مكاسب تمثيلية ناتجة عن نموذج "لوحة القفز" (jumpboard) ذي المخاطر الأدنى، وتعميم مضبوط عبر حدود تعقيد رادماخر (Rademacher complexity) القائمة على المعيار.
تتقصى هذه الورقة البحثية التمثيلات العصبية الضمنية (INRs) المدربة على دفعات من خلال تحديد أن الطبقة المثلى للتجميد تقابل أعلى رتبة استقرار للوزن، والكشف، من خلال تحليل المشفّر التلقائي المتناثر، عن أن نماذج SIREN وMLPs ذات الميزات الفورية تشفر تمثيلات مختلفة جوهرياً — بلاطات إحداثيات موضعية مقابل خطوط كفاف ممتدة عبر الصورة — مما يوفر أول فهم ميكانيكي للتمثيلات القابلة للنقل في الـ INRs.
تقدم هذه الورقة البحثية وتقيم تسلسلاً هرمياً لاستراتيجيات إعادة كتابة استعلامات استرجاع الكود القائمة على النماذج اللغوية الكبيرة، حيث تُظهر أنه في حين أن إعادة كتابة الاستعلام والمدونة باللغة الطبيعية الكاملة تعزز الأداء بشكل كبير للمشفرات خفيفة الوزن، إلا أن فوائدها تعتمد على السياق ويمكن التنبؤ بها من خلال مقياس جديد لإنتروبيا الرموز (Delta H) لتحسين المقايضة بين التكلفة والفائدة لإعادة الكتابة.