11434 ورقة بحثية
تقدم هذه الورقة شبكات التنبؤ المرتكزة (GPN)، وهي بنية تكرارية أحادية الطبقة تحقق أداءً تنافسياً في نمذجة اللغة من خلال إعادة زيارة متجه حالة واحد عند كل خطوة، مما يقدم بديلاً مستوحىً بيولوجياً للنماذج العميقة المتراكمة مع تمكين الفحص الهندسي المباشر لديناميكيات ذاكرتها الداخلية.
تقدم هذه الورقة البحثية تقنية "Gated Cropped Attention-Delta" (GCAD)، وهي طريقة مبتكرة لتوجيه التنشيط تعمل على تخفيف تلوث ذاكرة الـ KV-cache في الحوارات المستمرة عبر استخراج وتنسيق إشارات التوجيه من مساهمات "البرومبت النظامي" (system-prompt) في آلية الانتباه الذاتي، مما يؤدي إلى تحسين التماسك طويل الأمد بشكل كبير مع الحفاظ على التحكم في الشخصية.
تجادل هذه الورقة بأن معالجة اللغات الطبيعية المستدامة للموارد المنخفضة تتطلب نهجاً تكميلياً يجمع بين النقل عبر اللغات والجهود الخاصة بكل لغة، مستعرضةً من خلال دراسة حالة اللغة اللوكسمبورغية أن النماذج متعددة اللغات تحتاج إلى بيانات مستهدفة عالية الجودة ومتوافقة مع المهام للوصول إلى كامل إمكاناتها.
تُثبت هذه الورقة أن مجموعات من وكلاء الذكاء الاصطناعي المتوافقين فردياً يمكن أن تنحرف جماعياً نحو حالات مستقرة من عدم التوافق بسبب ديناميكيات الامتثال، مما يكشف أن ضمانات السلامة الفردية لا تضمن السلامة الجماعية ويسلط الضوء على خطر نقاط التحول غير القابلة للانعكاس المدفوعة بالتأثير الاجتماعي.
تقدم هذه الورقة البحثية RACER، وهو إطار عمل توجيهي تكيفي قوي يختار ديناميكيًا بين أحكام النماذج اللغوية الكبيرة (LLMs) القائمة على الاستنتاج وغير القائمة عليه تحت ميزانية ثابتة من خلال حل مسألة تحسين متينة توزيعيًا، مما يحقق مقايضات فائقة بين الدقة والتكلفة مع مراعاة التحولات في التوزيع.
تقدم الورقة البحثية إطار عمل SLIM، وهو إطار عمل جاهز للتشغيل (plug-and-play) يعزز تحرير الجزيئات الموجه بالخصائص في النماذج اللغوية الكبيرة عبر تفكيك الحالات الخفية إلى سمات متفرقة وقابلة للتفسير بواسطة مُشفّر تلقائي متفرع (Sparse Autoencoder)، مما يتيح توجيهاً دقيقاً يحسن معدلات نجاح التحرير بشكل كبير دون تعديل معاملات النموذج.
تقدم الورقة البحثية DISCA، وهي طريقة تعتمد على الاستدلال في وقت التشغيل، وهي طريقة "الصندوق الأسود" التي لا تتطلب تدريباً، وتعمل على مواءمة النماذج اللغوية الكبيرة مع التفضيلات الثقافية المتنوعة من خلال الاستفادة من الخلافات في الشخصيات القائمة على مسح القيم العالمي لتصحيح مخرجات النموذج دون الحاجة إلى ضبط دقيق.
تقدم هذه الورقة نماذج اللغة ذاتية التحسين (SOL)، وهو إطار عمل يربط نموذج لغة كبير مجمد بشبكة سياسة خفيفة الوزن لتخصيص ميزانيات حوسبة متغيرة لكل رمز ديناميكيًا عبر ضبط التشتت، والتقليم، والكمية، مما يحسن جودة وكفاءة الاستدلال بشكل كبير مقارنة باستراتيجيات التخصيص الثابتة.
يُعد RubricEM إطار عمل للتعلم المعزز الميتاوي (meta-reinforcement learning) يعمل على تعزيز وكلاء البحث العميق عبر استخدام المعايير (rubrics) كواجهة مركزية لهيكلة تفكيك السياسة على مراحل، وتوفير تغذية راجعة دلالية كثيفة عبر خوارزمية GRPO المهيكلة للمراحل، وتطوير سياسة ميتاوية للتفكير، مما يحقق أداءً يضاهي الأنظمة المملوكة في معايير البحث طويلة المدى.
تقدم هذه الورقة البحثية DECO، وهي بنية "خليط من الخبراء" (Mixture-of-Experts) متفرقة تحقق أداءً مقارباً للأداء الكثيف مع تفعيل 20% فقط من الخبراء وتسريع في الاستنتاج بمقدار 3.00 أضعاف على الأجهزة الطرفية عبر الاستفادة من التوجيه القائم على ReLU، والتحجيم القابل للتعلم لكل خبير، ودالة تنشيط NormSiLU مبتكرة.