11158 ورقة بحثية
إيوا (Eywa) هي بنية ذاكرة قائمة على إثبات المصدر لوكلاء الذكاء الاصطناعي المستمرين، تعطي الأولوية للأدلة المصدرية غير القابلة للتغيير على الحقائق المستنتجة، وتوظف عملية استرجاع حتمية خالية من النماذج اللغوية الكبيرة لتمكين ذاكرة طويلة الأمد قابلة للتدقيق والتحديث وعالية الأداء عبر مختلف المعايير المرجعية.
تُظهر هذه الورقة أنه في مسارات التوليد المعزز بالاسترجاع، يكون المحدد الرئيسي لدقة الإجابة على الأسئلة هو الحفاظ على المحتوى الحامل للإجابة (الاحتفاظ بالإجابة) أثناء تحويل المستندات، مما يشير إلى أن عوامل التمثيل الأخرى مثل الصياغة أو البنية لها تأثير محدود عندما يكون الاحتفاظ مرتفعاً.
تقدم هذه الورقة خوارزمية ترميز (BPE) تزايدية جديدة تحقق تعقيداً زمنياً في أسوأ الحالات يبلغ ، مما يتيح معالجة تدفقية فعالة بسرعة تصل إلى 3 أضعاف المكتبات الحالية مثل tokenizers من Hugging Face وtiktoken.
تتناول هذه الورقة القضية الحرجة المتمثلة في "تدهور دقة الإشراف" (Supervision Fidelity Decay) في عملية التقطير القائم على السياسة (on-policy distillation)، حيث تضعف توجيهات المعلم عبر سلاسل الاستدلال الطويلة، وذلك عبر اقتراح "مكافأة الاستشراف الجماعي" (Lookahead Group Reward)، وهي طريقة مبتكرة تقيم الرموز المرشحة بناءً على ثقة المعلم المستقبلية المستحثة منها، مما يحسن أداء النموذج الطالب بشكل كبير في اختبارات الرياضيات والبرمجة المعقدة.
تقدم هذه الورقة "إنتروبيا المظلة" ()، وهي مقياس مبتكر يأخذ في الاعتبار طول المخرجات ليكشف أن الضبط الدقيق لا يقتصر فقط على تقليل عدم اليقين في النماذج اللغوية، بل يعيد تنظيمها بشكل جوهري لتعزيز نقل المعلومات والتنوع الدلالي.
تقدم هذه الورقة البحثية إطار عمل AURA، وهو إطار عمل يعتمد على النماذج اللغوية الكبيرة (LLM) لإعادة بناء الأقنعة، يعمل على تعزيز الحد الفاصل بين الخصوصية والمنفعة في عملية إخفاء هوية النصوص من خلال المقاومة التكيفية لهجمات إعادة تحديد الهوية القائمة على البحث الويب الوكيل، مع الحفاظ في الوقت ذاته على المنفعة السياقية للتحليلات اللاحقة.
تقترح الورقة البحثية dMoE، وهو إطار عمل لخليط من الخبراء على مستوى الكتل لنماذج الانتشار اللغوية الكبيرة، يقوم بتجميع توزيعات الخبراء على مستوى الرموز لتقليل استهلاك الذاكرة وزمن انتقال الاستدلال بشكل كبير من خلال تقليل عدد الخبراء المفعلين بشكل فريد مع الحفاظ على أداء تنافسي.
يقدم PatchWorld إطار عمل خالٍ من التدرج يحول المسارات غير المتصلة بالإنترنت إلى نماذج عوالم برمجية بلغة بايثون قابلة للفحص والتنفيذ عبر إصلاح الكود الموجه بالنماذج المضادة، محققاً أداءً رائدًا في التخطيط ضمن بيئات الوكلاء النصيين مع كشف مقايضة بين دقة الملاحظة وفائدة القرار.
تقدم هذه الورقة إطار عمل SAVE، الذي يستفيد من التغذية الراجعة المرتكزة على القيمة والداخلية السياسة لتمكين نماذج المكافأة من الإشراف الذاتي وتحسين تدريبها من خلال تقييم استجابات السياسة وتصفية العينات الغامضة، مما يتغلب على الاعتماد على بيانات التفضيل البشرية المكلفة ويظهر أداءً فائقاً عبر مختلف المعايير وخوارزميات التعلم المعزز.
تقدم هذه الورقة UniScale، وهو إطار عمل عبر الإنترنت يوحد توجيه النماذج وتوسيع نطاق وقت الاختبار في مساحة تحسين تكيفية واحدة باستخدام خوارزميات "متعددة الأذرع السياقية" (contextual multi-armed bandits) لتحقيق مقايضة متفوقة بين الجودة والتكلفة في عمليات نشر النماذج اللغوية الكبيرة.