11070 ورقة بحثية
تُثبت هذه الورقة أن فك التشفير المقيد في سيناريوهات استدعاء الأدوات غالباً ما يفشل في إصلاح أخطاء الامتناع، لأن التأثير السلبي لفرض رموز التوقف غالباً ما يفوق فوائد تقييد خيارات الرموز، مما يكشف في النهاية أن الادعاءات السابقة حول اختلافات الأداء الخاصة باللغات غير مدعومة.
تقترح هذه الورقة طريقة تقليم تكيفية على مستوى الدفعات وخالية من التدريب لنماذج الاستدلال الكبيرة، تستخدم اختيار (top-k) الدوري وآلية ذاكرة التنشيط للتغلب على تدهور الدقة في الطرق الحالية أثناء الاستدلال بالدفعات، مما يحقق تسريعاً كبيراً مع الحفاظ على أداء استدلال عالٍ.
تقترح الورقة البحثية S2Dialog، وهو إطار عمل موحد يقوم بعملية استرجاع متعدد الوسائط على مستوى الحوار من خلال النمذجة المشتركة للدلالات النصية والأساليب الصوتية عبر مسترجعات مخصصة والتعلم التبايني، متجاوزاً بذلك قيود الطرق الحالية التي تعتمد على مستوى العبارة أو أحادية الوسائط.
يُعد HERMES إطار عمل متعدد الوكلاء وقابل للتوسع يستفيد من نموذج لغوي كبير منسق لاستخراج معرفة مهيكلة وموجهة نحو معايير FAIR من وثائق علوم الأرض فائقة الطول وغير المنظمة، حيث نجح في تحويل "رسالة علم الحفريات اللافقارية" المكونة من 55 مجلداً إلى قاعدة بيانات شاملة بدقة عالية وتحقيق مكاسب في الكفاءة بمقدار ستة أضعاف مقارنة بالطرق اليدوية.
تخلص هذه الدراسة إلى أنه بينما تظل عملية أخذ عينات السيليكونون باستخدام النماذج الرائدة طريقة في مراحلها المبكرة تقلل من تقدير تباين الآراء وتُشوه الفضاء السياقي، فإن وضعها "السريع" يقدم تفوقاً مشروطاً على الأوضاع "البطيئة" من خلال تقديم دقة خوارزمية أعلى بكفاءة أكبر بكثير في موارد الحوسبة ووقت التشغيل.
تقدم هذه الورقة البحثية ترميز التحويل الواعي بالانتباه (AATC)، وهو طريقة مبتكرة لضغط ذاكرة التخزين المؤقت لـ KV تستفيد من مبادئ معالجة الإشارات لتخصيص البتات بناءً على تأثيرها على آليات الانتباه، محققةً دقة تقارب عدم الفقد عند ضغط يصل إلى 5.8 ضعفاً عبر معايير ونماذج متعددة.
تقدم الورقة البحثية MathForm، وهو إطار عمل يستفيد من استرجاع معرفة Mathlib والتحسين التكراري الموجه بالتحقق لبناء مجموعة بيانات FormalVerse واسعة النطاق، مما يمكّن تدريب نموذج MathForm-8B، الذي يتفوق بشكل كبير على نماذج الصياغة الآلية المتخصصة الحالية عبر معايير متعددة.
تقترح هذه الورقة إطاراً لتحليل قدرات تتبع الحقيقة لدى النماذج اللغوية الكبيرة من خلال التمييز بين "القابلية للإجابة الاشتقاقية" (الموروثة من أنماط التدريب) و"القابلية للإجابة الحية" (المعتمدة على مسارات تصحيح مستقلة وفورية)، مع المحاجة بأنه في حين تفتقر النماذج التي تعتمد على النصوص فقط إلى الأخيرة، فإن تدخلات محددة مثل الاسترجاع واستخدام الأدوات يمكن أن تستعيد التأصيل بشكل انتقائي دون اشتراط السيطرة التصحيحية الكاملة.
تقدم الورقة البحثية SimpleOPD، وهو إطار عمل للتقطير في السياسة (on-policy distillation) غير مرتبط بنوع الـ tokenizer، يعمل على محاذاة الامتدادات النصية المشتركة ويستخدم فقدان KL مرجعي للطالب لتقطير قدرات الاستدلال البرهاني ذات السياق الطويل بفعالية من المعلمين الأقوياء إلى الطلاب ذوي السياق القصير، مما يحقق مكاسب أداء كبيرة في الاختبارات المرجعية الرياضية والعلمية.
تُعد Envs-FORGE سياسة توجيه (prompting) مبتكرة تعمل على تحسين تخليق البيئات ديناميكيًا لتعلم التعزيز عبر تحويل مكافآت التحقق إلى إجراءات لكل بذرة (per-seed actions) بواسطة البرمجة الخطية للأعداد الصحيحة المختلطة، مما يؤدي إلى توليد بيئات تدريب مخصصة تُحسن أداء الوكيل بشكل كبير عبر مختلف المعايير المرجعية مقارنة بالنماذج المرجعية ذات الوصفات الثابتة.