27120 ورقة بحثية
تقدم هذه الورقة إطار عمل قائمًا على الكيانات وقابلًا للتوسع لتدقيق التحيز في النماذج اللغوية الكبيرة، يستفيد من البيانات الاصطناعية لإجراء أكبر دراسة حتى الآن (1.9 مليار نقطة بيانات)، كاشفةً عن تفاوتات منهجية مثل المحاباة السياسية والجغرافية التي تستمر رغم الضبط التوجيهي وتتفاقم مع زيادة حجم النموذج.
تُثبت هذه الورقة أنه في اختبار سلامة الذكاء الاصطناعي في مجال الصحة النفسية، يُظهر تعليق الخبراء البشري اختلافاً منهجياً ومبنياً على أسس بدلاً من كونه خطأً عشوائياً، مما يتحدى افتراض وجود حقيقة مرجعية صالحة ويشير إلى أن تقييم الذكاء الاصطناعي في الحالات الحرجة للسلامة يجب أن ينتقل من التجميع القائم على الإجماع إلى الأساليب التي تحافظ على تنوع وجهات النظر المهنية.
يُعد المستنتج الهندسي (TGR) إطار عمل لا يتطلب تدريباً، يعمل على تعزيز الاستنتاج طويل السياق تحت قيود صارمة للذاكرة من خلال إجراء بحث استشرافي كامن مستنير بالمتشعبات مع إعادة ضبط ذاكرة التخزين المؤقت لـ (KV) على مستوى الأجزاء، محققاً تحسينات كبيرة في تغطية المسارات في اختبارات الرياضيات والبرمجة مع تكلفة حسابية ضئيلة.
تقدم هذه الورقة DiGiT-TC، وهي طريقة مبتكرة لتوليد البيانات تقوم بتخليق محادثات استدعاء أدوات متعددة الأدوار ومعقدة لبيئات التنفيذ عديمة الحالة من خلال التمثيل الضمني لاستدعاءات الأدوات ضمن طلبات المستخدم، مما يتيح ضبط النماذج اللغوية الأصغر حجمًا بفعالية دون الاعتماد على التحقق من الحالة.
تقدم هذه الورقة تقنيات بسيطة وقابلة للتوسع لإثبات أن التخطيط الضمني —وهو آلية تقوم من خلالها النماذج اللغوية بتوجيه الرموز الوسيطة نحو أهداف مستقبلية مثل القوافي أو الإجابات— هو قدرة عالمية موجودة حتى في النماذج الصغيرة التي يصل حجمها إلى مليار معلمة، مما يقدم رؤى جديدة للسلامة والتحكم في الذكاء الاصطناعي.
تقترح هذه الورقة "التكييف بالبادئات الفاشلة"، وهي طريقة تعزز تدريب نماذج الاستدلال على المسائل المشبعة عبر التكييف على بادئات لمسارات خاطئة نادرة لدفع الاستكشاف نحو الحالات المعرضة للفشل، مما يساهم في استخراج إشارات تعلم قيمة دون الحاجة إلى جمع بيانات جديدة مكلفة.
تُظهر هذه الدراسة أن المناهج الدراسية ذات الدوافع اللغوية في مرحلة ما قبل التدريب للنماذج اللغوية الكبيرة تعزز بشكل أساسي استقرار التدريب وتقلل من ضجيج التدرج في النماذج الأصغر من خلال تغيير مدة مراحل التعلم الكامن المشتركة، بدلاً من إنشاء مراحل جديدة، مع تضاؤل هذه الفوائد عند مقاييس النماذج الأكبر.
تكشف هذه الورقة أن ضبط في مُحسِّن "آدم" (Adam) هو الخيار الأمثل لأنه يضمن بشكل فريد عدم التغير في مقياس التدرج من الدرجة الأولى، وهي خاصية هيكلية تفسر التحسينات الملحوظة تجريبياً في استقرار التدريب والأداء عبر المهام المتنوعة.
تقدم هذه الورقة بنية "خليط من الخبراء" (Mixture-of-Experts) خاضعة للإشراف تُمكّن سياسات التعلم بالتقليد خفيفة الوزن من تحقيق إمساك وسحب جراحي قوي وفعال من حيث البيانات على الأنسجة القابلة للتشوه باستخدام الصور التنظيرية ثلاثية الأبعاد فقط وأقل من 150 عرضاً توضيحياً، متفوقة بشكل كبير على النماذج القياسية في كل من سيناريوهات التوزيع الداخلي وسيناريوهات التوزيع الخارجي الصعبة، مع إثبات نقل ناجح لصفر من الأمثلة (zero-shot transfer) إلى عمليات جراحية على أنسجة خارج الجسم وعمليات أولية على الخنازير.
تقدم هذه الورقة إنتاج المعلومات القابل للتحكم (CIP)، وهو إطار عمل جديد للدافع الجوهري يرتكز على الأنظمة الديناميكية والتحكم الأمثل، يوحد الذكاء الفيزيائي مع إنتاج المعلومات، مما يمكن الوكلاء من إتقان مهام معقدة مثل الاعتدال الذاتي للبشر الآليين عبر دفع الأنظمة نحو حافة الفوضى القابلة للتحكم.