11158 ورقة بحثية
تقدم الورقة البحثية إطار عمل LENS، الذي يعمل على مواءمة بيانات المستشعرات متعددة الوسائط مع النماذج اللغوية الكبيرة عبر مشفر على مستوى الرقعة (patch-level encoder) ومجموعة بيانات ضخمة من النصوص والمستشعرات لتوليد سرديات صحة نفسية ذات دلالة سريرية، مما يمكّن النماذج اللغوية الكبيرة من التفكير بناءً على الإشارات السلوكية الخام لتحسين اتخاذ القرار السريري.
تقدم هذه الورقة النماذج اللغوية التكرارية (RLMs)، وهي نموذج لتوسيع نطاق الاستدلال يُمكّن النماذج اللغوية الكبيرة من تفكيك ومعالجة المطالبات الطويلة بشكل تعسفي برمجياً وبشكل تكراري، مما يحقق أداءً يتفوق بشكل كبير على الأساليب الحالية للسياقات الطويلة والنماذج الرائدة مع الحفاظ على تكاليف مماثلة.
تقدم هذه الورقة البحثية إطار عمل REVIVE، وهو إطار عمل جاهز للاستخدام (plug-and-play) يعمل على التخفيف من حدة الانهيار الكارثي في تحرير المعرفة المتسلسل عبر استخدام التحليل الطيفي لتحديد والحفاظ على الفضاء الجزئي المنفرد المهيمن للأوزان مسبقة التدريب، مما يحافظ على كل من فعالية التحرير وأداء النموذج العام حتى بعد آلاف عمليات التحرير.
تقترح الورقة البحثية "نقل المهارة البارامتري" (PaST)، وهو إطار عمل يعالج أوجه القصور في الضبط الدقيق الخاضع للإشراف في تكييف النماذج اللغوية الكبيرة من خلال الحقن الخطي لمتجهات مهارات غير مرتبطة بنطاق محدد مستمدة من التعلم التعزيزي، مما يتيح تكيفاً مستمراً فعالاً ومؤثراً لدمج المعرفة والاستخدام الوكيل للأدوات.
تقدم هذه الورقة إطار عمل قائمًا على الكيانات وقابلًا للتوسع لتدقيق التحيز في النماذج اللغوية الكبيرة، يستفيد من البيانات الاصطناعية لإجراء أكبر دراسة حتى الآن (1.9 مليار نقطة بيانات)، كاشفةً عن تفاوتات منهجية مثل المحاباة السياسية والجغرافية التي تستمر رغم الضبط التوجيهي وتتفاقم مع زيادة حجم النموذج.
تقدم هذه الورقة DiGiT-TC، وهي طريقة مبتكرة لتوليد البيانات تقوم بتخليق محادثات استدعاء أدوات متعددة الأدوار ومعقدة لبيئات التنفيذ عديمة الحالة من خلال التمثيل الضمني لاستدعاءات الأدوات ضمن طلبات المستخدم، مما يتيح ضبط النماذج اللغوية الأصغر حجمًا بفعالية دون الاعتماد على التحقق من الحالة.
تقدم هذه الورقة تقنيات بسيطة وقابلة للتوسع لإثبات أن التخطيط الضمني —وهو آلية تقوم من خلالها النماذج اللغوية بتوجيه الرموز الوسيطة نحو أهداف مستقبلية مثل القوافي أو الإجابات— هو قدرة عالمية موجودة حتى في النماذج الصغيرة التي يصل حجمها إلى مليار معلمة، مما يقدم رؤى جديدة للسلامة والتحكم في الذكاء الاصطناعي.
تقترح هذه الورقة "التكييف بالبادئات الفاشلة"، وهي طريقة تعزز تدريب نماذج الاستدلال على المسائل المشبعة عبر التكييف على بادئات لمسارات خاطئة نادرة لدفع الاستكشاف نحو الحالات المعرضة للفشل، مما يساهم في استخراج إشارات تعلم قيمة دون الحاجة إلى جمع بيانات جديدة مكلفة.
تتناول هذه الورقة عدم استقرار الأداء الناتج عن تصميمات المطالبات الثابتة في التعرف على الكلام القائم على النماذج اللغوية الكبيرة، وذلك من خلال اقتراح وحدة "جهاز عرض المطالبات" (prompt projector) بسيطة ومستقلة عن النموذج، تتعلم تحسين تضمينات المطالبات، مما يؤدي إلى تحسين الدقة باستمرار وتقليل التباين عبر مجموعات البيانات المتنوعة.
تكشف هذه الورقة أن الإسناد القائم على التدرج في نماذج المحولات يخطئ بشكل منهجي في تحديد الأهمية السببية عبر المبالغة في تقدير مكونات الطبقات المبكرة الفائضة عن الحاجة ("تضخم التدرج") والتقليل من شأن المكونات الحرجة في الطبقات المتأخرة ("الأبطال الخفيون")، مما يستلزم التحقق السببي لتجنب التفسيرات الآلية الخاطئة.