11158 ورقة بحثية
تقدم الورقة البحثية xKV، وهي طريقة لما بعد التدريب تضغط ذاكرة KV-Cache بمقدار 8 أضعاف وتسرع الاستدلال بما يصل إلى 4.23 ضعفاً من خلال التحليل المشترك للمتجهات المفردة المتوافقة عبر الطبقات وإعادة البناء الانتقائي، مما يوفر حلاً جاهزاً للتشغيل (plug-and-play) لاستدلال النماذج اللغوية الكبيرة ذات السياق الطويل بكفاءة دون الحاجة إلى إعادة التدريب.
تقدم هذه الورقة نموذج لغة انحدار (RLM) موحداً وخفيف الوزن يستفيد من مشفر نموذج لغة كبير (LLM) مجمد للتنبؤ بدقة بمقاييس تنفيذ الكود المتنوعة — بما في ذلك بصمة الذاكرة، وزمن الاستجابة، والدقة — عبر لغات برمجة متعددة ومنصات أجهزة مختلفة، متفوقاً بذلك على النهج السابقة القائمة على هندسة الميزات والرسوم البيانية دون الحاجة إلى تخصيص خاص لكل مهمة.
تقترح الورقة البحثية SelfJudge، وهي طريقة تعلم ذاتي خارجي، تقوم بتدريب مُحقِّقين (judge verifiers) باستخدام النموذج المستهدف نفسه للتحقق من مرشحات فك التشفير التخميني بناءً على الحفاظ الدلالي، مما يتيح استنتاجاً أسرع وأكثر تعميماً لنماذج اللغات الكبيرة (LLMs) دون الاعتماد على التعليقات البشرية أو الحقائق الأرضية.
تقدم هذه الورقة Camellia، وهو معيار مرجعي يضم أكثر من 19,000 كيان مشروح و2,000 سياق محجوب عبر تسع لغات آسيوية، لتقييم وكشف التحيزات الثقافية الكبيرة وفجوات فهم السياق في النماذج اللغوية الكبيرة متعددة اللغات فيما يتعلق بالثقافات غير الغربية.
تقيم هذه الدراسة تحيزات الهوية الاجتماعية في عشرة نماذج لغوية كبيرة صينية باستخدام مطالبات خاصة باللغة المندرينية لمقارنة أطر الجماعة الداخلية والجماعة الخارجية عبر 240 مجموعة اجتماعية، مما يكشف أنه بينما يقلل الضبط الدقيق للتعليمات من عدم تماثل المشاعر، فإن فجوات السمية لا تزال قائمة وتتفاقم بشكل أكبر بسبب استخدام ضمائر الجمع المؤنثة الصريحة.
تُعد EAGer طريقةً لتوسيع نطاق الاستدلال أثناء وقت الاستنتاج، وهي خالية من التدريب ومعتمدة على الإنتروبيا، حيث تقوم بتخصيص الموارد الحسابية ديناميكيًا عبر تفرع مسارات الاستدلال فقط عند الرموز ذات عدم اليقين العالي، مما يقلل من استخدام الرموز بنسبة تصل إلى 64% مع تحسين أداء Pass@k بشكل كبير في اختبارات الاستدلال المعقدة.
تقدم الورقة البحثية إطار عمل ORBIT، وهو إطار تدريب تراكمي قائم على المعايير يستفيد من معايير مُولدة ديناميكيًا ومُكيّفة مع الحالات لضبط النماذج اللغوية الكبيرة بفعالية في الحوارات الطبية مفتوحة النهايات، محققًا أداءً هو الأفضل في فئته باستخدام حد أدنى من بيانات التدريب مع تجنب عيوب نمذجة المكافأة التقليدية.
تنتقد هذه الورقة القيود المتعلقة بالدقة الواقعية لتقييمات MusicQA الحالية لنماذج اللغة الصوتية الكبيرة، وتقدم معياراً جديداً وبروتوكولاً مهيكلاً باستخدام درجات الدقة والاستدعاء وF1 لتقييم فهم الموسيقى موضوعياً عبر ست مهام استرجاع على ثلاث مجموعات بيانات متنوعة.
تقدم هذه الورقة البحثية AdvJudge-Zero، وهي طريقة تثبت أن الأحكام الثنائية لنموذج "النموذج اللغوي الكبير كحكم" (LLM-as-a-Judge) يمكن قلبها بنسب نجاح عالية باستخدام رموز قصيرة ومنخفضة الارتباك (low-perplexity) يتم أخذ عينات منها من توزيع الحكم نفسه، وتقترح آلية دفاع قائمة على تقنية LoRA تخفف بفعالية من هذه الهجمات العدائية وتمنع انهيار المكافأة في تدريب التعلم المعزز من التغذية الراجعة البشرية (RLHF).
تجد هذه الدراسة أنه بينما تقترب النماذج اللغوية الكبيرة الأكبر حجماً من المعلمين البشريين الخبراء في الجودة التربوية العامة لمعالجة الفجوات في مادة الرياضيات، إلا أنها تختلف عنها بشكل منهجي في السمات التعليمية واللغوية عبر عدم الاستخدام الكافي لاستراتيجيات حوارية رئيسية مثل الضغط من أجل التفكير، مقابل الإفراط في استخدام اللباقة والإطناب، وهما أمران يرتبطان ارتباطاً سلبياً بالجودة المتصورة.