💬 Category

cs.CL

11158 ورقة بحثية

💬 NLP

Rethinking the Multilingual Reasoning Gap with Layer Swap

تُثبت هذه الورقة أن الفجوة في الأداء بين الاستدلال باللغة الأصلية والاستدلال المرتكز على اللغة الإنجليزية في النماذج اللغوية الكبيرة متعددة اللغات هي أصغر بكثير مما كان يُعتقد سابقاً عند استخدام إشراف متماثل، وتقترح تقنية "تبديل الطبقات" (Layer Swap) التي تنقل قدرات الاستدلال باللغة الإنجليزية من الطبقات الوسطى إلى المتخصصين في اللغة الأصلية، مما يغلق الفجوة بفعالية مع الحفاظ على اللغة المستهدفة لتوليد سلسلة الأفكب (chain-of-thought).

Maxence Lasbordes, Amélie Chatelain, Djamé Seddah2026-05-27
💬 NLP

EmoDistill: Offline Emotion Skill Distillation for Language Model Agents in Adversarial Negotiation

يُعد EmoDistill إطار عمل غير متصل بالإنترنت يعمل على تعزيز وكلاء النماذج اللغوية في المفاوضات العدائية من خلال تقطير المهارات العاطفية عبر عملية مكونة من مرحلتين — باستخدام تعلم كيو الضمني لاختيار العواطف الاستراتيجية وتكييف الترتيب المنخفض لتحسين التعبير عنها — مما يجعله يتفوق على الخطوط المرجعية القياسية عبر المجالات عالية المخاطر دون الحاجة إلى تدريب مكلف عبر الإنترنت.

Yunbo Long, Haolang Zhao, Lukas Beckenbauer, Liming Xu, Alexandra Brintrup2026-05-27
💬 NLP

SeDT: Sentence-Transformer Decision-Transformer Conditioning for Multi-Turn Conversation Reliability

تقدم الورقة البحثية SeDT، وهي طريقة تعتمد على الاستنتاج في وقت التشغيل دون الحاجة للتدريب، تستفيد من درجات الصلة المستمدة من "sentence-transformer" لتهيئة نماذج "Decision-Transformer" على المحادثات متعددة الأدوار، مما يخفف بفعالية من ظاهرة "الضياع في المحادثة" عبر تسليط الضوء ديناميكيًا على القيود الحرجة وتحسين كل من الأداء والموثوقية بشكل كبير عبر مختلف النماذج اللغوية الكبيرة.

Ramakrishna Vamsi Setti, Jagadeesh Rachapudi, Sachin Chaudhary, Praful Hambarde, Amit Shukla2026-05-27
🤖 machine learning

Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior

تقدم هذه الورقة نموذج "المحول المتكرر الكامن" (LRT)، وهو بنية خفيفة الوزن تعزز النماذج ذات التوليد الذاتي عبر إعادة استخدام الحالات الخفية عالية المستوى كذاكرة متكررة دون زيادة عمق الاستدلال، وتقترح استراتيجية تدريب متوازية متداخلة لزيادة نطاق هذا النهج بكفاءة، مما يؤدي إلى تحسين أداء نمذجة اللغة والتعلم في السياق مع حد أدنى من الزيادة في عدد المعلمات.

Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong (…)2026-05-27
💬 NLP

Generating Logically Consistent Synthetic Supply Chain Data with LLM-Driven Knowledge Graph Reasoning

تقدم هذه الورقة البحثية إطار عمل TabKG، وهو إطار عمل موجه برسم بياني للمعرفة، يستفيد من النماذج اللغوية الكبيرة لبناء رسم بياني للمعرفة للعلاقات بين الأعمدة تم التحقق من صحته، مما يتيح توليد بيانات سلاسل التوريد الاصطناعية التي تلتزم بدقة بالمنطق التشغيلي والقيود بدلاً من مجرد محاكاة التوزيعات الإحصائية.

Yunbo Long, Ge Zheng, Liming Xu, Alexandra Brintrup2026-05-27
💬 NLP

Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics

تقدم هذه الورقة مسار تدريب مؤتمت يعمل على تحسين الاتساق الواقعي في التلخيص من خلال تجميع درجات من مقاييس متعددة غير كاملة لبناء مجموعة بيانات تفضيل عالية الجودة، مما يمكّن النماذح بمختلف أحجامها من التعلم من الفروق اللفظية الدقيقة دون الحاجة إلى تشكيل مكافأة معقد.

Yuxuan Ye, Raul Santos-Rodriguez, Edwin Simpson2026-05-27
🤖 machine learning

MONA: Muon Optimizer with Nesterov Acceleration for Scalable Language Model Training

تقدم الورقة البحثية MONA، وهو مُحسِّن مبتكر يدمج تسارع أسلوب نيستروف (Nesterov-style acceleration) في إطار عمل Muon للهروب من النهايات الصغرى المحلية الحادة وتحقيق أداء تقارب وأداء في المهام اللاحقة هو الأفضل حالياً عبر نماذج لغوية تتراوح أحجامها بين 1 مليار و68 مليار معلمة.

Jiacheng Li, Jianchao Tan, Hongtao Xu, Jiaqi Zhang, Yifan Lu, Yerui Sun, Yuchen Xie, Xunliang Cai2026-05-27
💬 NLP

Reasoning Depth and Environment Complexity: A Controlled Study of RLVR Data Allocation across Logical Reasoning Tasks

تقدم هذه الورقة بيئة اصطناعية محكومة لدراسة التعلم المعزز بمكافآت قابلة للتحقق (RLVR) عبر بُعدين من صعوبة الاستدلال (العمق والتعقيد) وأربع عائلات استدلالية، مما يكشف أن التغطية المشتركة لهذه العوامل والخلط الموحد للبيانات يتفوقان على النهج أحادي المحور أو النهج المرحلي، مع تسليط الضوء في الوقت ذاته على عدم تماثل مستمر يميل نحو الاستنتاج على حساب الاستنباط في النماذج الحالية.

Yihua Zhu, Qianying Liu, Fei Cheng, Jiaxin Wang, Akiko Aizawa, Sadao Kurohashi, Hidetoshi Shimodaira2026-05-27
💬 NLP

DunbaaBERT: From Sacrifice to Semantics

تقدم الورقة البحثية DunbaaBERT، وهي عائلة من نماذج RoBERTa-base المخصصة للغة الأردية والتي تم تدريبها من الصفر على مجموعة بيانات ضخمة، مما يثبت أن النماذج المدمجة والمختارة بعناية ذات المفردات الأصغر يمكن أن تحقق أداءً تنافسياً ومقايضات كفاءة ملائمة عبر مختلف مهام معالجة اللغات الطبيعية للأردية مقارنة بالنماذج متعددة اللغات الأكبر حجماً.

Iffat Maab, Waleed Jamil, Raphael Schmitt2026-05-27