cs.CL ورقة بحثية

Diversity Collapse in Multi-Agent LLM Systems: Structural Coupling and Collective Failure in Open-Ended Idea Generation

تكشف هذه الورقة أن أنظمة النماذج اللغوية الكبيرة متعددة الوكلاء غالباً ما تعاني من "انهيار التنوع" في توليد الأفكار مفتوحة النهايات بسبب الاقتران الهيكلي — حيث تعمل النماذج الأقوى، والتسلسلات الهرمية القائمة على السلطة، وشبكات الاتصال الكثيفة على قمع التنوع الدلالي عن غير قصد وتحفيز التقارب المبكر — مما يسلط الض {الضوء على الحاجة الماسة للحفاظ على استقلالية الوكلاء والاختلاف للحفاظ على الاستكشاف الإبداعي.

Nuo Chen, Yicheng Tong, Yuzhe Yang, Yufei He, Xueyi Zhang, Zou Qingyun, Qian Wang, Bingsheng He2026-04-21

💬 NLP

Modeling Human Perspectives with Socio-Demographic Representations

تقدم هذه الورقة البحثية "التعلم التبايني الاجتماعي" (Socio-Contrastive Learning)، وهو منهج مبتكر يعمل على نمذجة وجهات نظر المدوّنين بشكل مشترك وتعلم تمثيلات ديموغرافية اجتماعية دقيقة لالتقاط السياقات الاجتماعية المعقدة التي تؤثر على الخلاف البشري في مهام معالجة اللغات الطبيعية بشكل أفضل، متفوقاً بذلك على أساليب دمج الميزات القياسية.

Leixin Zhang, Cagri Coltekin2026-04-21

💬 NLP

FLiP: Towards understanding and interpreting multimodal multilingual sentence embeddings

تقدم هذه الورقة نموذج FLiP، وهو نموذج إسقاط خطي مُحلل يستعيد بفعالية المحتوى المعجمي من تضمينات الجمل متعددة اللغات ومتعددة الوسائط، ليعمل كأداة تشخيصية للكشف عن الانحيازات المتأصلة في المشفرات سابقة التدريب دون الاعتماد على المهام اللاحقة.

Santosh Kesiraju, Bolaji Yusuf, Šimon Sedláček, Oldřich Plchot, Petr Schwarz2026-04-21

💬 NLP

TLoRA: Task-aware Low Rank Adaptation of Large Language Models

يُعد TLoRA إطار عمل موحداً للضبط الدقيق كفء المعلمات، حيث يعمل على تحسين التهيئة وتخصيص الموارد بشكل مشترك عبر تجميد مصفوفة LoRA $A$ الموجهة للمهام والمستندة إلى البيانات، وتوزيع الرتب وعوامل القياس تكيفياً عبر الطبقات، مما يحقق أداءً فائقاً عبر مهام متنوعة بعدد أقل بكثير من المعلمات القابلة للتدريب.

Weicheng Lin, Yi Zhang, Jiawei Dang, Liang-Jie Zhang2026-04-21

💬 NLP

Depth Registers Unlock W4A4 on SwiGLU: A Reader/Generator Decomposition

تُثبت هذه الورقة أن تطبيق تدخل "سجلات العمق" (Depth Registers) أثناء التدريب للتحكم في تنشيطات المحور المتبقي في نموذج SwiGLU بـ 300 مليون معلمة يقلل بشكل جذري من خطأ التكميم W4A4 عبر تثبيت مكونات "القارئ"، ومع ذلك تكشف أن فجوة الأداء المتبقية ناتجة جوهرياً عن التفاعلات الثنائية الخطية غير المحدودة لـ "المولد" والتي لا يمكن للدورات المتعامدة حلها.

Ziyang Liu2026-04-21

💬 NLP

Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing

تقدم هذه الورقة البحثية "النسخ كفك تشفير" (Copy-as-Decode)، وهي آلية فك تشفير مقيدة بالقواعد تعمل على تسريع تحرير النصوص والبرمجيات في النماذج اللغوية الكبيرة عبر استبدال إعادة التوليد التكراري للرموز غير المتغيرة بعملية "تعبئة مسبقة" (prefill) متوازية واحدة، مما يحقق تسارعاً يصل إلى 303 ضعفاً مع الحفاظ على الصلاحية النحوية وتقديم تخفيضات كبيرة في زمن التنفيذ الفعلي من الناحية النظرية.

Ziyang Liu2026-04-21

💬 NLP

STaD: Scaffolded Task Design for Identifying Compositional Skill Gaps in LLMs

تقدم الورقة البحثية تصميم المهام المتدرج (STaD)، وهو إطار عمل يولد تنويعات محكومة وتدريجية لمهام الاختبار المرجعي لتحديد وتصور فجوات مهارات الاستدلال التركيبي المحددة في النماذج اللغوية الكبيرة بشكل منهجي، مما يوفر رؤى تشخيصية أعمق من الدرجات الإجمية التقليدية.

Sungeun An, Swanand Ravindra Kadhe, Shailja Thakur, Chad DeLuca, Hima Patel2026-04-21

💬 NLP

Linear-Time and Constant-Memory Text Embeddings Based on Recurrent Language Models

تقترح هذه الورقة استراتيجية استنتاج مجزأة عمودياً للنماذج اللغوية المتكررة مثل Mamba2 وRWKV وxLSTM، والتي تتيح توليد تضمينات نصية بزمن خطي وذاكرة ثابتة، مما يوفر بديلاً فعالاً من حيث الذاكرة وتنافسياً للنهج القائم على المحولات (transformers) ذي التعقيد التربيعي.

Tobias Grantner, Emanuel Sallinger, Martin Flechl2026-04-21

💬 NLP

Hard to Be Heard: Phoneme-Level ASR Analysis of Phonologically Complex, Low-Resource Endangered Languages

تقدم هذه الورقة تحليلاً على مستوى الفونيمات للتعرف التلقائي على الكلام للغتين "أرتشي" و"روتول" من عائلة لغات القوقاز الشرقي ذات الموارد المنخفضة والتعقيد الفونولوجي، حيث تُثبت أن ندرة البيانات وليس التعقيد الفونولوجي هي المحرك الرئيسي للأخطاء، وتُظهر أن نموذج wav2vec2 الخاص باللغة مع تهيئة استدلالية يمكنه التفوق على النماذج الضخمة سابقة التدريب مثل Whisper أو مضاهاتها.

V. S. D. S. Mahesh Akavarapu, Michael Daniel, Gerhard Jäger2026-04-21

💬 NLP

Model in Distress: Sentiment Analysis on French Synthetic Social Media

تقدم هذه الورقة البحثية مساراً لتوليد بيانات اصطناعية يحافظ على الخصوصية باستخدام الترجمة العكسية والنماذج المضبوطة بدقة لإنشاء 1.7 مليون تغريدة فرنسية لتدريب نماذج استدلال بـ 600 مليون معلمة تحقق دقة رائدة في اكتشاف ضيق العملاء في وسائل النقل العام، مما يتغلب بفعالية على التحديات المتعلقة بندرة البيانات، وتكاليف التوسيم، ومخاوف الخصوصية.

Pierre-Carl Langlais, Pavel Chizhov, Yannick Detrois, Carlos Rosas Hinostroza, Ivan P. Yamshchikov, Bastien Perroy2026-04-21

→ السابق التالي ←