💬 NLP

How Do Transformers Learn to Associate Tokens: Gradient Leading Terms Bring Mechanistic Interpretability

تقدم هذه الورقة تفسيراً آلياً لكيفية تعلم نماذج المحولات (transformers) للارتباطات الدلالية عبر اشتقاق تعبيرات ذات صيغة مغلقة للأوزان في المراحل المبكرة، باعتبارها تركيبات من خرائط الثنائيات (bigram)، وقابلية تبادل الرموز، والسياق بناءً على ديناميكيات تدرج التدريب.

Shawn Im, Changdae Oh, Zhen Fang, Sharon Li2026-05-14
💬 NLP

CascadeMind at SemEval-2026 Task 4: A Hybrid Neuro-Symbolic Cascade for Narrative Similarity

يحقق نظام CascadeMind لمهمة SemEval-2026 Task 4 أداءً تنافسياً من خلال توظيف شلال عصبي-رمزي هجين يقوم بتوجيه الحالات بناءً على إجماع تصويت النماذج اللغوية الكبيرة، مما يثبت أن تخصيص الحوسبة القائم على الثقة أكثر فعالية من إضافة تمثيلات رمزية مساعدة للتشابه السردي.

Sebastien Kawada, Dylan Holyoak2026-05-14
⚡ electrical engineering

CALM: Joint Contextual Acoustic-Linguistic Modeling for Personalization of Multi-Speaker ASR

تقدم الورقة البحثية CALM، وهو إطار عمل للنمذجة السياقية الصوتية-اللغوية المشتركة يدمج استخراج المتحدث المستهدف المدفوع بتضمين المتحدث مع الانحياز السياقي القائم على المفردات الديناميكية لتقليل معدلات الخطأ بشكل كبير في التعرف الآلي على الكلام متعدد المتحدثين والمخصص عبر مجموعات بيانات باللغتين الإنجليزية واليابانية.

Muhammad Shakeel, Yosuke Fukumoto, Chikara Maeda, Chyi-Jiunn Lin, Shinji Watanabe2026-05-14
💬 NLP

DiscoverLLM: From Executing Intents to Discovering Them

يُعد DiscoverLLM إطار عمل مبتكر يدرب النماذج اللغوية الكبيرة لمساعدة المستخدمين على اكتشاف وتجسيد نواياهم الغامضة من خلال محاكي مستخدم قائم على الحالة المعرفية، مما يؤدي إلى تحسين أداء المهام بشكل كبير، وتقصير المحادثات، ورفع مستوى رضا المستخدم عبر المهام الإبداعية والتقنية والبصرية.

Tae Soo Kim, Yoonjoo Lee, Jaesang Yu, John Joon Young Chung, Juho Kim2026-05-14
💬 NLP

Entropy Aware Reward Guidance for Diffusion Language Model Alignment

تقدم هذه الورقة EntRGi، وهي طريقة مبتكرة تقوم بالاستيفاء الديناميكي بين التخفيفات المستمرة للرموز والرموز الصلبة بناءً على الإنتروبيا التنبؤية لتمكين التوجيه الفعال للمكافأة لنماذج اللغة ذات الانتشار المنفصل، مما يظهر تحسينات متسقة على النهج الرائدة في كل من التكيف في وقت الاختبار وما بعد التدريب عبر التعلم المعزز الموجه بالمكافأة (RGRL).

Atula Tejaswi, Litu Rout, Constantine Caramanis, Sanjay Shakkottai, Sujay Sanghavi2026-05-14
💬 NLP

A Single Layer to Explain Them All:Understanding Massive Activations in Large Language Models

تحدد هذه الورقة "طبقة ظهور هائلة" محددة في النماذج اللغوية الكبيرة حيث تنشأ وتنتشر تنشيطات ضخمة، مما يقلل من تنوع التمثيل، وتقترح طريقة للتخفيف من هذا الجمود ومصارف الانتباه لتحسين الأداء عبر مهام متنوعة.

Zeru Shi, Zhenting Wang, Fan Yang, Qifan Wang, Ruixiang Tang2026-05-14
💬 NLP

Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis

تقترح هذه الورقة إطار عمل "إدراك الخلاف ومواءمة عدم اليقين" (DPUA)، وهو نهج ثنائي المراحل يعزز تحليل الذاتية في النماذج اللغوية الكبيرة من خلال نمذجة الخلاف البشني صراحةً لمواءمة عدم يقين النموذج مع تباينات الأحكام في العالم الحقيقي، مما يؤدي إلى تقليل الثقة المفرطة وتحسين التعميم.

Junyu Lu, Deyi Ji, Xuanyi Liu, Lanyun Zhu, Bo Xu, Liang Yang, Xian-Sheng Hua, Hongfei Lin2026-05-14
💻 computer science

WhatsApp Vaccine Discourse (WhaVax): An Expert-Annotated Dataset and Benchmark for Health Misinformation Detection

تقدم هذه الورقة WhaVax، وهي مجموعة بيانات عالية الجودة وموسومة من قبل خبراء لرسائل واتساب المتعلقة باللقاحات من البرازيل، إلى جانب تحليل مفصل لأنماط المعلومات المضللة ومعيار تقييمي لاختبار نماذج لغوية مختلفة للكشف عن المعلومات الصحية المضللة في بيئات الاتصال المشفرة.

Jônatas H. dos Santos, Julio C. S. Reis, Philipe Melo, João F. H. Olivetti, Thales H. Silva, Matheus Gontijo Guimaraes (…)2026-05-14
💬 NLP

Mitigating Cross-Lingual Cultural Inconsistencies in LLMs via Consensus-Driven Preference Optimisation

تقدم هذه الورقة مقياس "Singleton Fleiss's κS\kappa_S" لتكميم التناقضات الثقافية عبر اللغات في النماذج اللغوية الكبيرة متعددة اللغات، وتقترح إطار عمل "C-3PO"، الذي يستخدم تحسين التفضيل القائم على الإجماع لمواءمة مخرجات النموذج مع شخصية ثابتة عبر اللغات، مما يخفف بفعالية من ميل لغة المطالبة (prompt) لطمس الهويات الثقافية المحددة من قبل المستخدم.

Lucas Resck, Isabelle Augenstein, Anna Korhonen2026-05-14
💬 NLP

Bridging the Missing-Modality Gap: Improving Text-Only Calibration of Vision Language Models

تقترح الورقة البحثية وحدة الخيال الكامن (LIM)، وهي آلية انتباه تقاطعي خفيفة الوزن تتنبأ بالتضمينات الكامنة المتخيلة من النص لاستعادة دقة ومعايرة نماذج الرؤية واللغة عند نشرها دون مدخلاتها البصرية الأصلية.

Mingyeong Kim (Kim Jaechul Graduate School of AI, KAIST), Jungwon Choi (Kim Jaechul Graduate School of AI, KAIST), Chaey (…)2026-05-14