💬 Category

cs.CL

11683 ورقة بحثية

🤖 machine learning

MoE-nD: Per-Layer Mixture-of-Experts Routing for Multi-Axis KV Cache Compression

يقدم MoE-nD إطار عمل لتوجيه خليط الخبراء لكل طبقة يقوم بتعيين نسب طرد رموز وعروض عرض بتات تكميم فريدة لكل طبقة محول (transformer) تحت ميزانية ذاكرة عالمية، محققاً ضغطاً في ذاكرة التخزين المؤقت لـ KV يصل إلى 14 ضعفاً مع الحفاظ على دقة مماثلة للنماذج المرجعية غير المضغوطة في مهام الاستدلال ذات السياق الطويل.

Libo Sun, Peixiong He, Po-Wei Harn, Xiao Qin2026-04-21
💬 NLP

Before You Interpret the Profile: Validity Scaling for LLM Metacognitive Self-Report

تُكيِّف هذه الورقة أطر قياس الصلاحية الإكلينيكية (المستمدة من PAI وMMPI-3) لتقييم التقارير الذاتية وراء المعرفية من 20 نموذجاً من النماذج اللغوية الكبيرة الرائدة، حيث حددت أن النماذج غير الصالحة تفتقر إلى الثقة الحساسة للفقرات وتُظهر تشوهات في الاستجابة متميزة عن النماذج الصالحة.

Jon-Paul Cacioli2026-04-21
💬 NLP

Screen Before You Interpret: A Portable Validity Protocol for Benchmark-Based LLM Confidence Signals

تقدم هذه الورقة بروتوكولاً محمولاً لفحص الصلاحية، مُقتبساً من تقييم الشخصية السريري، لتقييم وتصفية إشارات الثقة في النماذج اللغوية الكبيرة القائمة على المعايير المرجعية، مما يثبت أن النماذج ذات الملفات التعريفية "الصالحة" تظهر ارتباطات أعلى بكثير في دقة مستوى العناصر مقارنة بالنماذج ذات الملفات التعريفية "غير الصالحة".

Jon-Paul Cacioli2026-04-21
💬 NLP

Concurrent Criterion Validation of a Validity Screen for LLM Confidence Signals via Selective Prediction

تُثبت هذه الدراسة صحة شاشة تصنيف ثلاثية المستويات لإشارات ثقة النماذج اللغوية الكبيرة من خلال إظهار أن النماذج المصنفة كـ "صحيحة" تتفوق بشكل ملحوظ على النماذج "غير الصحيحة" في مهام التنبؤ الانتقائي، حيث تفسر هذه الشاشة 47% من التباين في الأداء.

Jon-Paul Cacioli2026-04-21
💬 NLP

Mira-Embeddings-V1: Domain-Adapted Semantic Reranking for Recruitment via LLM-Synthesized Data

تقدم هذه الورقة Mira-Embeddings-V1، وهو نظام إعادة ترتيب دلالي متكيف مع المجال مخصص للتوظيف، يستفيد من بيانات تدريب مُخلّقة بواسطة النماذج اللغوية الكبيرة (LLM) ورأس خفيف الوزن مدرك للحدود لتحسين استدعاء المرشحين ودقتهم بشكل كبير دون الحاجة إلى مجموعات بيانات ضخمة مصنفة يدويًا أو مشفرات متقاطعة ثقيلة.

Zhaohua Liang, Zhilin Wang, Renjie Cao, Yining Zhang2026-04-21
💬 NLP

Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks

تقدم هذه الورقة إطار عمل للنسب (attribution) يعتمد على التباين وتقنية LRP مع قدرات عابرة للطبقات لتحليل إخفاقات النماذج اللغوية الكبيرة بشكل منهجي على معايير قياسية واقعية، كاشفةً أنه في حين يوفر النسب على مستوى الرمز (token-level) إشارات معلوماتية في حالات محددة، إلا أنه ليس قابلاً للتطبيق عالمياً على جميع أنواع الإخفاقات.

Rongyuan Tan, Jue Zhang, Zhuozhao Li, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang2026-04-21
💬 NLP

SPENCE: A Syntactic Probe for Detecting Contamination in NL2SQL Benchmarks

تقدم الورقة البحثية SPENCE، وهو إطار عمل للاستقصاء النحوي يكشف عن تلوث تدريبي كبير في معايير NL2SQL القديمة مثل Spider من خلال الحساسية للمتغيرات النحوية، بينما تثبت أن مجموعات البيانات الأحدث مثل BIRD تظل غير ملوثة إلى حد كبير.

Mohammadtaher Safarzadeh, Hitesh Laxmichand Patel, Afshin Orojlooyjadid, Graham Horwood, Dan Roth2026-04-21
💬 NLP

Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens

تقترح هذه الورقة البحثية "توزين الرموز الموجه بالإنتروبيا" (ETW)، وهو منظم لعملية نسيان المعلومات على مستوى الرمز يستفيد من إنتروبيا التنبؤ للتمييز بين الرموز المعلوماتية والرموز الهيكلية، مما يتيح نسيانًا أكثر فعالية للسلوكيات العدائية مع الحفاظ بشكل أفضل على المنفعة العامة للنماذج اللغوية الكبيرة مقارنة بالطرق الحالية.

Seunghee Koh, Sunghyun Baek, Youngdong Kim, Junmo Kim2026-04-21
💬 NLP

Bridging the Reasoning Gap in Vietnamese with Small Language Models via Test-Time Scaling

تُثبت هذه الورقة أنه بالنسبة لنماذج اللغة الصغيرة الفيتنامية، فإن الضبط الدقيق الخاضع للإشراف المدمج مع مطالبة "سلسلة الأفكار" المبسطة و"الاتساق الذاتي" يتفوق على سير العمل الوكيل المعقد في سد فجوة الاستدلال وتحقيق التماسك التربوي على الأجهزة الطرفية.

Bui The Trung, Do Minh Duc, Nguyen Van Vinh, Bui Nguyen Quoc Trinh2026-04-21