cs.CL ورقة بحثية

PrivMedChat: End-to-End Differentially Private RLHF for Medical Dialogue Systems

يُعد PrivMedChat إطار عمل متكاملًا يتيح تدريب أنظمة الحوار الطبي مع ضمانات الخصوصية التفاضلية الرسمية من خلال دمج خوارزمية (DP-SGD) وتحسين السياسات المدركة للخصوصية التفاضلية عبر جميع مراحل الإشراف، مع استخدام استراتيجية بناء تفضيلات خالية من التوسيم لتجنب عمليات التصنيف المكلفة من قبل الأطباء.

Sudip Bhujel2026-03-10

💬 NLP

No Memorization, No Detection: Output Distribution-Based Contamination Detection in Small Language Models

تُثبت هذه الورقة أن كشف التلوث عبر توزيع المخرجات (CDD) غير فعال إلى حد كبير بالنسبة للنماذج اللغوية الصغيرة (70 مليون - 410 مليون معلمة) لأنه يفشل في اكتشاف الحفظ الحرفي، في حين تتفوق عليه باستمرار الطرق القائمة على الاحتمالية مثل الارتياب (perplexity) واحتمالية Min-k% عبر مختلف المعايكات.

Omer Sela (Tel Aviv University)2026-03-10

🤖 machine learning

vLLM Hook v0: A Plug-in for Programming Model Internals on vLLM

تقدم هذه الورقة البحثية vLLM Hook، وهو ملحق مفتوح المصدر يتيح الوصول البرمجي والتحكم في حالات النموذج الداخلية ضمن محرك الاستدلال vLLM لدعم تقنيات المحاذاة المتقدمة في وقت الاختبار مثل كشف المطالبات العدائية، وتعزيز استرجاع المعلومات المعزز (RAG)، وتوجيه التنشيط.

Ching-Yun Ko, Pin-Yu Chen2026-03-10

🤖 machine learning

Hierarchical Latent Structures in Data Generation Process Unify Mechanistic Phenomena across Scale

تُثبت هذه الورقة أن الهياكل الهرمية ضمن عملية توليد البيانات، والتي تمت نمذجتها عبر قواعد النحو الحر الاحتمالية، تعمل كشرح موحد لظهور ظواهر ميكانيكية متنوعة مثل رؤوس الاستقراء، ومتجهات الدوال، وتأثير هيدرا في النماذج اللغوية القائمة على المحولات (Transformer).

Jonas Rohweder, Subhabrata Dutta, Iryna Gurevych2026-03-10

🤖 machine learning

Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation

تقدم هذه الورقة البحثية دمج التضمين الهرمي (HEF)، وهو إطار عمل ثنائي المراحل يقوم بضغط كود المستودع إلى تسلسل هرمي قابل لإعادة الاستخدام من المتجهات الكثيفة ويقوم برسم خرائط لها إلى رموز رمزية زائفة متعلمة، مما يتيح توليد كود مدرك للمستودع ومنخفض زمن الاستجابة بدقة تضاهي طرق الاسترجاع التقليدية مع تقليل تكاليف الاستدلال بشكل كبير.

Nikita Sorokin, Ivan Sedykh, Valentin Malykh2026-03-10

💬 NLP

A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness

تُثبت هذه الورقة أن أطر عمل "النموذج اللغوي الكبير كحَكَم" (LLM-as-a-Judge) الحالية تفشل في قياس المتانة ضد الهجمات بشكل موثوق بسبب انزياحات التوزيع غير المُحسوبة التي تُضعف الأداء إلى مستويات تقترب من العشوائية، مما يؤدي غالباً إلى تضخيم معدلات نجاح الهجوم، وتقترح الورقة معايير مرجعية جديدة لمعالجة عيوب التقييم هذه.

Leo Schwinn, Moritz Ladenburger, Tim Beyer, Mehrnaz Mofakhami, Gauthier Gidel, Stephan Günnemann2026-03-10

💬 NLP

Rethinking Personalization in Large Language Models at the Token Level

تقدم هذه الورقة البحثية PerContrast وPerCE loss، وهو نموذج تدريب على مستوى الرموز (token-level) يستخدم التدخل السببي لتحديد الرموز الخاصة بالمستخدم وزيادة وزنها بشكل تكيفي، مما يعزز بشكل كبير أداء التخصيص للنماذج اللغوية الكبيرة بتكلفة حوسبية ضئيلة.

Chenheng Zhang, Yijun Lu, Lizhe Fang, Chunyuan Zheng, Jiajun Chai, Xiaohan Wang, Guojun Yin, Wei Lin, Yisen Wang, Zhouch (…)2026-03-10

🤖 machine learning

SR-TTT: Surprisal-Aware Residual Test-Time Training

يعالج SR-TTT إخفاقات الاستدعاء الكارثية لنماذج اللغة ذات التدريب في وقت الاختبار (TTT) من خلال تقديم آلية ذاكرة متفرقة ذات بوابات خسارة تقوم بتوجيه الرموز شديدة المفاجأة ديناميكياً إلى ذاكرة تخزين مؤقت متبقية ذات انتباه دقيق، مما يحافظ على كفاءة الذاكرة بمقياس O(1) مع تمكين الاسترجاع الدقيق للمعلومات الحرجة.

Swamynathan V P2026-03-10

💬 NLP

TimeSpot: Benchmarking Geo-Temporal Understanding in Vision-Language Models in Real-World Settings

تقدم هذه الورقة TimeSpot، وهو معيار شامل يتكون من 1,455 صورة من واقع الحياة من 80 دولة، صُمم لتقييم قدرات الاستدلال الجغرافي-الزماني المحدودة لنماذج الرؤية واللغة الحالية في التنبؤ بالموقع والوقت والسياق البيئي من الأدلة البصرية وحدها.

Azmine Toushik Wasi, Shahriyar Zaman Ridoy, Koushik Ahamed Tonmoy, Kinga Tshering, S. M. Muhtasimul Hasan, Wahid Faisal (…)2026-03-10

🤖 machine learning

Orion: Characterizing and Programming Apple's Neural Engine for LLM Training and Inference

تقدم هذه الورقة نظام Orion، وهو أول نظام مفتوح المصدر ومتكامل (end-to-end) يتجاوز إطار عمل CoreML الغامض الخاص بشركة Apple لتمكين البرمجة المباشرة للمحرك العصبي (Neural Engine) لتدريب واستنتاج النماذج اللغوية الكبيرة، محققاً تسريعاً بمقدار 8.5 ضعفاً في تحديثات الأوزان من خلال آلية رقع (patching) مبتكرة، ومثبتاً استقرار تدريب نماذج ذات 110 مليون معلمة على شرائح Apple Silicon.

Ramchand Kumaresan2026-03-10

→ السابق التالي ←