💬 Category

cs.CL

11158 ورقة بحثية

🤖 AI

Positional Encoding via Token-Aware Phase Attention

تقدم هذه الورقة البحثية "انتباه الطور المدرك للرموز" (TAPA)، وهو أسلوب جديد للترميز الموضعي يتغلب على قيود نمذجة المدى الطويل المتأصلة في (RoPE) من خلال دمج دالة طور قابلة للتعلم، مما يحقق تفوقاً في الأداء من حيث الحيرة (perplexity) والاسترجاع في سيناريوهات السياق الطويل مع حد أدنى من التدريب الإضافي.

Yu Wang, Sheng Shen, Rémi Munos, Hongyuan Zhan, Yuandong Tian2026-05-12
💬 NLP

LogitTrace: Detecting Benchmark Contamination via Layerwise Logit Trajectories

تقدم هذه الورقة LogitTrace، وهو إطار عمل يكشف عن تلوث المعايير المرجعية في النماذج اللغوية الكبيرة من خلال تحليل مسارات "اللوجيت" (logit) على مستوى الطبقات للتمييز بين أنماط الالتزام المبكر للأمثلة المحفوظة والتراكم التدريجي للأدلة للاستجابات المستنتجة حقاً.

Zirui He, Haiyan Zhao, Yingcong Li, Ali Payani, Mengnan du2026-05-12
🤖 AI

Users as Annotators: LLM Preference Learning from Comparison Mode

تقترح هذه الورقة طريقة للاستفادة من بيانات التفضيل الزوجي التي يولدها المستخدمون من أوضاع مقارنة النماذج اللغوية الكبيرة عبر إدخال خوارزمية توقع-تعظيم (expectation-maximization) تستنتج عوامل جودة المستخدم الكامنة من خلال استجابات النماذج غير المتماثلة، مما يتيح تصفية فعالة للبيانات وتحسين محاذاة النماذج اللغوية الكبيرة.

Zhongze Cai, Xiaocheng Li2026-05-12
🤖 machine learning

LILO: Bayesian Optimization with Natural Language Feedback

تقدم هذه الورقة البحثية LILO، وهو إطار عمل للتحسين البايزي يستفيد من النماذج اللغوية الكبيرة لتحويل التغذية الراجعة باللغة الطبيعية الحرة إلى إشارات تفضيل مهيكلة، مما يعزز كفاءة العينات والمرونة في تحسين الأهداف المعقدة والذاتية مقارنة بالطرق التقليدية.

Katarzyna Kobalczyk, Zhiyuan Jerry Lin, Benjamin Letham, Zhuokai Zhao, Maximilian Balandat, Eytan Bakshy2026-05-12
🤖 machine learning

TELL-TALE: Task Efficient LLMs with Task Aware Layer Elimination

تقدم الورقة البحثية TALE، وهي طريقة أثناء وقت الاستدلال تعمل ديناميكيًا على استبعاد الطبقات غير ذات الصلة في النماذج اللغوية الكبيرة لتحسين الأداء الخاص بالمهمة وتقليل التكاليف الحسابية دون الحاجة إلى إعادة التدريب.

Omar Naim, Krish Sharma, Niyar R Barman, Nicholas Asher2026-05-12
🤖 machine learning

Complete Evidence Extraction with Model Ensembles: A Case Study on Medical Coding

تقدم هذه الورقة مهمة استخراج أدلة كاملة للترميز الطبي عالي المخاطر، وتوضح أن تجميع عمليات الإسناد على مستوى الرمز (token-level attributions) من مجموعة صغيرة من النماذج (مجموعة راشومون/Rashomon ensemble) يحسن بشكل كبير استدعاء الأدلة مع حد أدنى من التكاليف الإضافية مقارنة بالنماذج الفردية.

Katharina Beckh, Sven Heuser, Stefan Rüping2026-05-12
💬 NLP

Attention Grounded Enhancement for Visual Document Retrieval

تقترح الورقة البحثية إطار عمل AGREE، الذي يستفيد من الانتباه عبر الوسائط (cross-modal attention) من النماذج اللغوية الكبيرة متعددة الوسائط كإشراف بديل لتوجيه مسترجعي الوثائق البصرية في تعلم صلة دقيقة على مستوى المنطقة، مما يحسن الأداء بشكل كبير في الاستعلامات المعقدة غير الاستخراجية مقارنة بالنماذج المرجعية التي تعتمد على الإشراف العالمي فقط.

Wanqing Cui, Wei Huang, Yazhi Guo, Yibo Hu, Meiguang Jin, Junfeng Ma, Keping Bi2026-05-12
🤖 AI

Auditing Data Membership in Reinforcement Learning With Verifiable Rewards

تقدم هذه الورقة البحثية إطار عمل "تدقيق التباعد في السلوك" (DIBA)، وهو إطار عمل ذو صندوق أبيض يكشف بفعالية عن التعرض غير المصرح به للبيانات في التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) من خلال تحليل التحولات في التوزيع السلوكي وتوزيع جانب المكافأة بين نقاط تفتيش النموذج قبل وبعد عملية الـ RLVR، متفوقاً بشكل كبير على خطوط الأساس الحالية للاستدلال بالانتماء.

Yule Liu, Heyi Zhang, Jinyi Zheng, Zhen Sun, Zifan Peng, Jiaheng Wei, Tianshuo Cong, Yilong Yang, Xinlei He2026-05-12
🤖 machine learning

MapFormer: Self-Supervised Learning of Cognitive Maps with Input-Dependent Positional Embeddings

تقدم الورقة البحثية MapFormer، وهي بنية جديدة قائمة على الـ Transformer تستخدم تضمينات موضعية تعتمد على المدخلات مشتقة من مولدات جبر Lie لتعلم خرائط معرفية غير خاضعة للإشراف، مما يحقق تعميماً فائقاً خارج نطاق التوزيع وقابلية توسع عبر مهام معرفية متنوعة مقارنة بنماذج الذكاء الاصطناًعي الحالية.

Victor Rambaud, Salvador Mascarenhas, Yair Lakretz2026-05-12
🤖 machine learning

Rethinking Expert Trajectory Utilization in LLM Post-training for Mathematical Reasoning

تقدم هذه الورقة إطار عمل "سقف اللدونة" (Plasticity-Ceiling Framework) لتوضيح أن مسار التدريب المتسلسل المتمثل في الضبط الدقيق الموجه (SFT) يليه التعلم المعزز (RL)، والذي يبدأ عند مرحلة الاستقرار أو الإفراط الطفيف في التخصيص لـ SFT باستخدام بيانات واسعة النطاق، يتفوق على الأساليب المتزامنة ويفند فرضية "الأقل هو الأكثر" لتعظيم قدرات الاستدلال الرياضي في النماذج اللغوية الكبيرة (LLMs).

Bowen Ding, Yuhan Chen, Jiayang Lyv, Jiyao Yuan, Qi Zhu, Shuangshuang Tian, Dantong Zhu, Futing Wang, Heyuan Deng, Fei M (…)2026-05-12