cs.LG ورقة بحثية

Hierarchical Concept Geometry in Language Models Emerges from Word Co-occurrence

تقترح هذه الورقة وتثبت نظرية توزيعية تُظهر أن البنية الهندسية الهرمية للمفاهيم في النماذج اللغوية تنبثق بشكل طبيعي من الخصائص الطيفية لإحصاءات التوافق اللفظي، بدلاً من تطلب آليات وظيفية متخصصة.

Andres Nava, Matthieu Wyart2026-05-25

🤖 machine learning

It's the humans, not the data: Geopolitical bias in LLMs originates in post-training, amplified by the language of the prompt

تُظهر هذه الدراسة أن التحيز الجيوسياسي في النماذج اللغوية الكبيرة يتم إدخاله وتضخيمه بشكل أساسي خلال مرحلة محاذاة ما بعد التدريب بدلاً من كونه موروثاً من بيانات ما قبل التدريب، مع تباين اتجاه وحجم هذه التحيزات باختلاف منطقة المطور واللغة المستخدمة في التلقين.

Stuart Bladon, Brinnae Bent2026-05-25

📊 statistics

Entrywise Error Bounds for Spectral Ranking with Semi-Random Adversaries

تثبت هذه الورقة أنه في حين أن طرق التصنيف الطيفي غير الموزونة تحت أخذ عينات الحواف شبه العشوائية تكون حساسة للخصائص الطيفية للرسم البياني، إلا أنه يمكن استعادة أدائها لتطابق الرسوم البيانية التي يتم أخذ عينات منها بانتظام من خلال إعادة وزن الحواف المرصودة بشكل مناسب لمواجهة الاضطرابات العدائية.

Dongmin Lee, Anuran Makur, Japneet Singh2026-05-25

💬 NLP

Strong Teacher Not Needed? On Distillation in LLM Pretraining

تتحدى هذه الورقة البحثية الاعتقاد السائد بأن تدريب النماذج اللغوية الكبيرة مسبقاً يتطلب معلماً قوياً لضمان فعالية تقطير المعرفة، حيث تثبت أن حتى المعلمين الصغار أو غير المدربين تدريباً كافياً يمكنهم تحسين الطلاب الأكبر حجماً عند خلط دوال الخسارة بشكل مناسب، في حين أن المعلمين الأقوى لا يؤدي وجودهم دائماً إلى نتائج أفضل.

Taiming Lu, Zhuang Liu2026-05-25

🤖 AI

Leveraging Foundation Models for Causal Generative Modeling

تقدم هذه الورقة FM-CGM، وهو إطار عمل معياري يستفيد من النماذج التأسيسية سابقة التدريب وآلية توجيه دلالي سببي مبتكرة لتمكين الاكتشاف السببي، والتدخل، وتوليد الصور الواقعي المضاد للواقع (counterfactual) ضمن مسار موحد في مرحلة الصفر (zero-shot).

Aneesh Komanduri, Xintao Wu2026-05-25

🤖 AI

CHRONOS: Temporally-Aware Multi-Agent Coordination for Evolving Data Marketplaces

تُعد CHRONOS بنية ثلاثية الطبقات لأسواق بيانات الرسوم البيانية المعرفية الزمنية، توحد بين تحسين الاستدعاء القائم على المعادلات التفاضلية العادية العصبية (neural-ODE)، وتسعير شابلي المدرك لنقاط التغيير، والخصوصية التفاضلية لـ EXP3-IX، لمعالة الإخفاقات المزدوجة المتمثلة في فهرسة البيانات القديمة، وسوء عزو القيمة، والاستهلاك المفرط للميزانية في بيئات البيانات المتطورة.

Joydeep Chandra2026-05-25

🔢 mathematics

TreeDQN: Sample-Efficient Off-Policy Reinforcement Learning for Combinatorial Optimization

تقترح الورقة البحثية TreeDQN، وهي طريقة تعلم تعزيزي غير متصلة بالسياسة (off-policy) ذات كفاءة في استخدام العينات، تعمل على تحسين المتوسط الهندسي للعائد المتوقع وتستند نظرياً إلى إثبات خاصية التقلص (contraction property)، مما يمكنها من التفوق بشكل كبير على النهج المتصلة بالسياسة (on-policy) الحالية في كل من سرعة التدريب والأداء في مهام التحسين التوافقي.

D. Sorokin, A. Kostin, L. Savchenko, G. Gusev, A. V. Savchenko2026-05-22

🤖 machine learning

Measuring Variable Importance in Heterogeneous Treatment Effects with Confidence

تقدم الورقة البحثية PermuCATE، وهو خوارزمية صارمة إحصائياً تعتمد على أهمية التبديل الشرطي (Conditional Permutation Importance)، توفر تباينًا أقل وقوة إحصائية أعلى من الطرق الحالية لتقييم أهمية المتغيرات العالمية في تأثيرات العلاج غير المتجانسة، مما يجعلها فعالة بشكل خاص للاستدلال السببي في التطبيقات الطبية الحيوية ذات البيانات المحدودة أو المترابطة.

Joseph Paillard, Angel Reyero Lobo, Vitaliy Kolodyazhniy, Bertrand Thirion, Denis A. Engemann2026-05-22

⚡ electrical engineering

Music102: An $D_{12}$ -equivariant transformer for chord progression accompaniment

تقدم الورقة البحثية Music102، وهو محول (transformer) كفء في المعلمات ومتماثل وفق التناظر $D_{12}$ ، يستفيد من التماثلات الموسيقية مثل النقل والانعكاس ليتفوق بشكل كبير على سلفه غير المتماثل في مهام مرافقة تتابع الكوردات على مجموعة بيانات POP909.

Weiliang Luo2026-05-22

🤖 machine learning

Leveraging Multi-Temporal Sentinel 1 and 2 Satellite Data for Leaf Area Index Estimation With Deep Learning

تقترح هذه الورقة إطار عمل جديد للتعلم العميق يدمج بيانات الأقمار الصناعية Sentinel-1 وSentinel-2 متعددة الفترات الزمنية باستخدام وحدات U-Net سابقة التدريب وفك تشفير مدرك للموسمية لتحقيق تقدير دقيق للغاية لمؤشر مساحة الأوراق على مستوى البكسل بجذر متوسط مربع خطأ (RMSE) قدره 0.06 ومعامل تحديد (R²) قدره 0.93.

Clement Wang, Antoine Debouchage, Valentin Goldité, Aurélien Wery, Jules Salzinger2026-05-22

→ السابق التالي ←

cs.LG

Hierarchical Concept Geometry in Language Models Emerges from Word Co-occurrence

It's the humans, not the data: Geopolitical bias in LLMs originates in post-training, amplified by the language of the prompt

Entrywise Error Bounds for Spectral Ranking with Semi-Random Adversaries

Strong Teacher Not Needed? On Distillation in LLM Pretraining

Leveraging Foundation Models for Causal Generative Modeling

CHRONOS: Temporally-Aware Multi-Agent Coordination for Evolving Data Marketplaces

TreeDQN: Sample-Efficient Off-Policy Reinforcement Learning for Combinatorial Optimization

Measuring Variable Importance in Heterogeneous Treatment Effects with Confidence

Music102: An D12D_{12}D12​-equivariant transformer for chord progression accompaniment

Leveraging Multi-Temporal Sentinel 1 and 2 Satellite Data for Leaf Area Index Estimation With Deep Learning

Music102: An $D_{12}$ -equivariant transformer for chord progression accompaniment