22898 ورقة بحثية
تتقصى هذه الورقة ديناميكيات التعلم لرؤوس الانتباه في نماذج المحولات (Transformer) في مهام استدلالية متكافئة بنيوياً، كاشفةً أن التعلم الناجح يتضمن ظهور آليات تموضع وآليات رمزية متميزة، حيث تُظهر الأخيرة متانة وقدرة على التعميم على التسلسلات الأطول مقارنة بالأولى.
تقدم هذه الورقة "الانتباه الوظيفي" (Functional Attention)، وهو أسلوب تعلم عامل جديد يعيد تفسير الانتباه كعوامل خطية مهيكلة بين قواعد تكيفية لالتقاط التبعيات الوظيفية العالمية، مما يوفر بديلاً غير مرتبط بالدقة وقابلاً للتعميم لآلية الانتباه التقليدية القائمة على الرموز (token-wise attention) لمهام مثل حل المعادلات التفاضلية الجزئية (PDE) والتقسيم ثلاثي الأبعاد.
تقترح الورقة البحثية KLIP، وهو مقياس جديد للكشف عن البيانات خارج التوزيع للمشكلات العكسية يستفيد من تباعد كولباك - ليبلر بين التوزيعات المسبقة للانتشار والتوزيعات اللاحقة لتحديد وتوطين التحولات الطفيفة في التوزيع دون الحاجة إلى بيانات معايرة أو معرفة بالتوزيع المزاح.
تقترح هذه الورقة خوارزمية فعالة حاسوبياً لإكمال المصفوفات تستفيد من الرسوم البيانية والرسوم البيانية الفائقة الاجتماعية المرصودة لتحقيق عتبة حادة للاسترداد الدقيق، مما يثبت أن جودة الرسم البياني الفائق تقلل بشكل كبير من احتمالية العينة وتتفوق على الأساليب الحديثة في كل من التحليل النظري والتجارب الواقعية.
تقترح هذه الورقة نهجاً جديداً للتكيف مع النطاق من أجل الكشف المبكر عن المعلومات المضللة أثناء الأوبئة المعلوماتية، والذي يثبت نظرياً وتجريبياً ضرورة معالجة كل من انزياح المتغيرات وانزياح المفاهيم للتفوق على الأساليب الحالية المتطورة.
تقترح هذه الورقة البحثية إطار عمل GLEAN، وهو إطار دفاع معتمد يستفيد من تعلم العوامل السببية لفصل العلاقات السببية عن الارتباطات الزائفة، مما يمكّن النماذج من الحفاظ على ضمانات المتانة النظرية ضد الهجمات العدائية حتى عند مواجهة تحولات التوزيع عبر مجالات بيانات مختلفة.
توسع هذه الورقة منهجية أشجار التجميع القابلة للتفسير (E2Tree)، المصممة أصلاً للتصنيف، لتشمل سياقات الانحدار من خلال الاستفادة من مقاييس عدم التشابه لتمثيل العلاقات بين المتنبئ والاستجابة، وكذلك الارتباطات بين المتنبئات، بيانياً، مما يعزز شفافية نماذج الغابات العشوائية.
تستعرض هذه الورقة الحالة الراهنة للثغرات الأمنية في النماذج اللغوية الكبيرة، مع التركيز بشكل خاص على هجمات كسر الحماية (jailbreaking) وحقن الأوامر (prompt injection)، بينما تحلل استراتيجيات الدفاع الحالية، ومقاييس التقييم، والاتجاهات البحثية المستقبلية لتعزيز أمن النماذج اللغوية الكبيرة ونشرها الآمن.
تقترح هذه الورقة طريقة جديدة للاستدلال المتغير للتدرج العشوائي الواعي بالضجيج، والتي توسع نطاق الاستدلال البايزي ذي الخصوصية التفاضلية ليشمل النماذج عالية الأبعاد وغير المترافقة، مما يوفر تقييمات دقيقة للمواقع اللاحقة وتنبؤات جيدة المعايرة حيث تفشل النهج الحالية.
تقدم هذه الورقة إطار عمل "هومولوجيا التداخل" (overlap homology) الخالي من المقاييس، والذي يستفيد من البنية الخطية المجزأة لشبكات "ReLU" العصبية لتعريف فضاء قسمة، مما يتيح الحساب الجوهري لأعداد "بيتي" (Betti numbers) التي تتبع الميزات الطوبولوجية البحتة للتمثيلات العصبية بدلاً من الميزات الهندسية.