11610 ورقة بحثية
تقدم الورقة البحثية إطار عمل MANTRA، الذي يقوم تلقائياً بتوليف والتحقق رسمياً من معايير قياس الامتثال القابلة للتوسع والقابلة للفحص آلياً لوكلاء النماذج اللغوية الكبيرة (LLMs) المستخدمة للأدوات، وذلك عبر توليد نماذج عالم رمزية وفحوصات على مستوى التتبع مدعومة ببرمجيات التحقق من النماذج (SMT) من أدلة إجرائية مكتوبة بلغة طبيعية.
تقدم هذه المساهمة إطاراً قائماً على نظرية القرار لتوصيف منحنيات حد التكلفة والجودة لمتواليات النماذج اللغوية الكبيرة (LLM cascades)، وتوضح أن التكاليف الهيكلية المرتبطة بالدفع مقابل توليدات النماذج الأولية غير المكلفة، بدلاً من نقص المراحل المتوسطة، تحد بشكل جوهري من مكاسب الأداء لمتواليات متعددة المراحل مقارنة باستراتيجيات التوجيه الأكثر بساطة.
تقترح الورقة البحثية GATHER، وهي طريقة استرجاع ترتكز على التقارب تحدد نقاط التقارب الطوبولوجي في رسم بياني معرفي بيولوجي لتمكين توصيف أنواع الخلايا أحادية الخلية بنمط "الصفر محاولة" (zero-shot) لاستعلامات الكيانات الفائقة بكفاءة دون استدلال تكراري من النماذج اللغوية الكبيرة، متفوقة بشكل كبير على النماذج المرجعية الحالية في الدقة مع تقليل التكاليف الحسابية بشكل جذري.
مستلهماً من النظريات المعرفية للاشتعال العالمي، يقدم هذا البحث "بصمة تنشيط مشهد العقل" (MiA-Signature)، وهي تمثيل مضغوط يعتمد على التحت-نمطية (submodular) وفعال حاسوبياً لأنماط التنشيط العالمي، مما يعزز فهم السياق الطويل في النماذج اللغوية الكبيرة (LLMs)، وأنظمة استرجاع المعلومات المعزز (RAG)، والأنظمة الوكيلية (agentic systems).
تقدم هذه الورقة مساراً معالجياً قابلاً للتوسع والنمذجة يجمع بين التصفية القائمة على القواعد وتصنيف النماذج اللغوية الكبيرة لمعالجة 527 مليون منشور من منصة "ريديت"، حيث نجح في تقليص 124.6 مليون رمز فريد إلى 1,021 مرشحاً للمصطلحات الجديدة، والتي تأكد أن 58.7% منها هي ابتكارات لغوية حقيقية من خلال التحقق اليدوي.
تقدم هذه الورقة Litespark-Inference، وهو إطار عمل قابل للتثبيت عبر pip يستفيد من نوى SIMD مخصصة لتسريع استنتاج الشبكات العصبية الثلاثية (ternary) على المعالجات المركزية الاستهلاكية عن طريق استبدال ضرب المصفوفات بالجمع والطرح الصحيح، محققاً تسريعات كبيرة وخفضاً في الذاكرة مقارنة بتطبيقات PyTorch القياسية.
تقدم هذه الورقة البحثية "Cubit"، وهي بنية جديدة للتعلم العميق تستبدل آلية الانتباه في نموذج "Transformer" بانحدار ريج المعتمد على النواة (Kernel Ridge Regression) لتوفير أساس رياضي أقوى وإثبات قدرات محسنة في نمذجة المتواليات الطويلة.
تُثبت هذه الورقة أن التكرار المعجمي، وليس المفاجأة الناتجة عن النموذج اللغوي، هو المتنبئ الرئيسي بجدة الاستعارة، مما يشير إلى أن الارتباطات المُبلغ عنها سابقاً بين المفاجأة ومعالجة الاستعارة قد تكون مربكة بفعل تأثيرات التكرار.
تقدم هذه الورقة STALE، وهو معيار وإطار تقييم مصمم لتقييم قدرة وكلاء النماذج اللغوية الكبيرة على اكتشاف وحل "التناقضات الضمنية" حيث تُبطل الأدلة الجديدة الذكريات السابقة دون نفي صريح، مما يكشف عن فجوات كبيرة في الوعي بالحالة لدى النماذج الحالية ويقترح CUPMem كنموذج أولي لتحسين مراجعة الذاكرة القوية.
تقدم هذه الورقة طريقة "تدريب التراكب الرمزي" (Token-Superposition Training - TST)، وهي طريقة جاهزة للاستخدام تعمل على تحسين إنتاجية بيانات ما قبل التدريب بشكل كبير وتقليل إجمالي وقت التدريب بما يصل إلى 2.5 ضعف دون تعديل بنية النموذج أو التوازي، وذلك من خلال دمج الرموز أولاً في حقائب لتدريب "التقاطع الإنتروبي متعدد السخاء" بكفاءة قبل العودة إلى التدريب القياسي.