11158 ورقة بحثية
تقترح هذه الورقة HetRoute، وهو إطار عمل للتوجيه التعاوني لاستنتاج نماذج خليط الخبراء (MoE) الموزعة عند الحافة، والذي يوحد تكاليف الإرسال والحوسبة والجودة في نموذج واحد لتحسين وضع الخبراء والتوجيه عبر الإنترنت، محققاً بذلك تخفيضات كبيرة في زمن الاستجابة وحركة المرور مع الحفاظ على قيود الجودة.
تجادل هذه الورقة بأن التحدي الرئيسي في تحديد التبديل اللغوي بين الكازاخية والروسية لا يكمن في اختيار نموذج تحديد اللغة، بل في حدود التوسيم التي تميز بين الكلمات المستعارة المدمجة والتبديل اللغوي الفعلي، وهو تمييز تم توضيحه من خلال مجموعة بيانات ذهبية جديدة كليًا على مستوى المستند ومنهج نهجي يعتمد على التصفية أولاً.
تُثبت هذه الورقة أن التحقق القياسي لكل جزء (per-chunk) يفشل في أنظمة التوليد المعزز بالاسترجاع متعدد القفزات (multi-hop RAG) لأن أي وثيقة مسترجعة بمفردها لا تكون كافية للإجابة على السؤال، وتقترح أن جعل عملية التحقق مشروطة بأسئلة فرعية مفككة يعالج هذا القصور بفعالية من خلال تحسين درجات الاستلزام بشكل كبير.
تقدم هذه الورقة HEIMAT، وهو إطار عمل آلي لإزالة التحيز قائم على الاستدلال يجمع بين الكشف عن التحيز الموجه بالقوالب وبين الضبط الدقيق لتقليل التباين من أجل التخفيف بفعالية من التحيزات الثقافية في النماذج اللغوية مع الحفاظ على قدراتها في فهم اللغة الطبيعية، مما يوفر بديلاً قابلاً للتوسع للطرق الحالية المكلفة.
تقدم هذه الورقة TreeProbe، وهو أول معيار اختبار صُمم لتقييم التحيز الثقافي في النماذج اللغوية الكبيرة من خلال اختبار مدى التزامها بالإطار النظري الهيكلي للطب التبتي، مما يكشف أن النماذج الحالية غالباً ما تظهر انحرافاً معرفياً منهجياً نحو نماذج الطب الحيوي السائدة أو الطب الصيني التقليدي.
تقدم الورقة البحثية OpenART، وهي ساحة مفتوحة وقابلة للتوسع تضم أكثر من 10,000 سيناريو حالة، وطريقة هجوم المخطط الفائق التطور لـ ماركوف (EMHA)، والتي تثبت أن تطور حالات البيئة يكشف بشكل كبير عن إخفاقات السلامة في وكلاء الذكاء الاصطناعي التي تغفلها الاختبارات المعيارية الثابتة التقليدية، محققةً معدل نجاح هجوم بنسبة 85.0% عبر تكوينات متنوعة.
يُعد RAGOCR إطار عمل مبتكرًا يقوم بضغط المستندات المسترجعة إلى تمثيلات بصرية مشروطة بالاستعلام مع آلية دقة ديناميكية، محققًا دقة أعلى بنسبة تزيد عن 15% من نظام RAG القياسي مع تقليل الرموز المدخلة بنسبة 87.5% والتفوق على النماذج المرجعية الحالية للضغط الصلب واللين.
تتحدى هذه الورقة البحثية الادعاء بأن النماذج اللغوية الكبيرة تتعلم المعرفة التجريدية قبل التفاصيل الخاصة بكل عنصر، وذلك من خلال إثبات أن نماذج الحفظ الصرف يمكنها محاكاة أنماط التعلم هذه اعتماداً على توزيع المدخلات، مما يشير إلى أن التمييز بين المعرفة الخاصة بالعنصر والمعرفة التجريدية قد يكون غير محدد بدقة بالنسبة للتمثيلات الموزعة.
تقدم هذه الورقة البحثية "Pruned BPE"، وهي طريقة لما بعد التدريب تعمل على تحسين كفاءة التجزئة (tokenization) عن طريق إخفاء رموز الدمج الوسيطة ذات التعرض المنخفض من مفردات النموذج وإعادة تخصيص تلك الحيز للمرشحين الأكثر تكراراً، مما يؤدي إلى تقليل طول التسلسل المشفر دون زيادة حجم المفردات المرئية للنموذج.
تُظهر هذه الدراسة التجريبية أن عملية ضغط ذاكرة التخزين المؤقت لمفاتيح القيم (KV cache) العملية عبر الإنترنت لوكلاء النماذج اللغوية الكبيرة (LLM agents) يمكن أن تحقق تقليلاً كبيراً في الذاكرة ومكاسب في معدل الإنتاجية من خلال تأخير عملية الضغط حتى تتوفر استعلامات الوكيل المستقبلية واستخدام طرد الرموز (token eviction) مع مصادر وكيلة قوية، بدلاً من الاعتماد على افتراضات السياق الفورية أو الثابتة.