Dual Soft-Adaptive Aggregation for Long-Context LLMs_ Mitigating Sequence-and-Depth Information Dilution
تقترح هذه الورقة إطار عمل تجميعي موحد مرن وتكيفي يخفف من تخفيف معلومات التسلسل والعمق في النماذج اللغوية الكبيرة ذات السياق الطويل عبر تقديم آلية Soft-ChunkAttn للتقطيع الدلالي القابل للتفاضل، وآلية Virtual Dynamic Block-AttnRes لدمج الطبقات المتكيف مع المدخلات، كل ذلك مع الحفاظ على الرسم البياني الحسابي الأصلي لضمان كفاءة النشر على وحدات معالجة الرسومات.