FG-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control
تقدم الورقة البحثية FG-GDN، وهي بنية مبتكرة تعزز شبكات دلتا المبوّبة (Gated Delta Networks) عبر استبدال معدلات التعلم القياسية بمتجهات تكيفية لكل قناة وفصل قياس المفتاح والقيمة (key-value scaling)، مما يؤدي إلى تحسين الاستدعاء الترابطي وفهم السياق الطويل بشكل كبير مع الحفاظ على الكفاءة الحسابية.