22512 ورقة بحثية
تقدم هذه الورقة خرائط التدفق الكامنة ذات النواة المنفصلة (LKF)، وهي نواة خرائط تدفق مبتكرة تُبنى من الصفر تتيح توليد نصوص منفصلة عالية الجودة في خطوات قليلة، وذلك من خلال نمذجة تحديثات الرموز المترابطة عبر متغير كامن مشترك، مما يتغلب على قيود الاستقلال في النماذج المعاملة (factorized models) القياسية ويتفوق على أجهزة أخذ العينات الحالية المقطرة أو المصححة ذات الخطوات القليلة.
تقترح هذه الورقة نموذج تضمين سلوكي خفيف الوزن يعتمد على إنتروبيا توازن ناش وحساسية الاستجابة للتنبؤ بنجاح بكيفية نقل الضبط الدقيق على ألعاب ذات صيغة عادية محددة للقدرات الاستراتيجية إلى ألعاب غير مرئية في النماذج اللغوية الكبيرة، متفوقة بذلك على التضمينات الهيكلية الحالية التي تكتفي بمجرد حفظ هويات الألعاب.
تُثبت هذه الورقة أن الحذف الدقيق من ذاكرة النموذج اللغوي يتحدد بشكل أساسي من خلال التمثيل الذاكري، حيث يمكن إزالة السجلات القابلة للعنونة عبر الطرح الجبري، بينما تتطلب الكتابات المتشابكة إعادة بناء قائمة على إعادة التشغيل لتحقيق استعادة الحالة بتطابق تام لكل بت.
تقترح هذه الورقة استخدام تمثيلات متوافقة مع السلوك، ولا سيما آثار النهاية الطرفية للمنفذ، ضمن نماذج الرؤية واللغة والعمل لتوحيد بيانات متنوعة عابرة للأجساء وتحسين أداء نقل الروبوت بشكل كبير، محققةً زيادة بنسبة 28% في إكمال المهام في العالم الحقيقي بعد التدريب المسبق في المحاكاة.
تقدم هذه الورقة مشفراً مستقلاً عن المخطط (montage-agnostic) يستخدم أوزاناً مشتركة وإحداثيات الأقطاب الكهربائية الفيزيائية لتمكين التعرف على الإيماءات عبر المستخدمين من تخطيط كهربائية العضلات السطحية بجهد معايرة منخفض، مما يظهر أداءً فائقاً على النماذج التقليدية الخاصة بكل مستخدم عبر مجموعات بيانات متعددة، مع الكشف عن أن متانة النموذج تعتمد على دقة الإشارة وقوة خط الأساس أكثر من اعتمادها على حجم مجمع التدريب.
تقترح هذه الورقة مشفراً غير مرتبط بتخطيط الأقطاب الكهربائية يتم تدريبه على بيانات جلسة واحدة، ويحافظ على التعرف القوي على الإيماءات عبر التخطيط العضلي الكهربائي دون الحاجة إلى إعادة المعايرة، محققاً أداءً متفوقاً على المسارات القياسية ومثبتاً أن محاذاة إحصائيات الميزات بدون تسميات يمكن أن تستعيد بفعالية دقة تضاهي جلسة معايرة واحدة موسومة.
تقدم هذه الورقة دراسة حالة صناعية شاملة حول ترتيب خلاصات المحتوى غير المتجانس في "Google Discover"، حيث تقدم بنية HA-MoE للتعلم التكيفي متعدد المهام وإطار عمل LENS للمراقبة لإدارة تنوع المحتوى بفعالية مع تحسين كل من المقاييس غير المتصلة بالإنترنت وتفاعل المستخدم عبر الإنترنت.
يُعد Prox إطار عمل لا يتطلب إعادة تدريب، يُمكّن من تنفيذ طبقات التغذية الأمامية (FFN) من نوع SwiGLU المتفرقة بكفاءة في النماذج اللغوية الكبيرة عبر بناء أقنعة للقنوات من خلال تقريب أهمية القنوات الوسيطة، مما يحقق تسريعاً كبيراً وجودة نموذج فائقة مقارنة بالطرق الحالية دون الحاجة إلى إعادة التدريب.
تقترح الورقة البحثية Compliance2LoRA، وهو إطار عمل قائم على الشبكة الفائقة (hypernetwork) يقوم بتوليد محولات LoRA عند الطلب لتمكين نموذج استدلال ضخم واحد من الالتزام ديناميكيًا بمجموعات فرعية عشوائية من سياسات السلامة دون العبء التجميعي لتدريب نماذج منفصلة أو التكاليف الحسابية للتعلم بالسياق الطويل.
تقدم هذه الورقة البحثية "العودة من المستقبل" (Back from the Future)، وهي استراتيجية لطرد ذاكرة التخزين المؤقت للقيم المفتاحية (Key-Value cache) لا تتطلب تدريباً، تعمل على تحديد وإزالة الرموز الزائدة عبر الاستفادة من الانتباه العكسي السببي (counter-causal attention) لقياس مدى إمكانية التنبؤ بالرموز الماضية من السياق المستقبلي، مما يؤدي إلى تقليل استهلاك الذاكرة وزمن انتقال الاستدلال مع الحفاظ على أداء تنافسي عبر مختلف النماذج اللغوية الكبيرة.