23088 ورقة بحثية
تقترح هذه الورقة إطار عمل ثنائي المراحل يُمكّن من تدريب النماذج اللغوية الكبيرة متعددة الوسائط باستخدام بيانات ثنائية الوسائط فقط، وذلك عبر التحليل النظري لقابلية تحديد التمثيل وتعلم فضاء كامن مشترك من خلال إعادة البناء والتعلم التبايني، مما يحقق انتقالاً وتوليداً قوياً عبر الوسائط دون الحاجة إلى مجموعات بيانات متعددة الوسائط متوافقة تماماً.
تتقصى هذه الورقة الآليات الكامنة وراء نجاح التدريب المسبق الذاتي في تصنيف المتواليات، كاشفةً عن قدرته على تجاوز قيود التدريب الخاضع للإشراف القياسي من خلال تمكين النموذج من تعلم أنماط انتباه جوهرية قائمة على التقارب من التهيِئ العشوائي عبر إعادة البناء المقنع، وهو ما يعجز الإشراف على الملصقات وحده عن التقاطه.
تقدم هذه الورقة البحثية نموذج SpectralEarth-FM، وهو نموذج محول هرمي (hierarchical transformer) ومعه مجموعة بيانات SpectralEarth-MM التي تبلغ سعتها 40 تيرابايت، واللذان يُمكّنان من التدريب المسبق المشترك والأحدث للصور فائقة الطيف مع البيانات متعددة الأطياف، ورادار الفتحة الاصطناعية (SAR)، والبيانات الحرارية لمراقبة الأرض للتغلب على قيود النماذج التأسيسية أحادية المستشعر أو أحادية النمط.
تقدم هذه الورقة AIMBio، وهو إطار عمل أصيل في الذكاء الاصطناعي، ومُتفق مع مبادئ FAIR (قابلية الإيجاد والوصول والتبادل وإعادة الاستخدام) ومعايير الحوكمة، مُصمم لدمج البيانات المادية والطبية الحيوية المتجزئة في تدفقات عمل مغلقة وقابلة للتدقيق من أجل التحسين متعدد الأهداف المقيد في مراحل الاكتشاف والترجمة قبل السريرية.
تقدم هذه الورقة نموذج UEC-STD، وهو نموذج بسيط لتصحيح الأخطاء غير مرتبط ببنية معينة، يقوم بتفكيك التنبؤات إلى مكونات اتجاهية وموسمية للتخفيف بفعالية من تراكم الأخطاء في التنبؤ بالسلاسل الزمنية العميقة طويلة المدى دون الحاجة إلى إعادة تدريب المتنبئ الأساسي.
تقترح الورقة البحثية إطار عمل UOTIP، وهو إطار عمل مبتكر لمشكلات الصور غير المزدوجة العكسية يستفيد من النقل الأمثل غير المتوازن مع دالة تكلفة قائمة على الاحتمالية لتحقيق أداء إعادة بناء قوي ورائد في مجاله عبر سيناريوهات ضجيج متنوعة، مع ضمان وجود وفرادة خريطة النقل من الناحية النظرية.
تقدم الورقة البحثية HORST، وهو مُحسِّن معياري يجمع بين خطوات تشغيل غير تبادلية لدمج استقرار الطرق التكيفية مع انحياز تشتت عبر خريطة مرآة زائديّة، متفوقاً بشكل ملحوظ على AdamW في تدريب المحولات (transformers) المتفرقة عبر مهام الرؤية واللغة.
تقدم هذه الورقة طريقة "مونت كارلو المتغيرة المتوازية" (PVMC)، وهي طريقة تدريب جديدة تسد الفجوة بين الترميز التلقائي المتغير ونهج مونت كارلو المتسلسل لتمكين تدريب قوي وقابل للتوسع وأسرع بـ 10 مرات لنماذج فضاء الحالة العميقة لكل من المهام التمييزية والتوليدية.
تقترح هذه الورقة البحثية Linear-DPO، وهو إطار عمل موحد لتحسين التفضيلات يشتق هدفاً عاماً لكل من نماذج الانتشار (diffusion) ونماذج مطابقة التدفق (flow-matching) عن طريق استبدال المنفعة القياسية القائمة على دالة السيجمويد (sigmoid) بمنفعة خطية ونموذج مرجعي يتم تحديثه عبر المتوسط المتحرك الأسي (EMA) للتغلب على عدم توافق الأهداف وتحسين محاذاة توليد الصور من النصوص.
تحدد هذه الورقة "انهيار الميزة" (Advantage Collapse) كنمط فشل حرج في تحسين السياسة النسبية للمجموعات (GRPO) يتسبب في ركود التدريب، وتقترح "تحسين سياسة العينات الافتراضية التكيفي" (AVSPO)، وهي طريقة خفيفة الوزن تستخدم عينات مكافأة افتراضية للتخفيف من هذه المشكلة وتحسين أداء الاستنتاج بشكل كبير عبر مختلف أحجام النماذج.