11419 ورقة بحثية
تقترح هذه الورقة "المُجزئ الموحد" (One Tokenizer)، وهي بنية متعددة الوسائط أصلية تلغي الفجوة الهندسية بين الأنماط من خلال رسم خرائط لجميع المدخلات في فضاء رموز موحد، مما يتيح قدرة فائقة على الاستنتاج العميق ويتفوق على النهج النمطي التقليدي في مهام الحمض النووي والنصوص.
تقترح هذه الورقة إطار عمل للتحقق من الرحلة الكاملة يضمن الترجمة الوفية من اللغة الطبيعية إلى اللغة الرسمية عبر الترجمة التكرارية العكسية إلى اللغة الطبيعية، والتحقق من التكافؤ المنطقي، وتطبيق إصلاحات محددة النطاق موجهة بالتشخيص لتصحيح الأخطاء دون الحاجة إلى تعليقات توضيحية للحقيقة الأرضية.
تقدم هذه الورقة آلية انتباه "سينكهورن" (Sinkhorn) قابلة للتفاضل على مستوى الكتل للنقل الأمثل المتوازن ذي السياق الطويل على أجهزة TPU، والتي تستخدم بديل صقل ذيل ثابت العمق وموقوف الأساس لتحقيق تدرجات خلفية دقيقة مع تقليل تعقيد الذاكرة، مع توفير ضمانات نظرية للتحيز والانكماش وإظهار تحسن في إعادة البناء وأداء الإنتروبيا المتقاطعة المتناثرة على مجموعات بيانات بروتين Pfam.
تقترح هذه الورقة أن الاستدلال في النماذج اللغوية الكبيرة هو عملية ديناميكية جوهرية تحكمها قيود هندسية ومعلوماتية، حيث لا ينبثق الأداء الفعال إلا عندما تنظم ديناميكيات الاستدلال الداخلي نفسها ذاتياً في متشعبات منخفضة الأبعاد تحافظ على حجم معلوماتي غير متحلل، مما يتيح إطاراً تشخيصياً جديداً خالياً من التسميات.
تقدم هذه الورقة البحثية مفهوم "التنافس الميزاتي" (feature rivalry) كأزواج من ميزات المشفر التلقائي المتناثر (Sparse Autoencoder) ذات ارتباط سلبي، والتي تعمل كبصمة ميكانيكية لعدم اليقين في نموذج Gemma-2-2B، حيث تُظهر أن المطالبات عالية الإنتروبيا تُحفز تنافساً أقوى عند طبقات محددة، وأن التوجيه عبر محاور التنافس يؤثر سببياً على المخرجات، وأن درجات التنافس يمكنها التنبؤ بصحة الإجابة.
تقدم الورقة البحثية MULTITEXTEDIT، وهو معيار مرجعي منضبط يمتد عبر 12 لغة ومقياساً جديداً لدقة اللغة، لتوضيح أن أنظمة تحرير النصوص داخل الصور الحالية تعاني من تدهور كبير في دقة اللغات عبر اللغات، لا سيما في دقة الخطوط للغات غير اللاتينية، على الرغم من الحفاظ على البنية البصرية العالمية.
تُثبت هذه الورقة أن نموذج لغة كبير رائد (Claude) متصل بنظام جبر حاسوبي (Maple) ومعزز بالتعلم في السياق عبر أمثلة محلولة، يمكنه تنفيذ حسابات خوارزمية معقدة في الفيزياء النظرية بشكل موثوق، وتحديداً للاضطرابات الكونية في نظريات الجاذبية المعدلة، مع تحديد القيود الحالية واستراتيجيات التحسين أيضاً.
تكشف هذه الورقة أن نماذج التعلم في السياق مقيدة ميكانيكيًا بمعاملة الرموز الموضحة كقاموس شامل، مما يؤدي إلى انهيار الدقة عندما تُملأ خانات التسمية برموز متجانسة أو حتى رموز صالحة دلاليًا، وهي ظاهرة تتركز في دوائر عصبية محددة تتجاوز الفهم الدلالي عبر استرجاع الرموز القائم على التنسيق.
تُثبت هذه الورقة أن تطبيق الروابط الفائقة المقيدة بالمنوع (mHC) على نماذج فضاء الحالة (SSMs) يحسن بشكل كبير أداء نمذجة اللغة على مجموعة بيانات WikiText-2 من خلال تقييد خلط التدفق المتبقي بمصفوفات ثنائية العشوائية ودمج محولات متخصصة في التدفق، مما يحقق انخفاضاً في الحيرة مع زيادات طفيفة فقط في تكاليف الذاكرة والإنتاجية.
تُظهر هذه الورقة أنه بينما تُعد دوائر النماذج اللغوية المُحددة متسقة للغاية وضرورية لأداء المهام، إلا أنها تفتقر إلى خصوصية المهمة بسبب التداخل الكبير بين المهام، مما يتحدى فائدة هذا الإطار للتدخل المستهدف والفهم.