11070 ورقة بحثية
تقدم هذه الورقة مراجعة مقارنة للنماذج القائمة على تقنية المحولات (Transformer)، وتحديداً BERT وRoBERTa وBART، حيث تحلل بنياتها واستراتيجيات التدريب المسبق الخاصة بها لتقييم مدى ملاءمتها لمهام التلخيص التلقائي للنصوص الاستخراجي والتجريدي.
تقترح هذه الورقة بنية متعددة الوكلاء قائمة على لغة "رست" (Rust) تعيد صياغة هلوسات النماذج اللغوية الكبيرة كسمة إبداعية من خلال تنسيق التوتر بين التوليد التأملي عالي الإنتروبيا والتأصيل التجريبي منخفض الإنتروبيا، مبرهنةً على أن مثل هذا النظام يتفوق في إنتاج فرضيات علمية قابلة للتطبيق، وتحديداً عندما يجب أن تستوفي قيوداً فيزيائية أو مؤسسية صارمة.
تكشف هذه الورقة أن النصوص غير المرتبطة بالمهمة في النماذج اللغوية الكبيرة متعددة الوسائط تحيز أحكام الرؤية الثنائية بشكل منهجي عبر إحداث تحويل تآلفي يمكن التنبؤ به في هوامش القرار، مما يميز هذا التأثير كتشويه هندسي قابل للتقدير بدلاً من كونه ضوضاء غير منظمة.
تقدم هذه الورقة "سلم مسبار سببي" (causal probe ladder) لتوضيح أن نماذج اللغة والصوت تحافظ عادةً على المعلومات العروضية (prosodic information) وتمثلها بشكل صحيح في حالاتها الداخلية، لكنها تفشل في استخدامها في استجاباتها النهائية، وهو عنق زجاجة يمكن التغلب عليه من خلال تدخلات مستهدفة في الحالة الخفية.
تقدم هذه الورقة البحثية NepOOC-M، وهو أول معيار ثنائي اللغة للنيبالية والإنجليزية للكشف عن المعلومات المضللة خارج السياق، وتثبت أن النماذج التي تعتمد على النصوص فقط تحقق أداءً مكافئاً إحصائياً للهياكل المعقدة متعددة الوسائط، مما يشير إلى أن توسيع مجموعة البيانات هو عامل أكثر أهمية للتقدم من تطور البنية الهيكلية.
تقدم هذه الورقة "مراقب النتائج" (Outcome Monitors)، وهي آلية تكتشف حالات فشل الأدوات الصامتة من خلال التحقق من عقود النتائج وإصدار إيصالات مع أدوات الاسترداد، مما يحسن معدلات إتمام المهام في تقييمات الوكلاء بشكل كبير، مع تسليط الضوء على أن الكشف الحالي يعتمد بشكل كبير على المفردات المستخرجة.
تُثبت هذه الورقة أن العلامات المائية الإحصائية للنماذج اللغوية معرضة بشكل جوهري للتحويلات الحافظة للمعنى لأن اكتشافها يعتمد على التشابه الدلالي للنقاط النهائية بدلاً من "الهولونومي" (التعامد) الخفي لمسار التحويل، مما يؤدي إلى هوية رياضية دقيقة تُظهر أن بقاء الإشارة يعتمد بشكل حاسم على الموقع المحدد للتعديلات بدلاً من مجرد معدل الاستبقاء الإجمالي.
تحلل هذه الورقة ثلاثة أعوام من إصدارات النماذج اللغوية الكبيرة وتجد انخفاضاً ذا دلالة إحصائية في تنوع المخرجات في المهام الإبداعية مفتوحة النهايات، مما يشير إلى اتجاه نحو التجانس قد يقلل من الوكالة البشرية في العمل الإبداعي المشترك بين الإنسان والذكاء الاصطناعي.
تقدم الورقة البحثية SynFlow، وهي مجموعة أدوات مفتوحة المصدر توحد الأبعاد اللغوية المتنوعة — مثل النحو، والصرف، والأنماط التركيبية — في سير عمل واحد لتمكين التحليل الدلالي التاريخي متعدد الأبعاد والقابل للتفسير، كما هو موضح من خلال دراسة حالة للصفة الألمانية *viral* والتقييم على مهمة SemEval-2020 Task 1.
يقدم هذا البحث نموذج كتلة دلالية رسمياً ومعياراً تقييمياً محكوماً بالتنفيذ لتقييم جودة المواصفات بشكل مستقل عن قدرة النموذج، موضحاً من خلال دراسة حالة لهجرة من Oracle إلى PostgreSQL أنه بينما يعد الحتمية مفهوماً رسمياً صالحاً، إلا أنها لا تعمل بعد كمعيار جودة تجريبي قائم بذاته للنماذج اللغوية الكبيرة المعاصرة بسبب التباين الكبير في التنفيذ.