11750 ورقة بحثية
تقدم هذه الورقة "LLM Probe"، وهو إطار تقييم قائم على المعجم ومجموعة بيانات مرجعية مصاحبة للغات ذات الموارد المنخفضة، والتي تكشف عن فروق أداء متميزة بين النماذج السببية ونماذج تسلسل إلى تسلسل عبر مهام مثل المحاذاة المعجمية، والتحليل الصرفي النحوي، والترجمة، وذلك للدعوة إلى تقييم قائم على الأسس اللغوية في تطوير الذكاء الاصطناعي متعدد اللغات.
تُظهر هذه الدراسة أن إثراء تمثيلات المعنى بأمثلة خاصة بالمهمة يحسن جودة توليد الحوار بشكل كبير، لا سيما في المهام المعقدة، ومجموعات البيانات الصغيرة، وإعدادات التعلم الصفري، مع تسليط الضوء على أن المقاييس الدلالية التي يدربها البشر تتفوق على المقاييس اللفظية في تقييم هذه المخرجات.
تستقصي هذه الورقة النماذج اللغوية المدربة على مجموعات بيانات بمقياس طفلي من مجموعة بيانات "بيبي فيو" (BabyView)، كاشفةً أنه بينما تُظهر هذه النماذج توسعاً واعداً في القواعد، فإن أداءها يتباين بشكل كبير بناءً على سمات المدخلات التفاعلية والتوزيعية ويتلازم مع تعلم الكلمات لدى الأطفال البشر، مما يقدم رؤى حول كل من التدريب الفعال للنماذج صغيرة النطاق والاكتساب اللغوي البشري.
تتقصى هذه الورقة ما إذا كان بإمكان النماذج اللغوية الكبيرة، عند تزويدها بموارد لغوية ونصوص منسوخة ناتجة عن أنظمة التعرف التلقائي على الكلام، تصنيف اللهجات السويسرية بفعالية تضاهي النماذج المتخصصة مثل HuBERT واللغويين البشر.
تستخدم هذه الورقة نماذج GPT-2 صغيرة الحجم مدربة على مجموعات بيانات ثنائية اللغة متطابقة ومتحكم بها لتوضيح أن المتعلمين الإحصائيين يمكنهم اكتساب لغتين في آن واحد دون تأخيرات متأصلة أو عجز في الأداء، مما يشير إلى أن أنظمة التعرض اللغوي المتنوعة لا تشكل أي تحديات جوهرية لاكتساب اللغة.
تُثبت هذه الورقة أن مطالبة النماذج اللغوية الكبيرة بالإبلاغ عن مستوى ثقتها ذاتياً هي وسيلة أكثر فعالية من حيث التكلفة وضبط المعايرة مقارنة بالتصويت عبر الاتساق الذاتي لتحديد تنبؤات التقييم الآلي الموثوقة، مما يتيح أتمتة انتقائية فعالة حيث تُعالج المخرجات عالية الثقة آلياً بينما تُرفع الحالات غير اليقينية للمراجعة البشرية.
تقدم هذه الورقة دراسة مستخدم توضح أن الخرائط السردية المُمكّنة من التفاعل الدلالي تتفوق بشكل كبير على النماذج المرجعية المعتمدة على الخط الزمني في مهام صنع المعنى، وذلك من خلال تسهيل استخلاص رؤى أعمق وتوفير مسارات تصحيحية وإضافية للمحللين لتنقيح السرديات المستخرجة بواسطة الذكاء الاصطناعي مع تقليل التلاعب بالمعلمات.
تقدم هذه الورقة البحثية استخراج السرد القائم على الأجندة، وهي طريقة تدمج النماذج اللغوية الكبيرة في خوارزميات البحث عن المسار لتوجيه بناء الحبكة نحو وجهات نظر محددة من قبل المستخدم مع الحفاظ على تماسك سردي عالٍ ودعم مسارات قصصية متعددة.
تقدم هذه الورقة إطار عمل مبتكرًا باستخدام تفكيك المعلومات الجزئي للتحليل الكمي لعمليات اتخاذ القرار الداخلية لـ 26 نموذجًا ضخمًا من نماذج الرؤية واللغة، مما يكشف عن أنظمة مهام متميزة، واستراتيجيات متباينة على مستوى العائلة، والدور الحاسم لضبط التعليمات البصرية في تحقيق دمج متعدد الوسائط حقيقي.
تقدم هذه الورقة البحثية طريقة "الارتقاء الديناميكي بالتدوير" (DUME)، وهي طريقة لا تتطلب تدريباً لبناء نموذج "خليط من الخبراء" (MoE) موحد وقابل للتوسع بكفاءة عبر إعادة استخدام خبراء كثيفين مدربين مسبقاً باستخدام حل انحدار ريجي (ridge regression) مغلق الصيغة، مما يحافظ على القدرات الأصلية المحددة لكل مجال بل ويتجاوزها في كثير من الأحيان دون الحاجة إلى ضبط دقيق إضافي أو المعاناة من النسيان الكارثي.