Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories
تكشف هذه الورقة أن القصص التي تولدها النماذج اللغوية الكبيرة تظهر تنوعاً منخفضاً بشكل صارخ، حيث تهيمن مجموعة صغيرة من الرموز مثل "إلياس" و"المنارة" على المخرجات بسبب انتشارها في مجموعات بيانات محاذاة التفضيلات بدلاً من بيانات ما قبل التدريب، مما يسلط الضوء على التأثير غير المتناسب لمجموعات البيانات الصغيرة وعالية الجودة على سلوك النموذج.