💬 NLP

Pretraining Exposure Explains Popularity Judgments in Large Language Models

من خلال الاستفادة من مجموعة بيانات "دولما" (Dolma) القابلة للملاحظة بالكامل ونماذج "أولمو" (OLMo)، تُظهر هذه الدراسة أن أحكام الشعبية لدى النماذج اللغوية الكبيرة مدفوعة في المقام الأول بإحصائيات التعرض أثناء مرحلة ما قبل التدريب وليس بإشارات الشعبية الخارجية في العالم الحقيقي، حيث يعمل التعرض كمؤشر أكثر دقة لانحياز النموذج من عدد مشاهدات صفحات ويكيبيديا.

المؤلفون الأصليون: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك دماغاً رقمياً عملاقاً (نموذج لغوي كبير، أو LLM) قد قرأ كل شيء تقريباً على الإنترنت. تسأل هذا الدماغ: "من هو الأكثر شهرة: مخبز محلي معين أم نجم بوب عالمي؟" غالباً ما يقول الدماغ إن نجم البوب هو الأكثر شهرة. لقد افترضنا لفترة طويلة أن هذا بسبب أن الدماغ "يعرف" أن نجم البوب مشهور في العالم الحقيقي.

لكن هذه الورقة البحثية تطرح سؤالاً مختلفاً: هل يحكم الدماغ حقاً على الشهرة في العالم الحقيقي، أم أنه يتذكر فقط الأسماء التي رآها أكثر تكراراً أثناء دراسته؟

لإيجاد الإجابة، استخدم الباحثون "دماغاً" مفتوح المصدر بالكامل يسمى OLMo. وعلى عكس معظم أدمغة الذكاء الاصطناعي، يمكننا رؤية الكتب والمواقع الإلكترونية التي قرأها OLMo بدقة أثناء "دراسته" (مرحلة ما قبل التدريب). هذا يشبّه امتلاك المكتبة الكاملة لواجبات طالب منزلي، بدلاً من مجرد التخمين بناءً على درجاته في الاختبارات.

إليك تفصيل تجربتهم ونتائجهم، باستخدام بعض التشبيهات البسيطة:

1. الإعداد: عدّ "النظرات"

عامل الباحثون بيانات تدريب الذكاء الاصطناعي كأنها مكتبة ضخمة. استخدموا أداة خاصة (Infini-gram) لحساب عدد المرات التي ظهرت فيها 2,000 مادة مختلفة (أشخاص، أماكن، علامات تجارية، أغاني) في الكتب التي قرأها الذكاء الاصطناعي.

درجة "التعرض": هي مجرد عدد المرات التي "لمح" فيها الذكاء الاصطناعي اسماً ما. إذا رأى الذكاء الاصطناعي اسم "تايلور سويفت" مليون مرة واسم "الخباز المحلي بوب" 5 مرات، فإن تايلور سويفت لديها درجة تعرض عالية.

2. المتنافسون الثلاثة

أراد الباحثون معرفة أي "درجة" تتنبأ بشكل أفضل بكيفية إجابة الذكاء الاصطناعي على أسئلة الشعبية. قارنوا بين ثلاثة أشياء:

درجة العالم الحقيقي (ويكيبيديا): نظروا إلى عدد الأشخاص الذين زاروا بالفعل صفحات ويكيبيديا لهذه الكيانات. هذه هي "الحقيقة الأرضية" للشهرة في العالم الحقيقي.
التخمين "المباشر": سألوا الذكاء الاصطناعي، "على مقياس من 0 إلى 1000، ما مدى شهرة تايلور سويفت؟"
المواجهة "وجهاً لوجه": سألوا الذكاء الاصطناعي، "من هو الأكثر شهرة: تايلور سويفت أم الخباز المحلي بوب؟" (هذا يشبه نظام تصفيات البطولات).

3. الاكتشاف الكبير: الأمر يتعلق بما تمت قراءته، لا بما هو معروف

كانت النتائج مفاجئة وواضحة:

"ذاكرة" الذكاء الاصطناعي تطابق المكتبة: فكرة الذكاء الاصطناعي عما هو مشهور طابقتت "درجة التعرض" الخاصة به (عدد المرات التي رأى فيها الاسم) بشكل أفضل بكثير مما طابقت أرقام ويكيبيديا في العالم الحقيقي.
المواجهة "وجهاً لوجه" هي المرآة الأفضل: عندما سُئل الذكاء الاصطناعي عن مقارنة شيئين مباشرة (مثل البطولة)، جاءت إجاباته متوافقة تماماً مع عدد المرات التي رأى فيها تلك الأسماء في كتب تدريبه. بل كانت مطابقة أكثر من بيانات ويكيبيديا في العالم الحقيقي.
مشكلة "الذيل الطويل": بالنسبة للأشياء الغامضة جداً (مثل "الخباز المحلي بوب")، غالباً ما تكون بيانات ويكيبيديا غير دقيقة أو غير موجودة (لا أحد يزور تلك الصفحات). ومع ذلك، كان لدى الذكاء الاصطناعي رأي واضح حول من هو الأكثر شهرة. لماذا؟ لأنه حتى لو رأى الذكاء الاصطناعي "الخباز المحلي بوب" 5 مرات فقط و"خَبّازاً آخر" مرتين، فقد عرف أن الأول "أكثر شهرة" ببساطة لأنه رأى الاسم أكثر قليلاً. لم يكن الذكاء الاصطناعي يستخدم معرفة من العالم الحقيقي؛ كان فقط يعدّ واجباته المنزلية.

4. الأدمغة الأكبر = ذاكرة أقوى

اختبر الباحثون دماغاً أصغر (7 مليارات بارامتر) ودماغاً أكبر (32 مليار بارامتر).

كان الدماغ الأكبر أكثر هوساً ببيانات تدريبه. كانت إجاباته تتماشى بشكل وثيق أكثر مع "درجة التعرض" مقارنة بالدماغ الأصغر.
يشير هذا إلى أنه كلما أصبح الذكاء الاصطناعي أكثر ذكاءً وضخامة، فإنه لا يصبح بالضرورة أكثر "وعياً" بالعالم الحقيقي؛ بل يصبح فقط أفضل في تذكر ما تم تغذيته به بالضبط أثناء التدريب.

الخلا الخلاصة

تخلص الورقة البحثية إلى أنه عندما يخبرك الذكاء الاصطناعي بمن هو مشهور، فهو لا يعطيك تقريراً عن المجتمع في العالم الحقيقي. بل يعطيك تقريراً عن قائمة القراءة الخاصة به.

فكر في الأمر كطالب لم يقرأ سوى مجلة واحدة محددة. إذا سألت ذلك الطالب، "من هو أشهر شخص في العالم؟"، فلن يخبرك بالشخص الأكثر شهرة فعلياً؛ بل سيخبرك بالشخص الذي ظهر على غلاف تلك المجلة أكثر عدد من المرات. إن "تحيز الشعبية" لدى الذكاء الاصطناعي هو مجرد انعكاس لتكرار الكلمات في بيانات تدريبه، وليس فهماً حقيقياً للعالم.

ملخص تقني: التعرض أثناء مرحلة ما قبل التدريب يفسر أحكام الشعبية في النماذج اللغوية الكبيرة

بيان المشكلة
تُظهر النماذج اللغوية الكبيرة (LLMs) تفضيلات منهجية للكيانات المعروفة، وهي ظاهرة تُعزى على نطاق واسع إلى "تحيز الشعبية". ومع ذلك، لا يزال أصل هذه التفضيلات غامضًا: إذ ليس من الواضح ما إذا كانت تعكس شعبية حقيقية في العالم الواقعي أم أنها مجرد تكرار إحصائي للكيانات داخل مجموعة بيانات ما قبل التدريب. لقد كافحت الأبحاث السابقة لحل هذه المعضلة لأن بيانات التدريب لمعظم النماذج اللغوية الكبيرة الصادرة غير متاحة، مما يفرض الاعتماد على أدلة غير مباشرة أو سلوكيات لاحقة تخلط بين "التعرض" وعوامل أخرى مربكة.

المنهجية
تقدم هذه الدراسة أول تحليل مباشر واسع النطاق لتحيز الشعبية من خلال الاستفادة من نماذج OLMo المفتوحة بالكامل ومجموعة بيانات ما قبل التدريب الكاملة الخاصة بها، Dolma. تسير المنهجية عبر الخطوات التالية:

فهرسة البيانات وحساب التعرض: قام المؤلفون بفهرسة مجموعة بيانات ما قبل التدريب لـ OLMo بالكامل (والتي تتكون من مجموعات بيانات ما قبل التدريب، وما قبل التدريب المتوسط، والسياق الطويل، بإجمالي 7.4 تريليون توكن) باستخدام مجموعة أدوات Infini-Gram.
أخذ عينات الكيانات والتحقق منها: من واقع نسخة مستخرجة من Wikidata (بتاريخ 24 يناير 2026)، تم أخذ عينة مكونة من 5,000 كيان لكل نوع من الأنواع الخمسة: شخص، موقع، منظمة، فن، ومنتج. ولضمان دقة حساب التكرار، تم التحقق من جميع الأسماء المستعارة المرشحة باستخدام GPT-4.1 لتصفية المراجع الغامضة، والاحتفاظ فقط بتلك التي تشير حصريًا إلى الكيان المستهدف.
درجة التعرض: تم حساب درجة تعرض لكل كيان من الـ 2,000 كيان المختارة (400 لكل نوع، مقسمة بالتساوي بين 200 كيان "نادر" و200 كيان "شائع") بناءً على تكرار الكيان وأسمائه المستعارة التي تم التحقق منها في المجموعة المفهرسة.
مقارنة إشارات الشعبية: قارنت الدراسة ثلاث إشارات متميزة مع درجات تعرض ما قبل التدريب:
- مشاهدات صفحات ويكيبيديا: وسيط خارجي للشعبية في العالم الواقعي، تم تجميعه من 1 يوليو 2015 إلى 31 ديسمبر 2024 (مطابق تاريخ انقطاع المجموعة).
- التقدير القياسي المباشر: تم توجيه نموذج OLMo (بنسختيه 7B و32B) لتعيين درجة شعبية (0–1000) للكيانات الفردية.
- المقارنة الثنائية: تم توجيه النموذج لتحديد أي من كيانين هو الأكثر شعبية. تم تحويل هذه التفضيلات الثنائية إلى درجات قائمة باستخدام نموذج Bradley–Terry.

النتائج الرئيسية
أسفر التحليل، القائم على ارتباطات رتب سبيرمان ( $\rho$ )، عن النتائج التالية:

التعرض كوسيط للشعبية في العالم الواقعي: يرتبط التعرض في مرحلة ما قبل التدريب بقوة مع مشاهدات صفحات ويكيبيديا عبر جميع أنواع الكيانات (متوسط $\rho \approx 0.755$ )، مما يؤكد أن التعرض وسيط ذو معنى للبروز في العالم الواقعي خلال فترة التدريب.
أحكام النماذج اللغوية الكبيرة تتماشى أكثر مع التعرض من ويكيبيديا: تتوافق إشارات الشعبية التي تولدها النماذج اللغية الكبيرة بشكل وثيق مع تعرض ما قبل التدريب أكثر من توافقها مع مشاهدات ويكيبيديا. ويتضح هذا بشكل خاص في طريقة المقارنة الثنائية، التي حققت أعلى ارتباط مع التعرض (متوسط $\rho \approx 0.795$ لنموذج 32B)، متفوقة على كل من التقدير القياسي المباشر وخط الأساس لويكيبيديا.
نظام الذيل الطويل: بالنسبة للكيانات "النادرة" (منخفضة التكرار)، تصبح مشاهدات صفحات ويكيبيديا غير موثوقة، حيث تظهر ارتباطات قريبة من الصفر أو سالبة مع التعرض ( $\rho \approx 0.10$ ). في المقابل، تحافظ أحكام شعبية النماذج اللغية الكبيرة (خاصة عبر المقارنة الثنائية) على ارتباط إيجابي مع التعرض ( $\rho \approx 0.31$ لنموذج 32B)، مما يشير إلى أنه بالنسبة للكيانات النادرة، فإن المقدمات (priors) للنماذج محكومة بالكامل تقريبًا بتكرار ما قبل التدريب.
تأثير حجم النموذج: يؤدي زيادة حجم النموذج من 7B إلى 32B إلى تحسين التوافق بين أحكام النماذج اللغية الكبيرة وتعرض ما قبل التدريب بشكل منهجي. يُظهر نموذج 32B مقدمات (priors) أكثر حدة واتساقًا قائمة على التعرض، خاصة في مهام التقدير القياسي المباشر.

الأهمية والادعاءات
يدعي البحث أنه يقدم أول دليل مباشر واسع النطاق على أن مقدمات الشعبية في النماذج اللغية الكبيرة تتشكل أساسًا بواسطة إحصائيات ما قبل التدريب وليس عبر إشارات الشعبية الخارجية. ويجادل المؤلفون بأن "التعرض للبيانات" يلعب دورًا مركزيًا في دفع تحيز الشعبية. وتحديدًا، توضح النتائج أن:

النماذج اللغية الكبيرة لا تعكس مجرد مقاييس الشعبية الخارجية؛ بل إن تفضيلات التصنيف الداخلية لديها متجذرة بعمق في التوزيع الإحصائي لبيانات التدريب الخاصة بها.
الاستخلاص عبر المقارنة الثنائية هو طريقة أكثر موثوقية للكشف عن هذه المقدمات القائمة على التعرض مقارنة بالتقدير القياسي المباشر.
"تحيز الشعبية" الملاحظ في النماذج اللغية الكبيرة ليس بالضرورة فشلًا في الاستنتاج، بل هو انعكاس مباشر لأنماط التكرار المتأصلة في مجموعة بيانات ما قبل التدريب.

يخلص المؤلفون إلى أن هذه التحيزات هي خصائص قابلة للقياس لبيانات التدريب، ويقترحون ضرورة قيام الأعمال المستقبلية باستقصاء استراتيجيات التخفيف لتحسين العدالة والتنوع في مخرجات النماذج.

1. الإعداد: عدّ "النظرات"

2. المتنافسون الثلاثة

3. الاكتشاف الكبير: الأمر يتعلق بما تمت قراءته، لا بما هو معروف

4. الأدمغة الأكبر = ذاكرة أقوى

الخلا الخلاصة

أبحاث مشابهة