🤖 machine learning

When More Becomes Less: Position-Dependent Repetition Effects in Language Models

تُظهر هذه الورقة أن تأثير تكرار الرموز (tokens) على تنبؤات النماذج اللغوية يعتمد على الموضع، مما يكشف أنه في حين أن التكرار المتجاور يعزز احتمالية الهدف باستمرار، فإن التكرار المزاح يُنتج تأثيراً على شكل حرف "U" مقلوب حيث تبلغ الاحتمالية ذروتها ثم تنخفض مع زيادة التكرار، مما يتحدى الافتراض بأن تأثيرات التكرار موحدة بغض النظر عن موضع القراءة.

المؤلفون الأصليون: Han-yu Wang

نُشر 2026-08-06

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Han-yu Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الحياة السرية للتكرار في أدمغة الذكاء الاصطناعي

تخيل أنك تحاول تعليم روبوت كيفية سرد قصة. تعطيه جملة استهلالية، وتطلب منه تخمين الكلمة التالية. هكذا تعمل العديد من أنظمة الذكاء الاصطناعي الحديثة، المعروفة باسم النماذج اللغوية الكبيرة. إنها تشبه محركات الإكمال التلقائي فائقة القوة التي قرأت كل شيء تقريبًا على الإنترنت. ولمعرفة ما إذا كانت "تعرف" حقًا شيئًا ما، غالبًا ما يستخدم العلماء خدعة تسمى "اختبار الفراغات" (cloze test). إنه يشبه لغز ملء الفراغات: تعرض للذكاء الاصطناعي جملة بها كلمة مفقودة، وترى ما إذا كان بإمكانه تخمين الكلمة الصحيحة.

لسنوات، اعتقد الباحثون بقاعدة بسيطة حول كيفية تعامل أدمغة الذكاء الاصطناعي هذه مع التكرار. ظنوا أنه إذا كررت كلمة مرارًا وتكرارًا في النص الموجه، فإن الذكاء الاصطناعي سيصبح أكثر ثقة بشأن تلك الكلمة، تمامًا كما قد يصبح الإنسان أكثر ارتياحًا لمفهوم ما كلما سمعه أكثر. يُسمى هذا "التحفيز" (priming). إذا قلت "تفاحة، تفاحة، تفاحة"، يجب أن يفكر الذكاء الاصطناعي: "حسنًا، هذا بالتأكيد يدور حول التفاح!" ويتوقع كلمة "تفاحة" بثقة عالية. افترض العلماء أن هذه الثقة ستستمر في الارتفاع كلما أضفت نسخًا أكثر من الكلمة، بغضًا عن مكان طلب التخمين من الذكاء الاصطناعي في الجملة. ولكن ماذا لو كان هذا الافتراض خاطئًا؟ ماذا لو كان دماغ الذكاء الاصطناعي يعمل بشكل مختلف اعتمادًا على أين تطلب منه النظر؟ هذا هو السؤال الذي يتصدى له بحث "هان-يو وانغ"، حيث يستكشف مفارقة غريبة حيث يؤدي "المزيد" من التكرار في الواقع إلى "أقل" قدر من الثقة، ولكن فقط في ظروف محددة.

عندما يصبح المزيد أقل: بقعة النسيان لدى الذكاء الاصطناعي

في هذه الدراسة، صمم الباحث تجربة ذكية لاختبار كيفية تفاعل نماذج الذكاء الاصطناعي مع التكرار. تخيل أن لديك كلمة سحرية، لنقل "قطة". يمكنك عرض هذه الكلمة على الذكاء الاصطناعي بطريقتين مختلفتين، لكنك تبقي بداية القصة كما هي تمامًا.

اختبار "بجوارها مباشرة" (المسبار المجاور):
أولاً، تكتب قائمة طويلة من كلمات "قطة" حتى نهاية الجملة مباشرة: "قطة، قطة، قطة، قطة... [خمن هنا]". تطلب من الذكاء الاصطناعي تخمين الكلمة التالية مباشرة.

ماذا حدث: تمامًا كما توقعت القاعدة القديمة، أصبح الذكاء الاصطناعي أكثر ثقة أكثر فأكثر. كلما أضفت كلمات "قطة" أكثر، زاد تأكده من أن الكلمة التالية ستكون "قطة". كان الأمر مثل إيقاع طبول يزداد قوة وصخبًا.

اختبار "البداية الجديدة" (المسبار المزاح):
بعد ذلك، قام الباحث بشيء مخادع. كتب نفس القائمة الطويلة من كلمات "قطة" في البداية، لكنه أضاف نقطة وجملة جديدة تمامًا قبل طلب التخمين. بدت هكذا: "قطة، قطة، قطة، قطة... . السماء زرقاء. [خمن هنا]".

ماذا حدث: هنا فشلت الخدعة السحرية. فبدلاً من أن يزداد الذكاء الاصطناعي ثقة، قامت ثقته بحركة بهلوانية غريبة. في البداية، ساعدت إضافة بضع كلمات "قطة"، ولكن بمجرد أن أصبحت القائمة طويلة جدًا (حوالي 5 إلى 10 نسخ)، بدأ الذكاء الاصطناعي يفقد ثقته. وبحلول الوقت الذي وصلت فيه إلى 30 كلمة "قطة"، كان من الأقل احتمالاً أن يخمن الذكاء الاصطناعي كلمة "قطة" مقار بحالته عندما كان هناك نسخ قليلة فقط.

يسمي الباحث هذا الشكل بـ "المنحنى المقلوب" (inverted-U). إنه يشبه حالة يصبح فيها الذكاء الاصطناعي متحمسًا قليلاً في البداية، ثم يشعر بالارتباك أو الغرق في كمية التكرار الهائلة عندما يتعين عليه الانتقال إلى جملة جديدة لإيجاد الإجابة.

الاكتشاف الكبير: الأمر كله يتعلق بمكان النظر

أهم نتيجة لهذا البحث هي أن موقع السؤال يهم للغاية. نفس قائمة الكلمات المكررة يمكن أن تجعل الذكاء الاصطناعي أكثر ذكاءً إذا سألته فورًا بعد القائمة، ولكنها قد تجعله أقل ذكاءً إذا سألته بعد جملة كاملة.

اختبرت الدراسة هذا على 13 نموذجًا مختلفًا للذكاء الاصطناعي، تتراوح من الصغيرة إلى الكبيرة جدًا. ووجدوا أن نمط "المنحنى المقلوب" هذا حدث في كل نموذج منها. لم تكن مجرد مصادفة في عقل حاسوبي واحد. بل جربوها أيضًا في أربع لغات أخرى — الإسبانية، والصينية، والألمانية، والفرنسية — وظهر نفس النمط الغريب. وهذا يشير إلى أن هذا ليس خطأً في كيفية تحدث الذكاء الاصطناعي بالإنجليزية، بل هو خلل جوهري في كيفية معالجة هذه النماذج للمعلومات المكررة.

ما ليس عليه (وما هو عليه بالفعل)

لم يتوقف الباحث عند اكتشاف النمط فحسب؛ بل لعب دور المحقق لمعرفة سبب حدوث ذلك. أراد التأكد من أن الأمر ليس مجرد بسبب طول الجملة، أو لأن الذكال الاصطناعي "تعب"، أو لأنه يفكر في كلمات متعلقة بـ "القطة" (مثل "هريرة" أو "مواء").

ليس بسبب الطول: اختبروا جملًا تحتوي على نفس عدد الكلمات ولكن باستخدام كلمات حشو مملة وعشوائية بدلاً من تكرار "قطة". لم يحدث الانخفاض الغريب في الثقة.
ليس بسبب الكلمات ذات الصلة: حاولوا استبدال الكلمات المكررة بكلمات تعني الشيء نفسه أو مرتبطة بها. مرة أخرى، لم يحدث انخفاض في الثقة.
إنه يتعلق بالتكرار الدقيق: حدث الانخفاض فقط عندما تم تكرار نفس الكلمة بالضبط مرارًا وتكرارًا.

هذا يعني أن الذكاء الاصطناعي لا يشعر فقط بـ "الملل" أو "الارتباك" من النص الطويل. هناك شيء محدد يحدث عندما يتم تكرار نفس الرمز (token) - وهو الوحدة الرقمية المكونة للكلمة - عدة مرات قبل بدء جملة جديدة.

داخل عقل الذكاء الاصطناعي

لفهم ما كان يحدث، ألقى الباحث نظرة داخل آليات "الانتباه" (attention) الخاصة بالنماذج. يمكنك التفكير في "الانتباه" ككشاف ضوئي يسلطه الذكاء الاصطناعي على أجزاء مختلفة من الجملة.

ينكمش الكشاف: مع نمو قائمة كلمات "قطة"، قل مقدار الانتباه الذي يمنحه الذكاء الاصطناعي لكل كلمة "قطة" على حدة. هذا منطقي؛ إذا كان لديك قدر ثابت من الضوء وعليك تسليطه على 30 شيئًا، فإن كل شيء سيحصل على ضوء أقل.
الميزوج الإجمالي ينمو (في بعض النماذج): ومن المثير للدهشة، في النماذج التي أظهرت أكبر انخفاض في الثقة، زاد إجمالي مقدار الانتباه الذي أولاه الذكاء الاصطناعي لكتلة كلمات "قطة" بأكملها مع طول القائمة. كان الأمر كما لو أن الذكاء الاصطناعي يصرخ "انظروا إلى كل هذه القطط!" بصوت أعلى وأعلى، ولكن لسبب ما، عندما كان عليه الانتقال إلى الجملة الجديدة، جعل هذا الصراخ من الصعب عليه تذكر كلمة "قطة" المحددة.

لماذا يجب أن تهتم؟

هذا البحث بمثابة "ملصق تحذيري" لأي شخص يحاول اختبار مدى ذكاء نماذج الذكاء الاصطناعي هذه. إذا كنت عالمًا يحاول معرفة ما إذا كان الذكاء الاصطناعي يعرف حقيقة ما، واستخدمت طريقة تكرر الكلمة مرات عديدة لـ "تحفيز" الذكاء الاصطناعي، فقد تحصل على عكس ما تتوقعه. إذا سألت الذكاء الاصطناعي السؤال بعد جملة واحدة، فقد تجعله عن غير قصد أقل قدرة على إعطائك الإجابة الصحيحة.

تظهر الدراسة أنه لا يمكننا معاملة موقع السؤال كأمر محايد. مكان طرح السؤال يغير الإجابة. إنه تذكير بأن أدمغة الذكاء الاصطناعي هذه معقدة وتتعارض أحيانًا مع المنطق: أحيانًا، سماع الكلمة مرات كثيرة جدًا لا يساعدك على تذكرها؛ بل قد يجعلك تنساها، خاصة إذا كان عليك الانتظار لحظة قبل الإجابة.

اختبر الباحث هذا على 13 نموذجًا ووجد التأثير في جميعها. وتحقق من ذلك في 42 تركيبة مختلفة من النماذج واللغات، وظل النمط ثابتًا في كل مرة. وبينما لا يمكنهم القول بدقة لماذا يعمل عقل الذكاء الاصطناعي بهذه الطريقة (فهو ارتباط وليس تفسيرًا كاملًا للآلية)، فقد أثبتوا أن تأثير "المزيد يصبح أقل" هو أمر حقيقي، ومتسق، ويحدث على نطاق واسه. إنها قطعة صغيرة ولكنها حاسمة من اللغز في فهم كيفية تفكير هذه الأدمغة الرقمية حقًا.

ملخص تقني: تأثيرات التكرار المعتمدة على الموضع في النماذج اللغوية

بيان المشكلة

غالباً ما تقوم دراسات الاستقصاء بنمط "الفراغ" (Cloze-style) في النماذج اللغوية (LMs) بتغيير تكرار الرمز المستهدف (target token) في المطالبة (prompt) لقياس التأثيرات (مثل التعزيز الدلالي أو التعلم داخل السياق). وتفترض هذه الدراسات ضمناً أن موضع القراءة (حيث يتم أخذ عينة من تنبؤ النموذج) مستقل عن المتغير؛ أي أن تأثير التكرار على احتمالية التنبؤ يظل ثابتاً بغض النظر عما إذا كان موضع القراءة يقع مباشرة بعد الكتلة المكررة أو تم إزاحته إلى إطار جملة جديدة.

تتحدى هذه الورقة هذا الافتراض، حيث تثبت أن موضع موضع القراءة يغير بشكل جوهري كيفية تأثير التكرار على الاسترجاع. فبينما يعمل التكرار كمعزز رتيب (monotonic primer) عندما يكون الموضع مجاوراً للكتلة المكررة، فإنه ينتج تأثيراً "غير رتيب" على شكل "U مقلوب" عندما يكون الموضع مزاحاً، مما يؤدي إلى انخفاض احتمالية الهدف مع زيادة عدد التكرارات عن حد معين.

المنهجية

تصميم الاستقصاء المزدوج المتطابق

قدم المؤلف تصميماً تجريبياً ببادئة متطابقة لعزل تأثير موضع القراءة:

الاستقصاء المجاور (Adjacent Probe): يوضع موضع التنبؤ مباشرة بعد بادئة تحتوي على $N$ من نسخ الرمز المستهدف (مثال: target × N [MASK]).
الاستقصاء المزاح (Displaced Probe): يتم نقل موضع التنبؤ إلى إطار جملة جديدة تلي نفس البادئة (مثال: . target × N . <fresh frame> [MASK>).

تثبت الدراسة بادئة الهدف المكرر مع تغيير موضع الموضع فقط. ويتراوح عدد التكرار $N$ من 0 إلى 30.

الإعداد التجريبي

النماذج: تم اختبار 13 نموذجاً لغوياً مفتوح المصدر، بما في ذلك نموذجان من النماذج اللغوية المقنعة (MLMs: ModernBERT-base/large) و11 نموذجاً لغوياً سببيّاً (CLMs) بأحجام وبنيات مختلفة (عائلة Qwen2.5، وSmolLM2، وPhi-3.5، وOLMo-2).
الأهداف: 261 اسماً من كلمة واحدة تم اختيارها يدوياً، مع تصفيتها وفقاً للمجزئ (tokenizer) لضمان صلاحية الكلمة الواحدة.
اللغات: تم تكرار التأثير عبر الإنجليزية، والإسبانية، والصينية، والألمانية، والفرنسية باستخدام نقاط تفتيش متعددة اللغات.
المقاييس: الإحصائية الأساسية هي الانخفاض لكل كلمة (per-word drop)، وتُعرف بـ $(peak_w - P(N=30)_w) / peak_w$ ، حيث $peak_w$ هو أقصى احتمالية مرصودة للكلمة عبر $N \in \{1, 3, 5, 10, 20, 30\}$ . ويشير الانخفاض الموجب مع فاصل ثقة بوتستراب (bootstrap confidence interval) يستبعد الصفر إلى تأثير الـ "U المقلوب".

الاستئصال والضوابط (Ablation and Controls)

لعزل الآلية، أجرى المؤلف:

استئصال سببي لست حالات: استبدال الكتلة المكررة بتكرارات مبتورة، وحذف، وحواشٍ عشوائية، وحواشٍ ذات صلة دلالية، وتكرارات غير ذات صلة.
ضبط دلالات الإطار (Frame-pragmatics control): تغيير إطار الجملة لاستبعاد الآثار الناتجة عن هيكل الإطار المحدد.
الإجابة المعلنة مسبقاً: تقديم الهدف صراحة في بداية المطالبة لاختبار ما إذا كان التأثير يستمر عند وجود مسار استرجاع بديل.
التحليل الداخلي: قياس الانتباه لكل رمز هدف (target-token) وإجمالي ميزانية الانتباه المخصصة للكتلة المكررة.

النتائج الرئيسية

1. الـ "U المقلوب" المزاح

النتيجة الجوهرية هي انفصال سلوكي بين موضعي الاستقصاء:

الموضع المجاور: ترتفع $P(\text{target})$ بشكل رتيب مع $N$ وتستقر، وهو ما يتوافق مع حدس التعزيز المعياري.
الموضع المزاح: ترتفع $P(\text{target})$ لتصل إلى ذروة مبكرة (عادة عند $N \in \{1, 3, 5, 10\}$ ) ثم تنخفض مع زيادة $N$ إلى 30. لوحظ هذا الـ "U المقلوب المزاح" في جميع النماذج الـ 13 المختبرة، وكان الانخاج لكل كلمة ذا دلالة إحصائية (فاصل الثقة يستبعد الصفر) في كل حالة.

2. المتانة والتعميم

عبر اللغات: تكرر التأثير عبر 42 خلية (4 نماذج × 4 لغات × 3 أطر) في الإسبانية، والصينية، والألمانية، والفرنسية.
الحجم والبنية: يظهر التأثير عبر أحجام النماذج (من 360 مليون إلى 14 مليار معلمة) والبنيات (MLMs وCLMs). ومع ذلك، فإن حجم الانخفاض ليس دالة رتيبة لعدد المعلمات؛ فعلى سبيل المثال، ضمن عائلة Qwen2.5، أظهر النموذجان 1.5B و14B انخفاضات أكبر من نموذج 7B.
الضبط التعليمي (Instruction Tuning): لم يؤدِ الضبط التعليمي (مثل Qwen2.5-7B مقابل Qwen2.5-7B-Instruct) إلى إلغاء التأثير؛ بل في بعض الحالات، زاد من حجم الانخفاض.

3. الآلية السببية

التكرار المعجمي الدقيق: ينجم التأثير تحديداً عن التكرار المعجمي الدقيق للهدف. فشلت الحواشي ذات الصلة الدلالية (التي تنشط المجال الدلالي للهدف) في إعادة إنتاج الـ "U المقلوب"، كما ألغت الحواشي العشوائية أو عمليات الحذف التأثير تماماً.
ليس الطول أو التكرار: التأثير ليس ناتجاً عن طول التسلسل أو التكرار العام.
الارتباطات الداخلية:
- الانتباه لكل رمز (Per-token Attention): ينخفض الانتباه الذي يتلقاه كل رمز هدف فردي مع زيادة $N$ .
- ميزانية الكتلة الإجمالية: في النماذج اللغوية السببية (Causal LMs)، تنمو ميزانية الانتباه الإجمالية المخصصة للكتلة المكررة مع زيادة $N$ (sub-dilution)، بينما في النماذج المقنعة (Masked LM)، تظل الميزانية ثابتة تقريباً. وهذا يشير إلى أن التدريب التوليدي (autoregressive training) يحفز ديناميكية محددة حيث يخصص النموذج موارد إجمالية متزايدة للكتلة المكررة، ومع ذلك تتدهور إشارة كل رمز (per-token signal) في السياق المزاح.

الأهمية والادعاءات

تدعي الورقة مساهمتين رئيسيتين:

النتيجة التجريبية: تفشل النماذج اللغوية الحالية المفتوحة المصدر في تجميع التكرار المعجمي الدقيق بشكل تراكمي عند المواضع المزاحة. فإضافة نسخ من هدف ما يمكن أن يخفض احتماليته في الجملة التالية للكتلة، حتى عندما تنجح نفس البادئة في تعزيز الموضع المجاور. وهذا يناقض الافتراض بأن تأثيرات التكرار مستقلة عن الموضع.
الأداة المنهجية: يوفر "تصميم الاستقصاء المزدوج بالبادئة المتطابقة" أداة للفصل بين استمرار النمط المحلي والاسترجاع المزاح. ويجادل المؤلف بأن أي دراسة استقصائية مضبوطة تتضمن محتوى مكرراً (مثل اختبارات التعلم داخل السياق، أو استقصاءات المعرفة الواقعية) لا يمكنها معاملة موضع القراءة كمتغير مستقل عن المتغير المستهدف. فالتلاعب الذي قد يظهر كتعزيز رتيب في موضع ما، قد ينقلب في الموضع الذي يتم تسجيل الدرجات فيه فعلياً في العديد من الاختبارات المرجعية.

يبقى المؤلف متواضعاً فيما يتعلق بالآلية الكامنة، مشيراً إلى أن استقصاءاته الداخلية هي ارتباطية. ويقترح أن التأثير قد ينبع من تعاون "softmax" بين المفاتيح (keys) المكررة، أو ديناميكيات "بالوعة الانتباه" (attention-sink)، أو أولويات الحداثة الخاصة بالنماذج التوليدية، لكن بياناته لا تميز بين هذه المرشحات. كما يشير أيضاً إلى وجود قيود، مثل الاقتصار على الأهداف المكونة من رمز واحد، وعدم وجود تفسير واضح لاستثناء SmolLM2-1.7B فيما يتعلق بانعكاس متوسط المنحنى.