← أحدث الأبحاث
💬 NLP

Don't Repeat Yourself: Stopping Verbatim Loops at Sampling Time

تقدم الورقة البحثية تقنية "لا تكرر نفسك" (DRY)، وهي تعديل للوغاريتمات (logits) عند وقت أخذ العينات يعمل على تقليل التكرار الحرفي في النماذج اللغوية الكبيرة بفعالية عبر معاقبة الرموز (tokens) التي تمدد تطابقات لاحقة دقيقة من السياق السابق، مما يحسن التنوع المعجمي والطلاقة دون تدهور في الأداء أو الحاجة إلى إعادة تدريب النموذج.

المؤلفون الأصليون: Philipp Emanuel Weidmann, Allen Roush, Judah Goldfeder, Sanjay Basu, Ravid Shwartz-Ziv

نُشر 2026-08-25
📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Philipp Emanuel Weidmann, Allen Roush, Judah Goldfeder, Sanjay Basu, Ravid Shwartz-Ziv

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تُعد النماذج اللغوية الكبيرة هي المحركات الكامنة وراء أدوات توليد النصوص التي أعادت تشكيل كيفية كتابتنا، وبرمجتنا، وتواصلنا مع الآلات. تعمل هذه الأنظمة من خلال التنبؤ بالكلمة التالية في الجملة، قطعة تلو الأخرى، لبناء استجابة بناءً على كل ما سبقها. وفي أغلب الأحيان، تكون هذه النماذج طليقة بشكل ملحوظ، وقادرة على نسج الأفكار المعقدة ومحاكاة الأسلوب البشري. ومع ذلك، فهي تعاني من عيب محدد ومحبط يُعرف باسم "التكرار الحرفي" (verbatim looping). فعندما يعلق النموذج في حلقة مفرغة، يبدأ في تكرار عبارة أو جملة مراراً وتكراراً، وأحياناً لمئات الكلمات، كما لو أنه نسي أنه قالها للتو. يحدث هذا لأن مخرجات النموذج نفسه تعزز النمط، مما يخلق حلقة تغذية راجعة يصعب كسرها. وبينما حاول المطورون لفترة طويلة إصلاح ذلك عبر إخبار النموذج ببساطة ألا يستخدم كلمات سبق وأن رآها، إلا أن هذه الأدوات الفجة غالباً ما تفسد جودة النص، حيث تُعطل التنسيقات الضرمة أو تجعل الكتابة تبمة آلية.

تقدم دراسة جديدة طريقة أكثر ذكاءً للتعامل مع هذه المشكلة، وهي طريقة تُسمى "لا تكرر نفسك" (Don't Repeat Yourself)، أو DRY. فبدلاً من معاقبة النموذج لاستخدامه كلمة استخدمها من قبل، تنظر هذه الطريقة الجديدة إلى بنية الجملة نفسها. إنها تنتظر لترى ما إذا كان النموذج على وشك إكمال نمط ظهر بالفعل في النص. فإذا كان النموذج يكرر مجرد كلمة هي جزء من بنية طبيعية، مثل تسمية المتحدث في حوار أو نقطة في قائمة، فإن الطريقة تتركها وشأنها. ولكن إذا بدأ النموذج في تمديد تسلسل من الكلمات يطابق قسماً سابقاً بدقة، فإن الطريقة تدفع النموذج بلطف لاختيار مسار مختلف. هذا التمييز أمر بالغ الأهمية لأنه يسمح للنموذج بالحفاظ على إيقاعه الطبيعي وتنسيقه مع وقف التكرار الجامح الذي يتسبب في تعلقه.

اختبر الباحثون هذه الفكرة عبر مجموعة واسعة من النماذج الحاسوبية، بدءاً من النماذج الصغيرة التي يمكن أن تعمل على كمبيوتر محمول شخصي وصولاً إلى الأنظمة الضخمة ذات المليارات من المعلمات. وقد أجروا آلاف عمليات التوليد باستخدام أنواع مختلفة من المطالبات، بما في ذلك الكتابة الإبداعية، والمحادثات الطويلة، ومهام التنسيق الهيكلي. كانت النتائج واضحة: قللت الطريقة الجديدة من معدل حلقات التكرار الدقيقة هذه بنسبة تقرب من النصف مقارنة بعدم فعل أي شيء على الإطلاق. والأهم من ذلك، أنها فعلت ذلك دون الإضراء بجودة الكتابة. في الواقع، كان النص الناتج باستخدام هذه الطريقة أكثر تنوعاً وتعدداً في التنوع من النص الناتج عن العقوبات القديمة الفجة. وعندما قارن الباحثون الطريقة الجديدة بالأدوات القياسية المستخدمة حالياً في الصناعة، وجدوا أن الأدوات القديمة إما فشلت في إيقاف الحلقات، أو عندما فعلت، جعلت النص يبدو غير طبيعي وأفسدت التنسيق.

ولضمان أن التحسن جاء من المنطق المحدد للطريقة الجديدة وليس فقط من إضافة ضوضاء عشوائية إلى النظام، أجرى الفريق اختبار تحكم خاص. فقد طبقوا مقداراً مشابهاً من التدخل على النموذج ولكن دون القاعدة المحددة المتعلقة بمطابقة الأنماط. لم توقف هذه المجموعة الضابطة الحلقات، مما أثبت أن نجاح الطريقة الجديدة يأتي من قدرتها على التعرف على هيكل التكرار ومقاطعته. كما نظرت الدراسة فيما إذا كان هذا الإصلاح سيضر بقدرة النموذج على حل المشكلات الصعبة أو اتباع التعليمات المعقدة. وفي الاختبارات التي تقيس الاستنتاج والمعرفة، كان أداء الطريقة الجديدة يضاهي أداء النموذج غير الخاضع للتحكم، بينما تسببت الطرق القديمة في انخفاض ملحوظ في الأداء. وهذا يشير إلى أن النهج الجديد آمن للاستخدام في التطبيقات الواقعية دون التضحية بذكاء النموذج.

يمتد تأثير هذا العمل إلى ما وراء المختبر. فقد تم اعتماد الطريقة بالفعل من قبل العديد من أطر البرمجيات مفتوحة المصدر التي تشغل تطبيقات الذكاء الاصطناዊ المحلية، مما يعني أن المستخدمين يمكنهم البدء في الاستفيد منها فوراً. ومن خلال التركيز على تسلسل الكلمات بدلاً من مجرد الكلمات الفردية نفسها، وجد الباحثون طريقة لإبقاء هذه الأدوات القوية بعيدة عن التعلق في حلقة مفرغة، مما يضمن بقاءها مفيدة، وطليقة، وموثوقة للمحادثات الطويلة والمهام المعقدة المصممة للتعامل معها.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →