← أحدث الأبحاث
💬 NLP

XTC: Head-Aware Sampling by Excluding Top Choices

تقدم الورقة البحثية استراتيجية XTC (استبعاد الخيارات العليا)، وهي استراتيجية فك تشفير خفيفة الوزن تعمل على إزالة الرموز المهيمنة ذات الاحتمالية العالية بشكل انتقائي لتعزيز تنوع التوليد والإبداع بشكل كبير مع الحفاظ على السلاسة ودقة اتباع التعليمات عبر مختلف النماذج اللغوية الكبيرة.

المؤلفون الأصليون: Philipp Emanuel Weidmann, Allen Roush, Judah Goldfeder, Sanjay Basu, Ravid Shwartz-Ziv

نُشر 2026-08-25
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Philipp Emanuel Weidmann, Allen Roush, Judah Goldfeder, Sanjay Basu, Ravid Shwartz-Ziv

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

عندما يتعلم برنامج حاسوبي الكتابة، فإنه لا يفكر في جمل كما يفعل البشر. بدلاً من ذلك، يتنبأ بالكلمة التالية بناءً على الكلمات التي سبقتها، مختاراً من قائمة طويلة من الاحتمالات. ولفترة طويلة، كانت الطريقة القياسية لجعل هذه البرامج تكتب نصوصاً متنوعة ومثيرة للاهتمام هي دفعها نحو كلمات أقل شيوعاً أو قطع الكلمات غير المحتملة تماماً. نجحت هذه الطريقة في تجنب الهراء، لكنها غالباً ما أدت إلى مشكلة مختلفة: أصبح النص آمناً، مكرراً، ومتجانساً بشكل غريب. وحتى عندما كان الحاسوب يعرف عدة طرق جيدة لمواصلة قصة ما، كان يختار دائماً الخيار الأكثر وضوحاً وعمومية، مثل مسافر يختار دائماً الطريق الرئيسي حتى عندما يكون هناك مسار خلاب بجانبه مباشرة. هذا الميل للالتزام بالخيار الأكثر أماناً، حتى عندما توجد خيارات قوية أخرى، قد استنزف بهدوء الإبداع من الكتابة المولدة آلياً.

لقد قدم فريق من الباحثين الآن طريقة جديدة تسمى XTC، والتي ترمز إلى "استبعاد الخيارات الأولى" (Exclude Top Choices)، المصممة لإصلاح هذه العادة تحديداً. فبدلاً من النظر إلى الكلمات غير المحتملة في أسفل القائمة أو محاولة تسوية القائمة بأكملها، تركز هذه التقنية الجديدة على رأس القائمة. إنها تنتظر حتى يصبح الحاسوب متردداً حقاً بين خيارين أو أكثر من الخيارات الجيدة جداً. وعندما يحدث ذلك، تقوم الطريقة عمداً بإزالة الخيار الأكثر شعبية من المنافسة، مما يجبر الحاسوب على الاختيار من بين البدائل القوية المتبقية. إنه مفتاح بسيط لا يعمل إلا عندما يكون الحاسوب ممزقاً حقاً بين مسارات جيدة، مما يضمن بقاء المخرجات متنوعة دون أن تصبح غير مفهومة.

اختبر الباحثون هذه الفكرة على عدة نماذج لغوية كبيرة مختلفة، تتراوح من النماذج الصغيرة التي تحتوي على 12 مليار معلمة إلى النماذج الضخمة التي تحتوي على 70 مليار معلمة. وطلبوا من النماذج كتابة قصص إبداعية، وتوليد أفكار، والمشاركة في حوارات، مقارنين الطريقة الجديدة بالطرق القياسية لتوليد النصوص. كانت النتائج واضحة ومتسقة؛ فعند استخدام XTC، أصبحت النصوص المولدة أكثر تنوعاً بشكل ملحوظ، مع زيادة قابلة للقياس في تنوع الكلمات والعبارات المستخدمة. وفي الوقت نفسه، أصبحت النصوص أقل تكراراً بكثير، حيث كررت النماذج عبارات مكونة من ثلاث كلمات بشكل أقل بكثير. وفي مجموعة من الاختبارات، تحسن تنوع الكتابة بنسبة تتراოდ بين 11 و15 بالمائة، بينما انخفض تكرار العبارات الشائعة بنسبة تقترب من النصف.

ومن الأهمية بمكان أن الباحثين وجدوا أن هذه الزيادة في التنوع لم تأتِ على حساب الجودة أو الوضوح. فعندما قام متطوعون بشريون وبرامج حاسوبية متقدمة أخرى بتقييم الكتابة، فضلوا النصوص المولدة بواسطة XTC بسبب إبداعها وجاذبيتها، وصنفوا جودتها أعلى من النسخ القياسية. ظلت الكتابة سلسة وسهلة القراءة، دون أي انخفاض ملحوظ في الجودة الإجمالية. كما أثبتت الطريقة أنها دقيقة جداً في تطبيقها؛ فهي لم تتدخل في المهام التي تتطلب دقة صارمة، مثل اتباع تعليمات محددة أو كتابة الأكواد البرمجية، ما لم يتم دفع الإعدادات إلى أقصى حدودها. وفي الواقع، عندما قارن الباحثون بين XTC والطريقة التقليدية المتمثلة في جعل الحاسوب أكثر عشوائية، حققت XTC نفس مستوى التنوع مع الحفاظ على القدرة على اتباع التعليمات بشكل أفضل بكثير.

كما أظهرت الدراسة أن هذا النهج الجديد يعمل بشكل جيد جنباً إلى جنب مع الأدوات الموجودة. إذ يمكن دمجه مع طرق أخرى تتحكم في العشوائية أو التكرار، وتتراكم الفوائد بدلاً من أن تلغي بعضها البعض. وعند اقترانه بإعداد "درجة الحرارة" (temperature) القياسي، أنتج هذا المزيج تحسينات أكبر، حيث قلل التكرار بنسبة تزيد عن 70 بالمائة في بعض الحالات مع تعزيز التنوع بنسبة تقترب من 40 بالمائة. وأكد الباحثون أن هذا التأثير يظل ثابتاً عبر أنواع مختلفة من النماذج ومستويات مختلفة من ضغط ذاكرة الحاسوب، مما يشير إلى أن الطريقة قوية وقابلة للتطبيق على نطاق واسع.

إن ما يجعل هذا الاكتشاف مهماً هو أنه يعالج نقطة عمياء في كيفية ضبط هذه الأنظمة لسنوات. فقد افترضت الطرق السابقة أن مشكلة الكتابة المكررة تأتي من الكلمات غير المحتملة والغريبة في أسفل القائمة. لكن هذا العمل الجديد يظهر أن المشكلة الحقيقية تكمن غالباً في رأس القائمة، حيث يكون الحاسوب واثقاً جداً في خياره الأكثر أماناً لدرجة أنه يتجاهل البدائل الأخرى الجيدة تماماً. ومن خلال دفع النظام بلطف بعيداً عن ذلك الخيار المهيمن الوحيد فقط عندما يكون غير متأكد حقاً، تفتح هذه الطة آفاقاً لنطاق من التعبير أكثر طبيعية وشبهاً بالبشر. وقد تم اعتماد هذه التقنية بالفعل من قبل العديد من الأدوات مفتوحة المصدر التي يستخدمها المطورون، مما يشير إلى أنها تقدم طريقة عملية لجعل كتابة الذكاء الاصطناعي تبدو أقل آلية وأكثر شبهاً بشريك إبداعي.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →