Discrete Diffusion Language Models Are Training-Free Multi-Label Classifiers
تقدم الورقة البحثية dLLM-SetScore، وهي طريقة للتصنيف متعدد الملصقات لا تتطلب تدريباً، تستفيد من نماذج لغة الانتشار المنفصلة لتقييم الملصقات المرشحة عبر مقارنات احتمالية (نعم/لا) لكل خانة، مما يؤدي إلى إزالة انحياز الموضع وتحقيق أداء رائد دون الحاجة إلى ضبط دقيق خاص بالمهمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، هناك توتر مستمر بين النماذج التي تتعلم من خلال حفظ كميات هائلة من البيانات المحددة، وتلك التي تحاول فهم العالم من خلال مبادئ عامة. لسنوات، كانت الطريقة القياسية لتعليم الكمبيوتر تصنيف النصوص إلى فئات متعددة — مثل وسم مقال إخباري بعدة مواضيع أو تصنيف منشور على وسائل التواصل الاجتماعي بعدة مشاعر — هي تدريبه من الصفر على آلاف الأمثلة المصنفة. هذا هو النهج الخاضع للإشراف، حيث يُعرض على الكمبيوتر الإجابات الصحيحة حتى يتعلم النمط. ومع ذلك، ظهر جيل جديد من النماذج يتعلم بشكل مختلف. فبدلاً من حفظ الإجابات، يتم تدريب هذه النماذح على ملء الأجزاء المفقودة من النص، وهي عملية تُعرف باسم "الانتشار المقنع" (masked diffusion). فهي تتعلم التنبؤ بالكلمة التي يجب أن توضع في الفراغ بناءً على السياق المحيط. وبينما أظهرت هذه النماذج وعداً كبيراً في توليد نصوص جديدة، تساءل الباحثون عما إذا كان يمكن أيضاً استخدامها لتصنيف النصوص الموجودة دون رؤية مثال واحد مصنف للمهمة المحددة. هذا السؤال مهم لأن تدريب نماذج جديدة لكل مهمة جديدة هو أمر مكلف ويستغرق وقتاً طويلاً؛ فمن شأن الطريقة التي يمكنها تصنيف النصوص باستخدام معرفة النموذج الحالية فقط أن تكون أداة قوية ومرنة.
لقد أثبت باحث الآن أن نماذج الانتشار هذه يمكنها بالفعل أن تعمل كمصنفات فعالة للغاية دون أي تدريب خاص، بشرط طرح الأسئلة الصحيحة عليها. فقد طور طريقة تسمى dLLM-SetScore، والتي تعامل مهمة التصنيف كسلسلة من الأسئلة البسيطة التي تحتمل الإجابة بنعم أو لا. فبدلاً من طلب قائمة بجميع الوسوم ذات الصلة بوثيقة ما في آن واحد، يقوم النظام بطرح سؤال واحد في كل مرة: "هل يعبر هذا المستند عن [شعور محدد]؟" أو "هل هذا المقال يتحدث عن [موضوع محدد]؟". ثم يتنبأ النموذج ما إذا كانت الإجابة هي "نعم" أو "لا" عن طريق ملء فراغ واحد في المطالبة (prompt). ومن خلال تكرار هذه العملية لكل وسم محتمل، يبني النظام صورة كاملة لما يدور حوله المستند. ووجد الباحث أن هذا النهج يعمل بشكل جيد بشكل ملحوظ على ست مجموعات بيانات مختلفة، تتراوح من المقالات الإخبارية والوثائق القانونية إلى تعليقات وسائل التواصل الاجتماعي، وغالباً ما يضاهي أو حتى يتفوق في الأداء على النماذج التي تم تدريبها خصيصاً لتلك المهام.
ومع ذلك، فإن الرحلة نحو هذا النجاح تطلبت من الباحث أولاً تحديد وإصلاح خلل دقيق ولكن حاسم في كيفية طرحهم للسؤال على النموذج في البداية. ففي محاولاتهم الأولى، حاولوا أن يطلبوا من النموذج التنبؤ بجميع الوسوم في قائمة واحدة طويلة من الفراغات. واكتشفوا أن النموذج لديه انحياز غريب يعتمد على ترتيب الوسوم. فإذا بدأت قائمة الإجابات بوسم يأتي أولاً أبجدياً، فإن النموذج سيتنبأ دائماً تقريباً بـ "نعم" للفراغ الأول، بغض النظر عما يقوله المستند فعلياً. حدث هذا لأن بيانات تدريب النموذج نادراً ما تضمنت مثل هذه المتواليات الطويلة والفارغة تماماً، لذا فإنه يلجأ إلى التخمين لأول فراغ يواجهه. كان هذا الخطأ شديداً لدرجة أنه خفض الدقة الإجمالية للنظام إلى ما يقرب من الصفر في بعض مجموعات البيانات. أدرك الباحث أن المشكلة لم تكن في ذكاء النموذج، بل في هيكلية السؤال. ومن خلال الانتقال إلى طريقتهم الجديدة المتمثلة في طرح سؤال واحد لكل وسم، ضمنوا تقديم كل وسم للنموذج في نفس الموقع بالضبط داخل الجملة. هذا التغيير البسيط أزال الانحياز، مما سمح للنموذج بتقييم كل وسم بإنصاف واستقلالية.
بمجرد حل هذه المشكلة الهيكلية، اختبر الباحث عائلتين مختلفتين من نماذج الانتشار هذه، إحداهما بثمانية مليارات معلمة (parameter) والأخرى بسبعة مليارات. وقارن بين النسخ "الأساسية" (base) لهذه النماذج، التي تعلمت فقط ملء الفراغات، وبين نسخ "التعليمات" (instruct) التي تم تدريبها بشكل أكبر على اتباع تعليمات البشر. كانت النتائج مذهلة. ففي معظم الحالات، أدت نسخ التعليمات أداءً أفضل بكثير من النسخ الأساسية، على الرغم من أن أي منهما لم يتم تدريبه على مهام التصنيف المحددة. وفي مجموعة بيانات من المقالات الإخبارية، حقق نموذج التعليمات درجة macro-F1 بلغت 67.2، وهي مقياس لمدى جودة تحديده لجميع المواضيع المختلفة، بينما وصل النموذج الأساسي إلى 38.2 فقط. يشير هذا إلى أن القدرة على اتباع التعليمات تساعد النموذج على فهم الفروق الدقيقة في السؤال بشكل أفضل، حتى عندما تكون المهمة مجرد قول "نعم" أو "لا". كما اختبر الباحث فكرة أكثر تعقيداً حيث يحاول النموذج صقل إجاباته من خلال النظر في تخميناته السابقة، لكنه وجد أن هذه الخطوة الإضافية تجعل النتائج أسوأ، مما يؤكد أن النهج المباشر والبسيط هو الأكثر موثوقية.
كما سلطت الدراسة الضوء على أهمية صياغة الأسئلة. وجد الباحث أن تغيير صياغة السؤال يمكن أن يغير النتائج بشكل كبير. فعلى سبيل المثال، عند تصنيف المقالات الإخبارية، أدت صياغة "هل يعبر هذا المقال عن [الموضوع]؟" إلى مستوى معين من الدقة، لكن تغيير السؤال إلى "هل الموضوع الرئيسي لهذا المقال هو [الموضوع]؟" عزز الأداء بشكل كبير. تظهر هذه الحساسية أن النموذج لا يخمن بعشوائية، بل يستجيب للسياق والقصد المحدد في المطالبة. ورغم أن الطريقة ليست مثالية ولا تزال تتخلف عن أفضل النماذج التي تم تدريبها بالكامل على البيانات، إلا أنها تقترب منها بشكل ملحوظ. ففي إحدى الحالات، حقق مزيج من نموذج الانتشار الخاص بهم مع بعض الأدوات الأخرى درجة ضمن سبع نقاط من النموذج الخاضع للإشراف الأعلى أداءً، وكل ذلك دون أن يرى نموذج الانتشار مثالاً واحداً مصنفاً للمهمة.
يقدم هذا العمل منظوراً جديداً لما يمكن أن تفعله نماذج اللغات الكبيرة هذه. فهو يوضح أن القدرة على تصنيف النصوص لا تتطلب بالضرورة إعادة تدريب النموذج من الصفر لكل مهمة جديدة. بدلاً من ذلك، من خلال استخدام معرفة النموذج الحالية باللغة وطرح الأسئلة بطريقة تحترم بنيته الداخلية، يمكننا إطلاق قدرات تصنيف قوية "مجاناً". لقد أظهر الباحث أن المفتاح ليس فقط امتلاك نموذج ذكي، بل معرفة كيفية التحدث إليه. فمن خلال تجنب عثرات الأسئلة سيئة الهيكلة والاستفادة من قدرات اتباع التعليمات في النموذج، يمكن بناء مصنف يتسم بالمرونة والدقة. يفتح هذا النهج الباب لاستخدام هذه الأدوات القوية في المواقات التي تكون فيها بيانات التدريب نادرة، أو حيث تكون السرعة والقدرة على التكيف أكثر أهمية من استخراج آخر جزء من المئة في الأداء. تشير النتائج إلى أن مستقبل تصنيف النصوص قد لا يتعلق ببناء نماذج أكبر وأكثر تخصصاً، بل بتعلم كيفية طرح الأسئلة الصحيحة على النماذج التي نمتلكها بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.