Training Skills Like Parameters via Self-Supervised Semantic Diffusion
تقترح هذه الورقة إطار عمل لوكيل ذاتي التطور وغير خاضع للإشراف، يقوم بتدريب مكتبة خارجية من المهارات النصية عبر عملية انتشار دلالي ذاتية الإشراف، مما يمكّن النماذج اللغوية الكبيرة من إتقان مجالات معقدة ومتخصصة بشكل مستقل مثل كتابة السيناريو دون الحاجة إلى الوصول إلى الأوزان أو إشراف بشري خارجي.
المؤلفون الأصليون:Mo Li, Zixin Yin, Ting Cao, Yunxin Liu
تخيل أنك تحاول تعليم متدرب عبقري لكنه يفتقر للخبرة كيفية كتابة سيناريو فيلم مشوق. لديك مكتبة تضم آلاف السيناريوهات الحائزة على جوائز، لكن لا يمكنك ببساطة إعادة كتابة دماغ المتدرب لجعله يحفظها جميعاً. في عالم الذكاء الاصطناعي، هذه "المتدربين" هم النماذج اللغوية الكبيرة (LLMs) — وهي حواسيب فائقة الذكاء يمكنها الدردشة، والكتابة، وحل المشكلات. ومع ذلك، عندما يتعلق الأمر بمهام إبداعية متخصصة للغاية مثل كتابة الدراما القصيرة، فإنها غالباً ما تبدو عامة بعض الشيء مقارنة بالخبراء البشر. عادةً، لإصلاح ذلك، نحاول "الضبط الدقيق" (fine-tuning) للنموذج، وهو أمر يشبه إجراء عملية قلب مفتوح لدماغه لتغيير توصيلاته الداخلية. لكن هذا مكلف، ويتطلب الوصول إلى الشفرة السرية للنموذذ (التي لا تمنحها العديد من الشركات الكبرى)، وبمجرد انتهاء الجراحة، يظل النموذج عالقاً بهذا الإصدار المحدد للأبد. إذا ظهر نموذج أفضل في العام المقبل، فسيتعين عليك البدء من جديد.
لذا، بحث العلماء عن طريقة مختلفة: بدلاً من تغيير الدماغ، لماذا لا نعطي المتدرب مجموعة من "أوراق الغش" أو "كتاب قواعد" يمكنه قراءته كلما احتاج للمساعدة؟ يُسمى هذا "التعلم الخارجي" (externalized learning). تكمن المشكلة في أن كتابة أوراق الغش هذه تتطلب من خبير بشري الجلوس لشرح حيله السرية، وهو أمر بطيء ومكلف، وغالباً ما لا يرغب الخبراء في مشاركة أسرارهم خوفاً من تقليدهم. تسأل هذه الورقة البحثية سؤالاً جريئاً: هل يمكننا تعليم ذكاء اصطناعي كتابة أوراق الغش الخاصة به، باستخدام الأفلام والسيناريوهات الموجودة فقط، دون الحاجة إلى إنسان ليقيم واجباته المدرسية أو يشرح القواعد؟
يقول الباحثون وراء هذه الدراسة، الذين عملوا على سيناريوهات الدراما القصيرة، إن الإجابة هي نعم. لقد بنوا نظاماً يتعلم فيه وكيل الذكاء الاصطناعي الكتابة كالمحترفين من خلال لعب لعبة "الفساد وإعادة البناء". فكر في الأمر هكذا: تخيل أنك تأخذ سيناريو فيلماً مثالياً ومفصلاً وتمرره عبر آلة تمزيق حتى لا يتبقى لديك سوى ملخص بسيط للحبكة مكون من جملة واحدة فقط. ثم تقدم ذلك الملخص للذكاء الاصطناعي وتقول له: "أعد بناء سيناريو الفيلم الكامل من هذا الملخص". لكن هنا تكمن الخدعة: الذكاء الاصطناعي لا يقوم بالتخمين فحسب؛ بل لديه "بنك ذاكرة" من بطاقات القواعد التي يمكنه استشارتها. بعد أن يحاول الذكاء الاصطناعي إعادة بناء السيناريو، يقوم النظام بمقارنة إعادة البناء الفوضوية هذه مقابل السيناريو البشري الأصلي والمثالي. وبدلاً من أن يقول المعلم البشري "عمل جيد" أو "عمل سيء"، يكتشف النظام تلقائياً الاختلافات — مثل الأماكن التي كان فيها الحوار طويلاً جداً أو حيث لم يتحرك الشخصية بما يكفي — ويكتب تقريراً عما سار بشكل خاطئ.
يُستخدم هذا التقر بثم يتم تحديث بنك الذاكرة الخاص بالذكاء الاصطناعي. إذا اتبع الذكاء الاصطناعي قاعدة أدت إلى سيناريو سيء، فسيتم تعديل تلك القاعدة أو التخلص منها. وإذا فاتته قاعدة كانت ستجعل السيناريو أفضل، فسيتم إنشاء بطاقة قاعدة جديدة. يحدث هذا مراراً وتكراراً، كحلقة تصحيح ذاتي. الذكاء الاصطناعي لا يغير دماغه؛ بل يستمر في صقل مكتبته الخارجية من "بطاقات كيف تفعل ذلك". اختبر الباحثون هذا على مجموعة ضخمة من الدراما القصيرة الاحترافية. ووجدوا أنه بعد التدريب، أصبحت سيناريوهات الذكاء الاصطناعي أقرب بكثير إلى الجودة البشرية. وتحديداً، تعلم الذكاء الاصطناعي كتابة مشاهد حركة أكثر واقعية (بدلاً من وصف أشياء لا تستطيع الكاميرا رؤيتها)، وخلق نهايات مشوقة أكثر إثارة، واستخدام الأدوات (props) في القصة بدلاً من مجرد جعل الشخصيات تحدق فيها.
ما يجعل هذا رائعاً حقاً هو أن "أوراق الغش" التي تعلمها الذكاء الاصطناعي ليست مرتبطة بنموذج حاسوبي محدد. فقد أخذ الباحثون بنك الذاكرة الذي تم تدريبه على نوع معين من الذكاء الاصطناعي وأعطوه لنوع مختلف تماماً من نماذج الذكاء الاصطناعي، وقد نجح الأمر بنفس القدر من الكفاءة. إنه يشبه إذا كتبت دليلاً مثالياً لكتابة الأفلام، وساعد ذلك الدليل طالبين مختلفين بأدمغة مختلفة تماماً ليصبحا كاتبين رائعين. تشير الدراسة إلى أن هذه الطريقة تسمح للذكاء الاصطناعي بتعليم نفسه مهارات معقدة من أمثلة بشرية عالية الجودة دون الحاجة إلى معلمين بشريين مكلفين أو تغيير الكود الأساسي للذكاء الاصطناعي. وبينما لا يزال النظام غير مثالي بعد — إذ يواجه أحياناً صعوبة في تذكر قراءة القاعدة الصحيحة في الوقت المناسب — إلا أنه يظهر مساراً واعداً للذكاء الاصطناعي للاستمرار في التعلم والتحسن من خلال دراسة أفضل الأعمال البشرية، بمفرده تماماً.
ملخص تقني: تدريب المهارات كمعاملات عبر الانتشار الدلالي ذاتي الإشراف
بيان المشكلة
تتفوق النماذج اللغوية الكبيرة (LLMs) في اتباع التعليمات العامة، لكنها غالبًا ما تصل إلى مرحلة الثبات في المجالات المتخصصة للغاية والمفتوحة مثل كتابة السيناريو الإبداعي. تواجه طرق التكيف التقليدية عقبات كبيرة:
التكيف على مستوى المعاملات (Parameters): يعد الضبط الدقيق للنماذج الرائدة مغلقة المصدر أمرًا مستحيلاً بسبب عدم إمكانية الوصول إلى الأوزان، كما أن الضبط الدقيق الكامل مكلف حوسبيًا. علاوة على على ذلك، فإن القدرات المتعلمة تكون مرتبطة بنقاط تفتيش (checkpoints) محددة وتكون غامضة أمام التدقيق البشري.
حقن المهارات الخارجي: بينما يعد حقن وثائق "المهارات" الخارجية بديلًا واعدًا، تعتمد النهج الحالية بشكل كبير على التعليقات التوضيحية المكلفة من خبراء بشريين لصياغة هذه المهارات. غالبًا ما يتردد خبراء المجال في صياغة المعرفة الضمنية بشكل رسمي، مما يخلق عائقًا أمام اكتساب المهارات الآلي.
محدودية التغذية الراجعة: تعتمد أساليب التعلم المستمر الوكيلية الموجودة حاليًا على تغذية راجعة غير موثوقة من "النموذج اللغوي كحكم" (LLM-as-a-judge) أو تقييمات بشرية مكلفة، والتي تجد صعوبة في توفير إشارات قوية لمهام التوليد مفتوحة النهايات.
المنهجية
يقترح المؤلفون إطار عمل وكيل ذاتي التطور وذاتي الإشراف مستوحى من نموذج "الفساد وإعادة البناء" (corruption-and-reconstruction) المستخدم في نماذج الانتشار (diffusion models). بدلًا من تحديث أوزان النموذج، يقوم النظام بتحسين مكتبة خارجية من المهارات النصية (الذاكرة).
الحلقة الأساسية
يعمل إطار العمل ضمن دورة من الفساد، إعادة البناء، حساب الخسارة، وتخصيص الائتمان:
الفساد (بناء أزواج ذاتي الإشراف):
تُعامل السيناريوهات البشرية عالية الجودة والجاهزة للإنتاج على أنها "الحالة النظيفة".
يقوم وكيل الفساد بضغط هذه النصوص إلى مخططات قصصية مكثفة، مجردًا إياها من الحوار، والإيقاع، والأفعال الجسدية. هذا يخلق مدخلًا "مشوشًا" حيث يظل هيكل القصة قائمًا ولكن تفاصيل الحرفة قد دُمِّرت.
يعمل زوج (المخطط، السيناريو الأصلي) كمثال تدريب مجاني دون الحاجة لملصقات (labels) خارجية.
التمرير الأمامي (توليد السيناريو):
بالاعتماد على مخطط قصصي، يقوم وكيل السيناريو بإعادة بناء سيناريو كامل بتنسيق هوليوود.
قبل الكتابة، يقوم الوكيل بمسح مكتبة بطاقات القواعد (المهارات) وقراءة تلك التي تُعتبر ذات ص relevance. يتم تسجيل "أثر القراءة" (read trace) لتحديد القواعد التي أثرت على عملية التوليد.
الخسارة الدلالية (الإشارة التباينية):
يقوم وكيل الخسارة بمقارنة السيناريو المُعاد بناؤه مع الأثر البشري الأصلي.
بدلًا من مطابقة الرموز (tokens) التي تكون غير فعالة في الكتابة الإبداعية، يقوم الوكيل بتوليد تقرير خسارة نصي كثيف يسلط الضوء على التناقضات الهيكلية والأسلوبية (مثل: كيف يتصاعد الصراع، أين ينتهي المشهد).
يوفر هذا إشارة ذاتية الإشراف قوية دون الحاجة لتقييمات بشرية خارجية.
التمرير الخلفي (تخصيص الائتمان وتحديث الذاكرة):
يعمل وكيل التمرير الخلفي كـ "محسن" (optimizer)، حيث يقرأ تقرير الخسارة وأثر القراءة.
يقوم بإجراء تعديلات دقيقة على مكتبة الذاكرة: تقوية القواعد الفعالة، تضييق نطاق القواعد المضللة، إنشاء قواعد جديدة للأخطاء المتكررة، ودمج العناصر المتكررة.
الاختزال الهرمي: لمنع تميع الإشارة، يتم أولاً اختزال تقارير الخسارة من عدة روايات إلى ملخصات تشترك في السمات العامة قبل معالجتها.
الخطوات الدقيقة (Micro-steps): يتم تفكيك التحديثات العالمية إلى خطوات دقيقة ومركزة لتجنب تلاشي التدرج (vanishing gradients) وضمان إمكانية التتبع.
بنية الذاكرة
هيكل خليط الخبراء (MoE): يتم تنظيم مكتبة الذاكرة في ثلاثة مجلدات خبراء: المبادئ العامة، تقنيات الحرفة الملموسة، وأعراف النوع الأدبي. يتم توجيه بطاقات القواعد ديناميكيًا إلى هذه المجلدات.
التنظيم (المدقق - The Linter): يفرض مدقق صارم حدودًا صلبة للطول (مثل 1,200 رمز لكل جسم بطاقة) لمنع القواعد من الإفراط في التكيف مع تفاصيل حبكة معينة أو النمو لتصبح "سجلات أحداث".
التدريب المتوازي للبيانات: تعمل عمليات التوليد الأمامي وحساب الخسارة بالتوازي عبر الروايات، بينما يتم تسلسل التحديثات الخلفية في طابور من الخطوات الدقيقة.
المساهمات الرئيسية
اكتساب المهارات غير الخاضع للإشراف: يتيح إطار العمل للوكلاء استخراج واستيعاب مهارات قابلة للتعميم ذاتيًا من الآثار البشرية الموجودة دون أي تعليق بشري أو إشارات مكافأة صريحة.
نموذج الانتشار الدلالي: يكيف منطق الفساد وإعادة البناء مع المجال النصي، حيث يعامل وثائق المهارات كمعاملات قابلة للتدريب تتطور عبر خسارة دلالية.
تخصيص الائتمان النصي: يقدم آلية لتوجيه التغذية الراجعة النصية إلى عقد ذاكرة محددة باستخدام بنية تشبه MoE، مما ينقل تحديثات التدرج بفعالية من مساحة المعاملات إلى وثائق المهارات الخارجية.
التطور الذاتي القابل للتوسع: من خلال استخدام الخطوات الدقيقة والاختزال الهرمي، يتوسع النظام للتدريب على مجموعات كبيرة من البيانات (20 رواية، ~1,100 حلقة) مع الحفاظ على مجمع ذاكرة مدمج ومستقر (18 بطاقة قاعدة).
النتائج التجريبية
تم تقييم إطار العمل على مهمة كتابة سيناريو الدراما القصيرة باستخدام 20 رواية احترافية للتدريب و6 روايات محجوزة لتقييم الأداء خارج التوزيع (OOD).
مكاسب الأداء: تفوق الوكيل المزود بالذاكرة على النموذج المرجعي (الذاكرة الفارغة) في 7 من أصل 9 مقاييس.
الأفعال غير القابلة للتصوير (Unfilmable Action): انخفضت من 1.1 سطر/حلقة (النموذج المرجعي) إلى 0.3، وهو ما يطابق المعيار البشري البالغ 0.3.
النهايات ذات القطع الحاد (Hard-Cut Endings): ارتفع معدل الحدوث من 40% (النموذج المرجعي) إلى 59%، مقتربًا من المعدل البشري البالغ 61%.
الافتتاحيات الباردة (Cold Opens): ارتفعت من 64% إلى 84%، متجاوزة المرجع البشري البالغ 72%.
تفعيل الأدوات (Prop Activation): تحسنت من 59% إلى 78%، متجاوزة المعدل البشري البالغ 70%.
ديناميكيات التدريب: أظهر الوكيل تحسنًا رتيبًا في إيقاع الحوار وتصحيحًا مغلق الحلقة في استخدام التعليق الصوتي، مما يدل على قدرة النظام على التصحيح الذاتي عبر العصور (epochs).
نقل المعرفة بين النماذج: تم نقل مجمع الذاكرة الذي تدرب حصريًا على Claude Sonnet 4.6 بنجاح إلى Claude Opus 4.8. وجه المجمع كلا النموذجين إلى مستويات أداء متطابقة تقريبًا في انضباطات الحرفة، مما يشير إلى أن المهارات مستقلة عن النموذج.
التحقق من خط الإنتاج الخارجي: عند حقن الذاكرة في خط إنتاج كتابة سيناريو متعدد الوكلاء لم يره النظام أثناء التدريب، نجحت الذاكرة في تصحيح إخفاقات محددة (مثل تقليل التعليقات الصوتية المفرطة، وفرض القطع الحاد)، مما يثبت المتانة خارج حلقة التدريب الأصلية.
تأثير التنظيم (Regularization): أظهرت التجارب أن بنية الذاكرة المقيدة بعدد الرموز فقط (الحدود الصارمة للطول) نجحت في تحسين المقاييس القائمة على القواعد والمقاييس القائمة على الحكم في آن واحد. أما المجمعات غير المقيدة أو المحدودة بالأسطر فقد أدت إما إلى قمع المحتوى بشكل مفرط أو الانهيار في مقاييس القواعد.
الأهمية والادعاءات
يزعم البحث تقديم مسار قابل للتوسع للوكلاء لتعليم أنفسهم إنتاج آثار بشرية معقدة وعالية الجودة دون إشراف خارجي.
القابلية للتدقيق: على عكس التعلم القائم على التدرج، فإن "المهارات" المتعلمة هي وثائق نصية صريحة وقابلة للقراءة من قبل البشر، ويمكن فحصها وتدقيقها.
القابلية للنقل: المهارات مستقلة عن النموذج، ويمكن نقلها عبر أجيال ونماذج معمارية مختلفة.
كفاءة التكلفة: من خلال الاستفادة من الآثار البشرية عالية الجودة الموجودة كإشارات ذاتية الإشراف، يتجاوز هذا النهج الحاجة إلى التعليقات التوضيحية البشرية المكلفة أو حلقات التعلم المعزز.
يقر المؤلفون بوجود قيود، وتحديدًا الاعتماد على قدرة النموذج الأساسي على اتباع التعليمات (إذا تجاهل النموذج قاعدة ما، تنكسر سلسلة تخصيص الائتمان) وآلية الاسترجاع (إذا لم تُقرأ القاعدة أبدًا، فلا يمكن تفعيلها). يركز العمل المستقبلي على تحسين بنية الذاكرة وتحسين آلية تخصيص الائتمان. ويعتزم المؤلفون جعل إطار عمل التدريب ونماذج الذاكرة التمثيلية مفتوحة المصدر.