💬 NLP

Crayotter: Learning Long-Horizon Video Editing Agents via Group-Relative Preference Backpropagation

تقدم الورقة البحثية Crayotter، وهو وكيل تحرير فيديو بحجم 9 مليارات معلمة تم تدريبه عبر الانتشار العكسي للتفضيلات النسبية للمجموعات (GRPB)، والذي يحول التغذية الراجعة الذاتية لتحرير طويل المدى إلى مقارنات ترتيبية لإعادة توزيع الائتمان بفعالية عبر الأجزاء الدلالية، متفوقاً بذلك على الأنظمة المملوكة في اختبارات معيارية مثل AgenticVBench.

المؤلفون الأصليون: Lecheng Yan, Jianze Lin, Yichong Zhang, Ben Pan, Wenxi Li, Chenyang Lyu, Liting Zhou, Cathal Gurrin

نُشر 2026-08-05

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Lecheng Yan, Jianze Lin, Yichong Zhang, Ben Pan, Wenxi Li, Chenyang Lyu, Liting Zhou, Cathal Gurrin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يكون مخرج أفلام. تعطيه كومة من مقاطع الفيديو الخام وتعليمة بسيطة: "اصنع شريط إبراز رياضي رائع". يتعين على الروبوت القيام بالكثير من العمل: عليه العثور على المقاطع المناسبة، وقصها، وترتيبها في جدول زمني، وإضافة الموسيقى، وتصدير الملف النهائي. هذه عملية طويلة تتكون من خطوات عديدة. المشكلة هي أنك لا ترى الفيلم النهائي إلا في النهاية تمامًا. إذا كان الفيلم مملًا، فلا يمكنك بسهولة معرفة أي خطوة محددة سارت بشكل خاطئ. هل اختار المقاطع الخاطئة؟ هل قصها بشكل قصير جدًا؟ أم أنه رتبها بترتيب سيء فقط؟ في عالم الذكاء الاصطناعي، يسمى هذا مشكلة "الأفق الطويل" (long-horizon). الأمر يشبه محاولة تعليم شخص ما خبز كعكة عبر إخباره فقط بأن "طعمها سيء" بعد أن يكون قد أكل الكعكة بأكملها بالفعل. أنت بحاجة إلى طريقة لإعطاء الفضل (أو اللوم) لخطوات محددة أدت إلى النتيجة، حتى لو كانت النتيجة ذاتية المعايير — بمعنى أن أشخاصًا مختلفين قد يحبون نسخًا مختلفة من نفس الفيديو.

يقدم هذا البحث طريقة جديدة لتعليم محرري الذكاء الاصطناعي هؤلاء، تسمى Crayotter. أدرك الباحثون أنه بدلًا من محاولة إعطاء الروبوت "درجة" واحدة للفيديو بأكمله (وهو أمر صعب لأن كلمة "جيد" تعتمد على وجهة نظر المشاهد)، يجب عليهم فقط طرح السؤال التالي: "بين نسختين مختلفتين من نفس الفيديو، أيهما أفضل؟". من خلال مقارنة فيديوهات مصنوعة من نفس المواد الأولية تمامًا، يمكن للذكاء الاصطناعي تعلم ترتيب واضح. لكن الجزء الصعب يظل في معرفة أين اتخذ الذكاء الاصطناعي القرارات الجيدة أو السيئة خلال تلك العملية الطويلة. يقترح المؤلفون طريقة تسمى الانتشار العكسي للتفضيلات النسبي للمجموعة (GRPB). فكر في الأمر كحكم ذكي لا يكتفي بالصراخ "عمل جيد!" أو "عمل سيء!" في نهاية المباراة، بل ينظر إلى أداء الفريق بأكمله، ويحدد من ساهم في الفوز، ويعطي الفضل للخطوات المحددة التي كانت مؤثرة، مع التأكد من عدم حصول أي خطوة واحدة على قدر كبير جدًا من الفضل أو اللوم.

المشكلة: "الصندوق الأسود" لتحرير الفيديو

عندما يحاول ذكاء اصطناعي تحرير فيديو، فإنه يمر بسلسلة طويلة من القرارات. يقوم بتحليل اللقطات، واختيار المقاطع، وبناء الجدول الزمني، ومعالجة المنتج النهائي. المشكلة هي أن جودة الفيديو النهائي — مدى تدفق القصة، وما إذا كان الإيقاع مناسبًا، أو ما إذا كان الأسلوب يطابق الطلب — لا تظهر إلا بعد اتخاذ كل تلك القرارات.

إذا أعطيت الذكاء الاصطناعي رقمًا واحدًا في النهاية (مثل "هذا الفيديو حاصل على 7 من 10")، فسيكون الأمر مربكًا. هل الـ 7 لأن الذكاء الاصطناعي اختار مقاطع سيئة؟ أم لأن الموسيقى كانت صاخبة جدًا؟ أم أن المهمة نفسها كانت صعبة حقًا؟ لكل مهمة تحرير قواعد مختلفة لما يجعل الفيديو "جيدًا"، لذا فإن مقارنة الدرجات عبر مهام مختلفة تشبه مقارنة التفاح بالبرتقال.

يجادل البحث بأنه لا ينبغي لنا محاولة حساب درجة عالمية مثالية. بدلاً من ذلك، يجب أن نركز على المقارنات. إذا صنع الذكاء الاصطناعي ثلاث نسخ مختلفة من نفس الشريط الرياضي، يمكننا بسهولة القول: "النسخة ج أفضل من النسخة أ، والنسخة أ أفضل من النسخة ب". هذا يحول الشعور الذاتي الغامض إلى ترتيب منطقي واضح.

الحل: GRPB ونظام الائتمان "المتأخر"

يقدم المؤلفون الانتشار العكسي للتفضيلات النسبي للمجموعة (GRPB). إليك كيف يعمل، باستخدام تشبيه مرح:

تخيل مسابقة طبخ حيث تُعطى ثلاثة فرق (الفريق أ، الفريق ب، والفريق ج) نفس المكونات تمامًا ويُطلب منهم صنع حساء (يخنة). يتذوق الحكام الحساء الثلاثة ويرتبونه: الفريق ج هو الفائز، والفريق أ هو الثاني، والفريق ب هو الخاسر.

في الطرق القديمة، قد يمنح الحكم الفريق الفائز كأسًا كبيرًا والفريق الخاسر شريط مشاركة. لكن هذا لا يخبر الطهاة بما فعلوه بشكل صحيح أو خاطئ. هل فاز الفريق ج لأنهم قطعوا البصل بشكل أفضل؟ أم لأنهم أضافوا التوابل في الوقت المناسب؟

GRPB يشبه مدربًا ذكيًا للغاية يحلل المباراة.

المجموعة: هو يقارن فقط الفرق التي استخدمت نفس المكونات تمامًا (نفس الطلب والمقاطع المصدرية).
اللعبة صفرية المجموع: يعامل الترتيب كلعبة صفرية المجموع. إذا فاز الفريق ج، فإنه يكتسب نقاطًا، والآخرون يخسرون نقاطًا. إجمالي النقاط في الغرفة يظل دائمًا صفرًا.
المخصص المتأخر (The Lagged Allocator): هذا هو الجزء الذكي. المدرب لا ينظر فقط إلى الحساء النهائي ويخمن. إنه يستخدم نظامًا "متأخرًا". إنه ينظر إلى "الدفعة السابقة" من دروس الطبخ ليقرر كيفية إعطاء الفضل لهذه الدفعة. هذا يمنع المدرب من الارتباك بسبب ردود أفعاله الفورية. الأمر يشبه معلمًا يصحح اختبارًا بناءً على المعايير التي وضعها الأسبوع الماضي، وليس المعايير التي دونها للتو أثناء التصحيح.
ائتمان مستوى الجزء (Segment-Level Credit): بدلًا من إعطاء الفريق درجة كاملة، يقوم GRPB بتقسيم عملية الطبخ إلى أجزاء: "التقطيع"، "الغليان"، "التتبيل". إنه يحدد أي جزء محدد ساهم أكثر في الفوز أو الخسارة. إذا قطع الفريق ج البصل بشكل مثالي، فإن هذا الجزء المحدد يحصل على الفضل. وإذا أحرق الفريق ب الثوم، فإن هذا الجزء المحدد يحصل على اللوم.
سقوف الأمان: لمنع الذكاء الاصطناعي من الحماس المفرط أو الإحباط الشديد، يضع النظام "سقوفًا" على مقدار الفضل أو اللوم الذي يمكن أن يتلقاه أي جزء واحد. كما يستخدم "بوابة موثوقية"، مما يعني أنه يبدأ فقط في توزيع الفضل بمجرد التأكد من أن نظام التحكيم الخاص به يعمل بشكل صحيح.

ما وجدوه

بنى الباحثون نموذج ذكاء اصطناعي بـ 9 مليارات بارامتر يسمى Crayotter، ودربوه باستخدام هذه الطريقة الجديدة. اختبروه في بيئة محاكية لمهام تحرير واقعية، تتراوح من القص البسيط إلى المراجعات المعقدة متعددة الخطوات.

أظهرت النتائج أن GRPB يعمل بشكل أفضل من الطرق الأخرى:

تحرير أفضل: الفيديوهات التي أنتجها النموذج المدرب بـ GRPB كانت مفضلة لدى الحكام البشر أكثر من تلك المنتجة من النماذج المدربة بالطرق القياسية. في اختبار أعمى، فاز نموذج GRPB ضد النموذج "الأساسي" (الذكاء الاصطناعي الأصلي) بنسبة 67.1% من المرات.
ائتمان أذكى: عندما اختبر الباحثون ما إذا كان الذكاء الاصطناعي يعرف لماذا صنع فيديو جيدًا، كان GRPB أفضل بكثير في تحديد خطوات التحرير المحددة التي كانت مؤثرة. لقد حدد الجزء "الفائز" بنسبة 20.8% من المرات، مقارنة بـ 11.9% فقط للطرق الأخرى.
هزيمة المحترفين: في اختبار معياري يسمى AgenticVBench، احتل نموذج Crayotter (بـ 9 مليارات بارامتر) المركز الثالث بين جميع الأنظمة المختبرة، متفوقًا على عدة أنظمة باهظة الثمن ومملوكة لشركات تقنية كبرى. سجل متوسط 15.7%، مع درجة قوية بلغت 23.0% في مهمة "إعادة الاستخدام" (Repurpose) (وهي مشابهة جدًا لتحرير الفيديو).

لماذا هذا مهم؟

يشير هذا البحث إلى أنه بالنسبة للمهام الإبداعية المعقدة حيث تكون "الإجابة الصحيحة" ذاتية، فنحن لا نحتاج إلى درجة مثالية. نحن فقط بحاجة إلى طريقة لمقارنة المحاولات المختلفة ومعرفة أي الخطوات المحددة أدت إلى نتيجة أفضل. من خلال استخدام نظام يقارن المحاولات المتشابهة، ويؤجل حكمه لتجنب الانحياز، ويوزع الفضل بعناية على أجزاء محددة من العملية، يمكن للذكاء الاصطناعي أن يتعلم كيف يكون محررًا أفضل بكثير.

يشير المؤلفون بحذر إلى أن هذا حل محدد لمهام مثل تحرير الفيديو، حيث توجد مراحل واضحة ونتائج بديلة. هم لا يدعون أن هذا يحل كل مشاكل الذكاء الاصطناعي، لكنهم يظهرون أنه بالنسبة لهذا النوع من الوظائف الإبداعية ذات "الأفق الطويل"، فإن تقسيم المشكلة إلى تفضيلات محلية قابلة للمقارنة هو وسيلة قوية لتعليم الآلات كيفية الإبداع. الكود والبيانات لتجاربهم متاحة للجمهور، مما يدعو الآخرين لتجربة نهج "الائتمان المتأخر" هذا في مشاريعهم الإبداعية للذكاء الاصطناعي.

ملخص تقني: Crayotter والانتشار العكسي للتفضيلات النسبية للمجموعة (GRPB)

1. بيان المشكلة

تواجه وكلاء تحرير الفيديو طويلة المدى تحديًا جوهريًا في التعلم من التغذية الراجعة: جودة المنتج النهائي ذاتية، وتسمح بحلول متعددة وصحيحة، ولا يمكن ملاحظتها إلا بعد سلسلة من القرارات المترابطة (تحليل المصدر، استرجاع المقاطع، بناء الجدول الزمني، الرندرة، والمراجعة).

تعاني النهج الحالية من مشكلتين رئيسيتين:

الأهداف العالمية الغامضة: إن المكافأة القياسية العالمية غير مناسبة للتحرير لأن أبعاد الجودة (الاستمرارية السردية، الإيقاع، الدقة الأسلوبية) تختلف باختلاف المهمة والحكم. الدرجة المطلقة تخلط بين جودة المنتج، وصعوبة المهمة، والتباين في مقاييس الحكم، مما يجعل المعايرة عبر المهام بلا معنى.
الائتمان المتأخر والمنتشر: توفر آثار التنفيذ تغذية راجعة قابلة للتحقق بشأن اكتمال الأدوات وصلاحية العناصر، لكنها تفشل في التقاط الاختيار الدلالي أو الجودة السردية. هذه الجودة لا يمكن ملاحظتها إلا بعد الرندرة. وتواجه طرق التعلم التعزيزي (RL) القياسية صعوبة في تخصيص الائتمان من حكم المنتج النهائي إلى قرارات التحرير المبكرة المحددة دون إدخال ضوضاء أو انحياز.

تعتمد الطرق الموجودة إما على شروط نهائية قابلة للتحقق خارجيًا (وهو ما يفتقر إليه التحرير) أو تبث ميزة واحدة على مستوى المسار لجميع الإجراءات، مما يفشل في تحديد موقع الائتمان للقطاعات الدلالية المحددة التي تسببت في النتيجة.

2. المنهجية: الانتشار العكسي للتفضيلات النسبية للمجموعة (GRPB)

قدم المؤلفون إطار عمل GRPB، وهو إطار يحول النتائج الذاتية والمتأخرة إلى تعلم تفضيلات مهامي محلي ومنظم. تعمل الطريقة ضمن بيئة التحرير Crayotter، التي توفر آثارًا مجزأة، ونتائج مُرندرة، وتشخيصات للعملية.

الآليات الأساسية

يقوم GRPB بتفكيك مشكلة التعلم إلى ثلاث مراحل متميزة:

أ. بناء التفضيلات المحلية للمهمة
بدلاً من الانحدار نحو درجة جودة عالمية، يقوم GRPB بأخذ عينة من مجموعة من عمليات التشغيل ( $G_q$ ) لنفس الطلب، والمواد، والمدة المستهدفة، والقيود. يقوم حكم متعدد الوسائط بترتيب هذه الفيديوهات النهائية ( $J_k$ ).

ميزة التصنيف صفرية المجموع: يتم تحويل درجات الحكم إلى ميزة ربح/خسارة زوجية ( $A^{rank}_k$ ) داخل المجموعة. هذا الإحصائي هو صفر المجموع ( $\sum A^{rank}_k = 0$ ) ويقع في النطاق $[-1, 1]$ ، مما يجعله غير متغير تجاه إزاحات الدرجات، وتغيرات المقياس، والمعايرة عبر المهام.

ب. تخصيص القطاعات المتأخر
الابتكار الجوهري هو رسم خرائط التفضيل على مستوى المسار إلى قطاعات تحرير محددة (أحداث متصلة تشترك في تسمية مرحلة التحرير).

مخصص برايدلي-تيري المتناثر: يتنبأ نموذج خطي متناثر بجدوى عملية التشغيل بناءً على متوسط ناقلات ميزات القطاع الخاص بها ( $\hat{z}_k = w^\top \bar{f}_k$ ). يتم تدريب الأوزان $w$ لتقليل خسارة برايدلي-تيري على التصنيفات داخل المجموعة.
التحديث المتأخر: من الضروري أن يستخدم المخصص أوزانًا ( $w^-$ ) مجمدة قبل ملاحظة الدفعة الحالية. يتم حساب ائتمان السياسة باستخدام $w^-$ ، ثم يتم تحديث $w$ بعد ذلك. هذا يمنع النموذج من حفظ الملصقات الحالية وإرجاعها مباشرة كائتمان لنفس مجموعة الدفعة.
بوابة الموثوقية: يتم التحكم في تقديرات المخصص المبكرة بواسطة معامل موثوقية يعتمد على ملاحظات الإحماء والدقة. يتم تعطيل الائتمان حتى يظهر المخصص دقة تنبؤية كافية.

ج. إعادة توزيع الائتمان المحدود
يتم إعادة توزيع ميزة التصنيف صفرية المجموع باستخدام خوارزمية "ملء الماء" مع قيود صارمة:

التخصيص الموقّع والمقيد: تفضل الميزانيات الإيجابية القطاعات ذات الدرجات العالية؛ بينما تعاقب الميزانيات السلبية القطاعات ذات الدرجات المنخفضة. يمنع السقف المطلق لكل قطاع ( $C$ ) أي قطاع واحد من استيعاب الميزانية بأكملها.
الحفظ الدقيق: مجموع الائتمانات المخصصة لعملية تشغيل واحدة يساوي بالضبط ميزانية ميزة التصنيف الخاصة بها ( $\sum c_{k,m} = b_k$ ).
الوضع الدلالي: يتم تخصيص الائتمات إلى الموضع التدريبي النهائي لقطاع دلالي، وليس بالتوزيع حسب عدد التوكينات، مما يضمن عدم حصول الفترات اللفظية الطويلة على كتلة تفضيل غير متناسبة.

د. تحسين السياسة
تُضاف اائتمات القطاعات المخصصة إلى مكافآت العملية عند نهايات القطاعات. يتم تحسين السياسة باستخدام PPO مع GAE (تقدير الميزة العامة)، باستخدام خط أساس قيمة متعلم. بخلاف GRPO (تحسين السياسة النسبي للمجموعة)، التي تشارك قيمة قياسية على مستوى المسار عبر جميع الإجراءات، يستخدم GRPB المجموعة فقط لبناء الميزانية، بينما يتولى الناقد و GAE التعامل مع الميزات المتغيرة للخطوة والمستمدة من مكافآت القطاع الموضعية.

3. المساهمات الرئيسية

الصياغة: يصيغ البحث تحرير الفيديو طويل المدى كمسألة تخصيص ائتمان لتفضيلات المنتجات المادية المحلية للمهمة، مع فصل التغذية الراجعة للعملية القابلة للتحقق من التقييم الذاتي للمنتج النهائي.
الخوارزمية (GRPB): طريقة مبتكرة تجمع بين ميزات التصنيف صفرية المجموع داخل المهمة وبين مخصص قطاع متأخر، ومحكوم بالموثوقية، ومقيد. وهي تضمن الحفظ الدقيق للعائد وتمنع الأحكام الحالية من تشكيل نفس مجموعة عملية التشغيل مباشرة.
البيانات والتقييم: قام المؤلفون ببناء مجموعة من 70 مهمة تحرير واقعية، موزعة حسب الأفق، ومنفصلة عن حيث المشاريع (12 عادية، 12 متوسطة، 46 طويلة المدى) مع تقسيمات منفصلة للمشاريع لمنع تسرب البيانات.

4. النتائج التجريبية

قيم المؤلفون نموذجًا بـ 9 مليارات معلمة (Crayotter) تم تدريبه باستخدام GRPB مقابل عدة نماذج مرجعية ومعايير خارجية.

النماذج المرجعية المتطابقة (AgenticVBench):
- حقق GRPB أعلى متوسط درجة (15.7%) على AgenticVBench، متفوقًا على Process-PPO (13.7%) و Terminal Rank PPO (12.0%).
- على وجه التحديد، تفوق GRPB في ركيزة "إعادة الاستخدام" (Repurpose) بنسبة (23.0%)، وهو مقياس متوافق للغاية مع مهام التحرير.
- أظهرت دراسات الاستئصال (Ablation studies) أن إزالة آلية التأخير أو ضمانات الموثوقية تسبب هبوط الأداء إلى ما دون Process-PPO، مما يؤكد ضرورة الائتمان المتميز والمحمي.
تحديد موقع الائتمان:
- في التدخلات المحكومة حيث تم إضعاف قطاع واحد، حقق GRPB نسبة 20.8% في تحديد الموقع من الدرجة الأولى (Top-1 localization) و 85.7% في دقة الترتد الزوجي، متفوقًا بشكل كبير على التخصيص الموحد (11.9%) والبث النهائي (1.8%).
المقارنة الخارجية:
- في اختبار AgenticVBench الكامل (100 مهمة منفصلة)، احتل Crayotter-9B المركز الثالث بين الأنظمة المدرجة، متجاوزًا العديد من البدائل المملوكة لشركات وتساوي Gemini 3.1 Pro في مهمة Repurpose.
التقييم البشري:
- في اختبارات التفضيل البشرية العمياء، حقق GRPB معدل فوز صافي إيجابي ضد جميع الخصوم، بما في ذلك معدل فوز صافي قدره 34.2% مقابل النموذج الأساسي و 8.0% مقابل Process-PPO.

5. الأهمية والادعاءات

يزعم البحث أن GRPB يوفر نهجًا عمليًا للتعلم من النتائج الذاتية والمتأخرة في مهام الإنتاج متعددة المراحل. من خلال تحويل الدرجات العالمية الغامضة إلى مقارنات ترتيبية محلية للمهمة وتحديد موقع الائتمان من خلال مخصص متأخر، تمكن الطريقة الوكلاء من تحسين كل من سلوك التحرير وجودة المنتج المُرندر دون الحاجة إلى معايرة الدرجات عبر المهام.

يضع المؤلفون هذا العمل كأساس لمهام الإنتاج الأخرى ذات الحلول المتعددة والذاتية، موضحين أن المقارنة المحلية للمهمة وتخصيص الائتمان المحافظ يمكن أن يسدوا الفجوة بفعالية بين حكم المنتج النهائي وتحسين السياسة الوسيطة. يثبت نموذج Crayotter الناتج أن الوكلاء مفتوحي المصدر يمكنهم المنافسة، وفي بعض الحالات التفوق، على الأنظمة المملوكة لشركات في مجالات تحرير الفيديو المعقدة.