💻 computer science

Aurora: Unified Video Editing with a Tool-Using Agent

تقدم الورقة البحثية Aurora، وهو إطار عمل لتحرير الفيديو وكيلِيّ يستخدم نموذج رؤية ولغة مدعوم بالأدوات لترجمة طلبات المستخدم الخام إلى خطط تحرير مهيكلة، مما يؤدي إلى حل مشكلات عدم التحديد النصي والبصري لتعزيز أداء نماذج محولات انتشار الفيديو الموحدة.

المؤلفون الأصليون: Yongsheng Yu, Ziyun Zeng, Zhiyuan Xiao, Zhenghong Zhou, Hang Hua, Wei Xiong, Jiebo Luo

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yongsheng Yu, Ziyun Zeng, Zhiyuan Xiao, Zhenghong Zhou, Hang Hua, Wei Xiong, Jiebo Luo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد تحرير فيديو منزلي، لكن لديك فكرة غامضة فقط في رأسك. تقول لمحرر الفيديو: "اجعل الرجل في الخلفية يبدو كبطل خارق"، لكنك لا تخبره أي بطل خارق، ولا تشير بدقة إلى أين يقف هذا الرجل بالضبط.

في عالم تحرير الفيديو بالذكاء الاصطناعي الحالي، يمثل هذا مشكلة. معظم نماذج الذكاء الاصطناي المتقدمة تشبه الطهاة الموهوبين للغاية ولكنهم حرفيون جداً؛ يمكنهم طهي أي شيء، ولكن فقط إذا أعطيتهم وصفة مثالية بمكونات دقيقة وقياسات محددة. إذا قلت لهم فقط "اجعله حاراً"، فقد يضيفون الملح بدلاً من الفلفل، أو قد يرفضون الطهي تماماً لأنهم لا يعرفون كيف يبدو "الحار" بالنسبة لهم.

Aurora هو نظام جديد يحل هذه المشكلة عن طريق إضافة مساعد ذكي أمام الطاهي.

المشكلة: فجوة "المكونات المفقودة"

نماذج تحرير الفيديو الحالية بالذكاء الاصطناعي قوية؛ يمكنها استبدال الأشياء، أو إزالة الأشخاص، أو تغيير الخلفيات. لكن لديها قاعدة صارمة: يجب أن يكون كل شيء جاهزاً قبل أن تبدأ.

إذا أردت استبدال قميص بـ "وشاح بنقشة بيربري"، فإن الذكاء الاصطناعي يحتاج إلى صورة لذلك الوشاح تحديداً.
إذا أردت إزالة شخص، فإن الذكاء الاصطناعي يحتاج إلى خريطة (قناع/Mask) توضح مكان هذا الشخص بدقة.
إذا قلت "اجعله أسرع"، فإن الذكاء الاصطناعي يحتاج لمعرفة ما هو "هذا الشيء" الذي تقصده.

البشر عادة لا يقدمون هذه التفاصيل؛ نحن نعطي تعليمات غامضة. تطلق الورقة البحثية على هذا الأمر اسم "نقص التحديد" (Underspecification). الذكاء الاصطناعي مستعد للعمل، لكن المستخدم لم يعطه الأدوات التي يحتاجها للبدء.

الحل: فريق "أورورا" (Aurora)

ابتكر المؤلفون Aurora، الذي يعمل كفريق مكون من شخصين:

الوكيل (المساعد الذكي): هو نموذج ذكاء اصطناعي لغوي بصري ضخم (VLM) يعمل كمدير مشروع. يستمع إلى طلبك الغامض ("اجعل قميص المرأة يبدو مثل وشاح بيربري") ويدرك فوراً: "مهلاً، ليس لدي صورة لهذا الوشاح، وأحتاج لمعرفة مكان قميصها بالضبط".
- يذهب للتسوق: يستخدم أداة للبحث في الإنترنت عن صورة لوشاح "بيربري".
- يرسم خريطة: يستخدم أداة لتحديد الخطوط الخارجية الدقيقة لقميص المرأة في الفيديو.
- يعيد كتابة الوصفة: يترجم طلبك العفوي إلى تعليمات تقنية شديدة التفصيل يمكن لمحرك تحرير الفيديو فهمها بدقة تامة.
نموذج الفيديو (الطاهي): هذا هو محرك تحرير الفيديو الفعلي (Diffusion Transformer). هو لا يتحدث إليك مباشرة، بل يستقبل فقط التعليمات المثالية والمجهزة مسبقاً من "الوكيل". يأخذ الفيديو الأصلي، وصورة الوشاح الجديدة، ومخطط القميص، ثم يقوم بعملية التحرير السحرية.

كيف يعمل في الواقع

تظهر الورقة البحثية أمثلة على ذلك في الواقع:

السيناريو (أ): تقول "استبدل قميص المرأة بوشاح بيربري".
- بدون Aurora: قد يخمن الذكاء الاصطناعي وشاحاً عادياً أو يفشل في التنفيذ.
- مع Aurora: يقوم "الوكيل" بالبحث عن صورة حقيقية لوشاح بيربري، ويحدد موقع القميص في الفيديو، ثم يخبر "نموذج الفيديو": "إليك الفيديو، وإليك صورة الوشاح الدقيقة، وإليك موقع القميص بدقة. ابدأ العمل".
السيناريو (ب): تقول "أزل المشاة".
- بدون Aurora: قد يزيل الذكاء الاصطناعي الشخص الخطأ أو يترك فجوة غير متناسقة.
- مع Aurora: يدرك "الوكيل" أي شخص هو المارة، ويرسم خطاً خارجياً دقيقاً حولهم، ويخبر "نموذج الفيديو" بالضبط بما يجب مسحه وبما يجب ملء الخلفية به.

النتائج: معيار جديد

بنى الباحثون اختباراً جديداً يسمى AgentEdit-Bench. هذا الاختبار مصمم خصيصاً لخداع الذكاء الاصطناعي بالتعليمات الغامضة.

عندما اختبروا نماذج الذكاء الاصطناعي القياسية على هذه الطلبات الغامضة، سجلت درجات منخفضة (حوالي 67-70%).
عندما أضافوا وكيل Aurora إلى العملية، ارتفعت الدرجة بشكل كبير (لتصل إلى 87.9%).

كما أظهرت الورقة أن هذا "المساعد الذكي" ليس جيداً فقط لنموذج الفيديو الخاص بهم؛ فقد اختبروه مع نماذج تحرير فيديو أخرى، وظل "الوكيل" يساعدها على الأداء بشكل أفضل. الأمر يشبه إعطاء مترجم عالمي لأي طاهٍ؛ بغض النظر عن هوية الطاهي، سيكون طعم الطعام أفضل إذا تم تحضير المكونات بشكل صحيح أولاً.

الملخص

Aurora لا يقوم فقط بتحرير الفيديوهات، بل يفهم ما تعنيه قبل أن يبدأ في التحرير. إنه يسد الفجوة بين غموض البشر ودقة الآلة من خلال العمل كوكيل يستخدم الأدوات لجمع الصور المفقودة، ورسم الخرائط المفقودة، وكتابة تعليمات واضحة، مما يضمن أن الفيديو النهائي يطابق رؤيتك تماماً.

ملخص تقني: Aurora – تحرير الفيديو الموحد باستخدام وكيل يستخدم الأدوات

1. بيان المشكلة

اتفقت نماذج تحرير الفيديو الموحدة الحديثة على تصميم يعتمد على محول انتشار (diffusion transformer) موحد يستهلك بشكل مشترك تعليمات نصية، وفيديوهات مصدرية، وصور مرجعية (أو أقنعة) للقيام بمهام متنوعة مثل الاستبدال، والإزالة، ونقل الأنماط، والإدراج. ورغم مرونتها، إلا أن هذه البنية تفترض أن المستخدمين يقدمون مدخلات شرطية جاهزة للنموذج: نصوص دقيقة، صور مرجعية محددة للأنماط البصرية، وأقنعة مكانية للتحرير الموضعي.

في الواقع، غالبًا ما تعاني طلبات المستخدمين الخام من نقص التوصيف (underspecification) على محورين:

نقص التوصيف البصري: يذكر المستخدم كيانًا أو نمطًا محددًا (مثل "وشاح بنقشة تشيك بربري" أو "الموجة العظيمة قبالة كاناغاوا") ولكنه لا يوفر صورة مرجعية.
نقص التوصيف النصي: يتم وصف التحرير بشكل غير مباشر (مثل "غيّر العنصر الأزرق إلى مركبة تسير بسرعة أكبر بكثير")، مما يتطلب من النموذج استنتاج الأهداف الملموسة.

تفتقر النماذج الموحدة الحالية إلى الآلية اللازمة لاستنتاج أو تثبيت أو ملء هذه الشروط المفقودة قبل بدء عملية التوليد. وهذا يخلق فجوة بين قنوات التكييف الغنية المتاحة للنموذذ والمعلومات غير المكتملة التي يقدمها المستخدم.

2. المنهجية: إطار عمل Aurora

يعالج Aurora هذه الفجوة عبر فصل بناء الشرط (condition construction) عن توليد الفيديو. حيث يقدم إطار عمل وكيل (agentic framework) يجمع بين وكيل نموذج لغوي بصري (VLM) معزز بالأدوات ومحول انتشار فيديو موحد (DiT).

2.1 الوكيل اللغوي البصري (بناء الشرط)

يعمل الوكيل، الذي تم تنفيذه باستخدام نموذج Qwen3-VL-8B-Instruct مع ضبط LoRA، كمعالج مسبق. يأخذ فيديو المصدر ( $V_{src}$ )، وتعليمات المستخدم الخام ( $y$ )، والمراجع الاختيارية للمستخدم ( $R$ ) لتوليد خطة تحرير مهيكلة:
$(y', c, q, m) = \pi_\phi(V_{src}, y, R)$
حيث:

$y'$ (التعليمات المعاد صياغتها): تعليمات معيارية جاهزة للنموذج تعالج نقص التوصيف النصي.
$c$ (تسمية المهمة): نوع تحرير معياري (مثل replace_object أو remove_object) يُستخدم للتوجيه.
$q$ (استعلام البحث عن الصور): استعلام اختياري لتفعيل أداة البحث عن الصور عبر الويب (عبر Serper API) في حال فقدان الصورة المرجعية.
$m$ (عبارة القناع): عبارة اختيارية لتفعيل أداة التجزئة (GroundingDINO + SAM) في حال فقدان التثبيت المكاني.

تنفيذ الأدوات:
إذا كانت $q$ أو $m$ غير فارغين، يقوم الوكيل باستدعاء أدوات خارجية:

البحث عن الصور: يسترجع الصور المرشحة ويختار الأكثر صلة منها.
التجزئة (Segmentation): ينشئ قناعًا للمنطقة المستهدفة ويدمجه في فيديو المصدر.

المخرج النهائي هو توبل التكييف الموحد $\mathbf{x} = (y', V_{src}, R^+)$ ، حيث تتضمن $R^+$ المراجع الأصلية للمستخدم بالإضافة إلى أي صور مسترجعة أو صور مقنعة. تُستخدم تسمية المهمة $c$ أثناء التخطيط ولكن لا يتم تغذيتها لنموذج الفيديو.

2.2 محول انتشار الفيديو (توليد الفيديو)

العمود الفقري لتوليد الفيديو هو محول انتشار موحد (DiT) مبني على Wan2.2-TI2V-5B. يستهلك هذا المحول توبل التكييف $\mathbf{x}$ عبر مسارين:

مسار السياق متعدد الوسائط: يقوم مشفر Qwen3.5-4B مجمد بمعالجة التعليمات المعاد صياغتها ( $y'$ )، وإطارات المصدر المختارة، والصور المرجعية ( $R^+$ ) إلى سياق متعدد الوسائط مشترك ( $T_{ctx}$ ) لآلية الانتباه المتقاطع (cross-attention).
مسار توكن الكامن (Latent Token Path): يتم دمج توكنات الفيديو المشوشة، وتوكنات المصدر، وتوكنات المرجع على طول بُعد تسلسل التوكنات.
- تعديل الخطوة الزمنية الصفرية (Zero-Timestep Modulation): للحفاظ على المحتوى غير المحرر وهوية المرجع، يتم تعديل توكنات المصدر والمرجع باستخدام تضمين الخطوة الزمنية الصفرية ( $a(0)$ )، بينما تتبع التوكنات المشوشة مسار مطابقة التدفق القياسي ( $a(t)$ ). يضمن ذلك بقاء توكنات التكييف ثابتة بينما تتم عملية إزالة الضجيج للفيديو.

2.3 أهداف التدريب

فيديو DiT: تم تدريبه باستخدام مطابقة التدفق (flow matching) على مزيج من بيانات تحرير الصور، وتحرير الفيديو القائم على التعليمات، وتحرير الفيديو الموجه بالمرجع. يتعلم التعامل مع المراجع الفارغة، والمقدمة من المستخدم، والمسترجعة عبر الأدوات بشكل موحد.
الوكيل اللغوي البصري (VLM Agent):
- الضبط الدقيق تحت الإشراف (SFT): تم تدريبه على 25 ألف مثال تخطيط و10 آلاف مثال لاختيار الصورة المرجعية. الهدف هو خطة كاملة مكونة من 4 حقول، لتعليم الوكيل كيفية إعادة صياغة التعليمات، وتوجيه المهام، واختيار الأدوات.
- محاذاة التفضيلات (DPO): تم تدريبه على 1.8 ألف زوج من التفضيلات لحل الحالات الحدية (مثل التفعيل الخاطئ للبحث عن الصور، عبارات القناع الغامضة، وإعادة الصياغة التي تفقد القيود). يعمل هذا على شحذ حدود القرار دون خلط تباين عينات الفيديو في هدف التعلم.

3. المساهمات الرئيسية

إطار عمل Aurora: نظام تحرير فيديو وكيل يقوم برسم خرائط لطلبات المستخدم الخام وغير المكتملة إلى توبلات شرطية كاملة وجاهزة للنموذج باستخدام وكيل VLM معزز بالأدوات.
AgentEdit-Bench: معيار جديد مصمم خصيصًا لتقييم تحرير الفيديو تحت ظروف نقص التوصيف النصي والبصري. يحتوي على 150 حالة عبر خمسة أنواع من المهام (استبدال IP، إضافة IP، تغيير خلفية IP، الاستنتاج، والإزالة) حيث يفتقر الطلب الخام إلى الشروط الضرورية.
بيانات التدريب والمحاذاة: خط بناء بيانات لتخطيط وكيل VLM واختيار المرجع، بالإضافة إلى محاذاة التفضيلات عبر DPO للتعامل مع الحالات الحدية في تفعيل الأدوات وإعادة صياغة التعليمات.
قابلية نقل النموذج: إثبات أن وكيل Aurora يمكن اقترانه بنماذج تحرير فيديو موحدة موجودة ومجمدة (مثل UniVideo وKiwi-Edit) لتحسين أدائها في الطلبات غير المكتملة.

4. النتائج التجريبية

الأداء على AgentEdit-Bench:
- سجل فيديو Aurora DiT وحده (بدون الوكيل) 74.7، متفوقًا على UniVideo (67.0) وKiwi-Edit (69.7) في التعامل مع المطالبات الخام.
- إضافة الوكيل اللغوي البصري رفعت النتيجة إلى 87.9. وتظهر الزيادات بشكل كبير في مهام IP (الاستبدال والإضافة)، حيث ينجح الوكيل في استرجاع الصور المرجعية المفقودة.
- تظهر دراسات الاستئصال (Ablation studies) أن SFT يساهم بالجزء الأكبر من الربح (85.0)، بينما يضيف DPO صقلًا إضافيًا (87.9) عبر تصحيح أخطاء الحدود.
الأداء على المعايير الحالية (EditVerse-Bench, OpenVE-Bench):
- في المعايير ذات المدخلات جيدة التوصيف، حقق Aurora نتائج هي الأفضل بين الطرق مفتوحة المصدر (7.61 في EditVerse-Bench، و3.38 في OpenVE-Bench)، مقلصًا معظم الفجوة مع نموذج Runway Aleph المغلق.
- حتى عند تعطيل الأدوات (الاكتفاء بإعادة صياغة التعليمات فقط)، يحسن الوكيل الأداء، مما يشير إلى قيمة تحسين التعليمات.
قابلية النقل:
- عند اقتران وكيل Aurora بنسخ مجمدة من UniVideo وKiwi-Edit، فإنه يحسن باستمرار درجاتهما في كل من AgentEdit-Bench والمعايير الأخرى، مما يثبت فائدة الوكيل بغض النظر عن النموذج.

5. الأهمية والقيود

الأهمة:
تجادل الورقة بأن التقدم في تحرير الفيديو لا يعتمد فقط على نماذج DiT أقوى، بل أيضًا على الترجمة الموثوقة لطلبات المستخدم الخام إلى شروط جاهزة للنموذج. يثبت Aurora أن طبقة الوكيل يمكنها بفعالية حل مشكلة نقص التوصيف، مما يمكن النماذج الموحدة من التعامل مع مدخلات المستخدم الحقيقية غير المكتملة دون الحاجة لإعادة تدريب نموذج الفيديو لكل أداة أو شرط جديد.

القيود:

نموذج التدريب: يتم محاذاة وكيل VLM عبر DPO غير متصل (offline). يشير المؤلفون إلى أن التعلم المعزز عبر الإنترنت (مثل GRPO) على خط الإنتاج الكامل، باستخدام مقطع الفيديو المحرر كإشارة مكافأة، غير عملي حاليًا بسبب قيود الحوسبة.
تعقيد الحركة: يتعامل نموذج 5B video DiT مع الإزالة، والأسلوب، وإدراج الكائنات بحركة محدودة بشكل موثوق. ومع ذلك، فإن إضافة موضوعات جديدة ذات حركة كبيرة ومنطقية فيزيائيًا تظل صعبة، ويعزى ذلك إلى قدرة العمود الفقري وندرة مثل هذه الحالات في بيانات التدريب.

الأثر الأوسع:
يقر المؤلفون بالمخاطر المتعلقة بالتلاعب بالهوية دون موافقة وقضاية حقوق الطبع والنشر الناشئة عن أداة البحث عن الصور عبر الويب، ويضعون Aurora كأداة إبداعية وليس كأداة لإنتاج الأدلة.