💬 NLP

VINCIE: Unlocking In-context Image Editing from Video

تقدم الورقة البحثية VINCIE، وهو محول انتشار سببي-كتلي (block-causal diffusion transformer) تم تدريبه حصرياً على تسلسلات متعددة الوسائط مستمدة من الفيديو من خلال ثلاث مهام وسيطة، والذي يحقق أداءً هو الأفضل في فئته في تحرير الصور ضمن السياق ويظهر قدرات قوية في تركيب المفاهيم المتعددة وتوليد القصص.

المؤلفون الأصليون: Leigang Qu, Feng Cheng, Ziyan Yang, Qi Zhao, Shanchuan Lin, Yichun Shi, Yicong Li, Wenjie Wang, Tat-Seng Chua, Lu Jiang

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Leigang Qu, Feng Cheng, Ziyan Yang, Qi Zhao, Shanchuan Lin, Yichun Shi, Yicong Li, Wenjie Wang, Tat-Seng Chua, Lu Jiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد تعديل صورة، ولكن بدلاً من مجرد إعطاء أمر واحد مثل "أزل القطة"، تريد إجراء محادثة مع الصورة. تقول: "أضف قطة". ثم، "اجعل القطة ترتدي قبعة". ثم، "ضع القطة على لوح تزلج". ثم، "غير الخلفية إلى غابة".

يُسمى هذا التعديل السياقي للصور (In-Context Image Editing). تكمن المشكلة في أن تعليم الكمبيوتر القيام بذلك يشبه محاولة تعليم كلب لعب الشطرنج عبر عرض حركة واحدة فقط في كل مرة. معظم نماذج الذكاء الاصطناعي اليوم يتم تدريبها على أزواج "قبل وبعد" ثابتة (مثل صورة لغرفة فوضوية وصورة لغرفة نظيفة). هي تتعلم إصلاح شيء واحد، لكنها ترتبك عندما تطلب منها القيام بخمسة أشياء متتالية، فغالباً ما تنسى التعليمات الأولى أو تُفسد الصورة.

إليك VINCIE (التعديل السياقي للصور المدفوع بالفيديو). إليك القصة البسيية لكيفية حلهم لهذه المشكلة.

الفكرة الكبرى: توقف عن النظر إلى الصور، وابدأ بمشاهدة الأفلام

سأل الباحثون سؤالاً بسيطاً: "لماذا نعلم تعديل الصور باستخدام صور ثابتة بينما العالم الحقيقي يتحرك؟"

فكر في الصورة كإطار واحد مجمد. هي تخبرك كيف يبدو الشيء.
فكر في الفيديو كقصة. هو يخبرك بما سيحدث بعد ذلك.

في الفيديو، إذا خرج شخص من غرفة، فإن الكاميرا ترى "القبل" (شخص في الغرفة) و"البعد" (غرفة فارغة) بشكل طبيعي. إذا مرت سيارة، فإن الفيديو يظهر عملية الانتقال. الفيديو هو في الواقع تسلسل من التعديلات التي تحدث في الوقت الفعلي.

التشبيه:

الطريقة القديمة: محاولة تعلم كيفية طهي وجبة مكونة من 5 أطباق من خلال النظر إلى صورة واحدة لقطعة لحم محترقة وصورة لقطعة لحم مثالية. أنت لا تعرف الخطوات التي بينهما.
طريقة VINCIE: مشاهدة برنامج طبخ (فيديو). ترى الطاهي يقطع، ويقلي، ويتبل، ويقدم الطبق. أنت تتعلم تدفق التغييرات، وليس فقط البداية والنهاية.

كيف بنوه (المترجم السحري)

بما أن الفيديوهات لا تأتي مع تعليمات مثل "الآن أنا أزيل الشجرة"، كان على الفريق تعليم الذكاء الاصطناعي كيفية قراءة قصة الفيديو.

كاتب السيناريو (VLM): استخدموا ذكاءً اصطناعياً ذكياً (نموذج رؤية ولغة) لمشاهدة مقاطع الفيديو وكتابة "سيناريو". إنه ينظر إلى إطارين ويقول: "حسناً، في هذه اللحظة، تحركت الشمس، وقفز الكلب".
المحدد (Segmentation): علموا الذكاء الاصطناعي أيضاً رسم "محدد" حول ما تغير بالضبط. إذا قفز الكلب، يرسم الذكاء الاصطناعي قناعاً (mask) حول الكلب.
التسلسل: حولوا الفيديو إلى سلسلة طويلة ومتداخلة:
- الصورة 1 -> التعليمات: "الكلب يقفز" -> قناع الكلب -> الصورة 2 -> التعليمات: "الشمس تغرب" -> قناع السماء -> الصورة 3.

ألعاب التدريب الثلاث

لجعل الذكاء الاصطناعي بارعاً حقاً في هذا، لم يكتفوا بطلب التنبؤ بالصورة التالية منه فحسب، بل جعلوه يلعب ثلاث ألعاب في وقت واحد:

لعبة "ماذا بعد؟" (التنبؤ بالصورة التالية): "إليك المشهد والتعليمات. كيف تبدو الإطار التالي؟" (هذه هي مهمة التعديل الأساسية).
لعبة "رصد التغيير" (التجزئة الحالية): "إليك الصورة الجديدة. هل يمكنك تحديد ما الذي تغير بالضبط؟" (هذا يساعد الذكاء الاصطناعي على فهم أين يقوم بالتعديل).
لعبة "البلورة السحرية" (التجزئة التالية): "إليك المشهد الحالي. أين تعتقد أن التغيير التالي سيحدث؟" (هذا يساعد الذكاء الاصطناً على التخطيط مسبقاً، مثل لاعب الشطرنج).

لماذا يعد هذا تغييراً جذرياً في قواعد اللعبة

النتائج مبهرة لأن الذكاء الاصطناعي تعلم السياق.

لا مزيد من "الانحراف": في النماذج القديمة، إذا عدلت صورة 5 مرات، فقد يبدأ وجه الشخص في التحول ليشبه حبة البطاطس بحلول الدورة الرابعة. يحافظ VINCIE على وجه الشخص ليبدو كأنه نفس الشخص لأنه تعلم من الفيديوهات حيث يظل الناس ثابتين حتى أثناء حركتهم.
سلسلة الأفكفار (Chain of Thought): يبدأ الذكاء الاصطناعي بـ "التفكير" قبل أن يتصرف. فهو يتنبأ بـ "القناع" (المنطقة المراد تغييرها) قبل إنشاء البكسلات الجديدة. إنه يشبه الفنان الذي يرسم الخطوط العريضة قبل البدء في التلوين.
مهارات ناشئة: نظرًا لأنه تعلم من "تدفق" الفيديوهات، فقد تعلم بالصدفة أشياء رائعة لم يُدرّب عليها صراحة، مثل:
- سرد القصص: يمكنه إنشاء تسلسل من الصور التي تحكي قصة متماسكة (على سبيل المثال، شخصية تمشي من منزل إلى جبل).
- خلط المفاهيم المتعددة: يمكنه دمج "قطة" و"سفينة فضاء" و"غابة" في خطوة واحدة، حتى لو لم يرَ هذه الأشياء الثلاثة معاً في فيديو من قبل.

الخلاصة

VINCIE يشبه تعليم طفل تعديل الصور من خلال السماح له بمشاهدة آلاف الساعات من الأفلام بدلاً من إظهار مجموعة من بطاقات "قبل وبعد" له. من خلال التعلم من الحركة الطبيعية والتغييرات في الفيديو، يفهم الذكاء الاصطناعي منطق التعديل، وليس مجرد النتيجة.

إنه نموذج قابل للتوسع (يمكنك العثور على فيديوهات لا نهائية على الإنترنت) وهو يخلق نموذجاً يمكنه التعامل مع محادثات تعديل طويلة ومعقدة دون ارتباك أو فقدان المسار.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "VINCIE: UNLOCKING IN-CONTEXT IMAGE EDITING FROM VIDEO" (فينسي: فك شفرة تحرير الصور في السياق من خلال الفيديو).

1. بيان المشكلة

يهدف تحرير الصور في السياق (In-context image editing) إلى تعديل صورة بناءً على تسلسل سياقي يتكون من مطالبات نصية وصور تم إنشاؤها مسبقاً، مما يتيح تفاعلات متعددة الخطوات حيث يقوم المستخدمون بتحسين الصورة بشكل تكراري مع الحفاظ على الاتساق البصري.

التحديات الرئيسية:

ندرة البيانات: تعتمد الأساليب الحالية على مسارات مهام محددة لتنسيق أزواج صور عالية الجودة "قبل وبعد". وغالباً ما تواجه هذه المسارات صعوبة في بناء محتوى طويل المدى يلتقط التبعيات والنيات المتطورة عبر خطوات التحرير المتعددة.
التبعية السياقية: تفشل نماذج التحرير أحادية الخطوة في الحفاظ على الاتساق عبر جولات متعددة، مما يؤدي إلى تراكم العيوب وفقدان التماسك البصري.
محدودية البيانات الاصطناعية: تعتمد النهج الحالية غالباً على توليد بيانات اصطناعية أو أزواج مجمعة من الويب، والتي قد تفتقر إلى الديناميكيات الزمنية الطبيعية والتماسك الدلالي الموجود في التحولات البصرية الواقعية.

يطرح المؤلفون سؤال البحث التالي: هل يمكن تعلم نموذج تحرير صور سياقي ذي معنى حصرياً من مقاطع الفيديو، دون استخدام أي أزواج صور مستقلة؟

2. المنهجية: VINCIE

يقترح المؤلفون VINCIE (التحرير السياقي للصور المدفوع بالفيديو)، وهو إطار عمل يتعلم الانتقالات مباشرة من بيانات الفيديو الأصلية.

أ. بناء البيانات: التسلسلات متعددة الوسائط المتداخلة

بدلاً من إنشاء أزواج صور ثابتة، يقوم المؤلفون بتحويل بيانات الفيديو الخام إلى تسلسلات متعددة الوسائط متداخلة.

أخذ عينات الإطارات: يتم أخذ عينات من الفيديوهات بشكل متفرق باستخدام استراتيجيتين: أخذ العينات بفاصل زمني متساوٍ (فترات زمنية ثابتة) وأخذ العينات بإطارات ثابتة (عدد ثابت من الإطارات) لالتقاط كل من التغيرات الطفيفة في الأشياء والتحولات الكبيرة في المشهد.
توصيف الانتقال البصري: يتم استخدام نموذج لغوي بصري (VLM) لتوليد أوصاف نصية ( $T_i$ ) للانتقالات البصرية بين الإطارات المتجاورة ( $I_i \to I_{i+1}$ ). يتضمن ذلك عملية "سلسلة الأفكد" (CoT) لوصف تفاصيل المشهد، وتحديد الاختلافات، وتلخيصها في تعليمات تحرير موجزة.
توصيف التجزئة: باستخدام الأوصاف النصية، يتم توظيف Grounding-DINO و SAM 2 لتوليد أقنعة التجزئة ( $M_i, M_{i+1}$ ) لمناطق التحرير (RoEs).
تشكيل التسلسل: العينة التدريبية النهائية هي تسلسل متداخل: $(I_0, T_0, M_0, I_1, T_1, M_1, \dots, I_K)$ ، والذي يلتقط السياق، والتعليمات، والحدود المكانية للتغييرات.

ب. بنية النموذج

النموذج الأساسي: هو محول انتشار (Diffusion Transformer - DiT) مستمد من نموذج أساسي للفيديو (MM-DiT).
تمثيل المدخلات: يعالج النموذج التسلسل المتداخل باستخدام رموز كامنة (latent tokens) من مشفر تلقائي (VAE) (للصور/الأقنعة) ومشفر نصي (T5). وتعمل رموز <TURN> قابلة للتعلم كعلامات لتحديد حدود خطوات التحرير.
آليات الانتباه (Attention): تم استكشاف نوعين:
1. الانتباه الكامل (Full Attention): تفاعل شامل للرموز عبر جميع الوسائط.
2. الانتباه السببي القائم على الكتل (Block-wise Causal Attention): يفرض السببية عبر الكتل (مثلاً: نص $\leftarrow$ صورة) مع السماح بالانتباه ثنائي الاتجاه داخل الكتلة الواحدة، مما يحسن الكفاءة.
هدف التدريب: يتم تدريب النموذج لتعظيم احتمالية التنبؤ بالصورة التالية باستخدام "مطابقة التدفق" (flow-matching) في الفضاء الكامن.

ج. ثلاث مهام تقريبية

لتعزيز فهم النموذج للسياق والتغيرات المكانية، يتم تحسين ثلاث مهام بشكل مشترك:

التنبؤ بالصورة التالية (NIP): المهمة الأساسية؛ التنبؤ بالإطار التالي بناءً على التاريخ.
التنبؤ بالتجزئة الحالية (CSP): التنبؤ بقناع التجزئة للإطار الحالي لتثبيت النموذج في فهم ما الذي تغير.
التنبؤ بالتجزئة التالية (NSP): التنبؤ بقناع التجزئة للإطار التالي لاستباق أين ستحدث التغييرات، مما يساعد في ضبط التخطيط الديناميكي.

3. المساهمات الرئيسية

نموذج تدريب يعتمد على الفيديو فقط: هذا هو العمل الأول الذي يثبت إمكانية تعلم نموذج تحرير صور سياقي قوي حصرياً من بيانات الفيديو الأصلية، مما يلغي الحاجة إلى تنسيق أزواج الصور يدوياً.
مسار بيانات قابل للتوسع: مسار مبتكر يحول كميات هائلة من فيديوهات الويب إلى تسلسلات متعددة الوسائط متداخلة باستخدام النماذج اللغوية البصرية ونماذج التجزئة، مما يسمح بالتدريب على 10 ملايين حالة جلسة.
MSE-Bench: قدم المؤلفون MSE-Bench (اختبار قياس تحرير الصور في جلسات متعددة الخطوات)، وهو مجموعة بيانات جديدة تضم 100 جلسة تحرير متماسكة مكونة من 5 خطوات تغطي سيناريوهات معقدة (الوضعية، التفاعل، زوايا الكاميرا) التي تفتقر إليها الاختبارات الحالية (مثل MagicBrush).
القدرات الناشئة: يظهر النموذج قدرات ناشئة لم يتم التدريب عليها صراحة، بما في ذلك:
- تركيب المفاهيم المتعددة: دمج مفاهيم متعددة دون بيانات تدريب محددة.
- توليد القصص: توليد إطارات متماسكة لسرد القصص.
- سلسلة التحرير (Chain-of-Editing): نمذجة ضمنية لسلسلة أفكار متعددة الوسائط (تعليمات $\leftarrow$ قناع $\leftarrow$ صورة).

4. النتائج التجريبية

تم تقييم النموذج على MagicBrush وعلى الاختبار المقترح MSE-Bench.

الأداء على MagicBrush: يحقق VINCIE أداءً مقارباً للطرق الرائدة (SOTA) (مثل UltraEdit وOmniGen) التي تعتمد على بيانات التحرير الزوجية. ومع الضبط الدقيق الخاضع للإشراف (SFT)، فإنه يتفوق على جميع النماذج المرجعية تقريباً، خاصة في جولات التحرير المتأخرة.
الأداء على MSE-Bench (تحرير من 5 خطوات):
- تعاني الأساليب الأكاديمية الحالية بشكل كبير، حيث تنخفض معدلات النجاح إلى أقل من 2% عند الخطوة الخامسة.
- يحقق VINCIE معدل نجاح بنسبة 25% عند الخطوة الخامسة (نموذج 3B) ويصل إلى 48.7% مع SFT (نموذج 7B).
- رغم أنه لا يزال خلف النماذج المملوكة لشركات مثل GPT-4o (الذي حقق ~62.7%)، إلا أن VINCIE يثبت أن بيانات الفيديو توفر أساساً قوياً للاتساق طويل المدى.
القابلية للتوسع: أدى رفع حجم بيانات التدريب من 0.25 مليون إلى 10 ملايين جلسة إلى زيادة معدل النجاح في الخطوة الخامسة من 5% إلى 22%، مما أظهر تحسناً خطياً لوغاريتمياً.
تخفيف العيوب: تؤكد الدراسة أن التحرير السياقي (باستخدام التاريخ الكامل) يقلل بشكل كبير من تراكم العيوب مقارنة بالتحرير المتسلسل أحادي الخطوة.
دراسات الاستئصال (Ablation Studies): التدريب باستخدام التنبؤ بالتجزئة (CSP/NSP) يحسن بشكل كبير الاتساق ومعدلات النجاح. كما أن استراتيجية "سلسلة التحرير" (التنبؤ بالأقنعة قبل الصور) تحد بفعالية من انزياح موضوع الصورة الشائع في التدريب المستمد من الفيديو.

5. الأهمية والأثر

ديمقراطية البيانات: من خلال الاستفادة من الفيديو الأصلي، يتجاوز هذا النهج عقبة تنسيق أزواج الصور اليدوية المكلفة، مما يوفر مساراً قابلاً للتوسع لتدريب نماذج تحرير قوية.
الاتساق الزمني: يتعلم النموذج من الفيديوهات بطبيعته ديناميكيات بقاء الأشياء، والحركة، وتطور المشهد، مما يؤدي إلى اتساق فائق في تعدد الخطوات مقارنة بالنماذج المدربة على الصور الثابتة.
اتجاه بحثي جديد: يثبت هذا العمل فرضية أن بيانات الفيديو تحتوي على "منطق تحرير" غني وضمني (إضافات، حذوفات، تعديلات)، يمكن استخلاصه في النماذج التوليدية، مما يفتح آفاقاً جديدة لسلاسل الأفكار متعددة الوسائط والإنشاء البصري طويل المدى.

في الختام، يضع VINCIE نموذجاً جديداً لتحرير الصور، مثبتاً أن الديناميكيات الزمنية للفيديو هي مصدر متفوق وقابل للتوسع لتعلم مهام تحرير معقدة ومتعددة الخطوات.