PICS: Pairwise Image Compositing with Spatial Interactions
تقدم الورقة البحثية إطار عمل PICS، وهو إطار عمل للتعلم الذاتي يحسن عملية دمج صورتين ثنائيتين من خلال توظيف محول تفاعلي (Interaction Transformer) مع خليط خبراء موجه بالقناع (mask-guided Mixture-of-Experts) ودمج تكيفي لنمذجة التفاعلات المكانية صراحةً والحفاظ على الاتساق الفيزيائي بين الأشياء والخلفيات.
المؤلفون الأصليون:Hang Zhou, Xinxin Zuo, Sen Wang, Li Cheng
تخيل أنك طاهٍ رقمي يحاول إعداد الشطيرة المثالية. لديك شريحة خبز (الخلفية)، وقطعة من اللحم (الكائن أ)، وشريحة من الجبن (الكائن ب).
الطريقة القديمة (الطاهي "خطوة بخطوة"): حاولت معظم أدوات الذكاء الاصطناعي السابقة بناء هذه الشطيرة مكوناً تلو الآخر. أولاً، يضعون اللحم على الخبز، ثم يحاولون إضافة الجبن.
المشكلة: عندما كان الذكاء الاصطناعي يضيف الجبن، كان غالباً ما ينسى وجود اللحم بالفعل. قد يقوم بالخطأ بمسح جزء من اللحم، أو يجعل الجبن يطفو بشكل غريب في الهواء، أو يدمج المكونين معاً في كتلة رخوة حيث يتلامسان. الأمر يشبه محاولة إضافة طبقة ثانية من الكريمة فوق كعكة دون إدراك أن الطبقة الأولى موجودة بالفعل؛ ينتهي بك الأمر بفوضى عارمة.
الطريقة الجديدة (PICS: "طاقم الطهاة"): تقدم ورقة البحث PICS (التركيب الصوري الزوجي مع التفاعلات المكانية). بدلاً من العمل في خط مستقيم، يعمل PICS كفريق من الطهاة يعملون على الشطيرة بأكملها في نفس الوقت.
إليك كيف يعمل PICS، مقسماً بتبسيط عبر التشبيهات:
1. استراتيجية "شرطي المرور" (التركيب المتوازي)
بدلاً من وضع اللحم أولاً ثم الجبن، ينظر PICS إلى اللحم والجبن والخبز جميعاً في آن واحد. ويتساءل: "أين تتلامس هذه الأشياء؟ من في الأعلى؟ ومن المختبئ؟"
التشبيه: تخيل شرطي مرور عند تقاطع مزدحم. بدلاً من ترك السيارات تمر واحدة تلو الأخرى (مما يسبب حوادث تصادم)، يوجه الشرطي الجميع في وقت واحد لضمان عدم اصطدام سيارتين ببعضهما البعض. يضمن PICS أن يعرف اللحم والجبن تماماً كيف يستقران بجانب بعضهما البعض دون صراع على المساحة.
2. "الفريق المتخصص" (محول التفاعل - Interaction Transformer)
داخل PICS، يوجد عقل ذكي يسمى Interaction Transformer. فكر في هذا كفريق من العمال المتخصصين، لكل منهم وظيفة محددة، مسترشدين بخريطة (الأقنعة/Masks).
عامل الخلفية: ينظر إلى الخبز ويقول: "سأحافظ على الخبز ليبدو تماماً كالخبز".
عامل اللحم: ينظر إلى اللحم ويقول: "سأتأكد من أن اللحم يبدو كلحم".
عامل الجبن: ينظر إلى الجبن ويقول: "سأتأكد من أن الجبن يبدو كجبن".
عامل "التداخل" (نجم العرض): هذا هو الجزء الأهم. عندما يتداخل اللحم والجبن، قد يقوم ذكاء اصطناعي عادي بمجرد دمجهما معاً. لكن عامل التداخل يعمل مثل حكم ذكي. ينظر إلى المشهد ويقرر: "حسناً، في هذه البقعة الصغيرة، الجبن يقع فوق اللحم قليلاً، لذا سأظهر الجبن هنا. ولكن بجانبه مباشرة، اللحم هو الذي في الأعلى، لذا سأظهر اللحم".
السحر: يستخدم تقنية تسمى الدمج التكيفي (Adaptive Blending). تخيل مفتاح تعتيم الضوء (Dimmer). الذكاء الاصطناعي لا يختار فقط "لحم" أو "جبن"؛ بل ينسجم بسلاسة بينهما بناءً على من يجب أن يكون مرئياً، مما يخلق حافة مثالية وواقعية حيث يتلامسان.
3. "النادي الرياضي ثلاثي الأبعاد" (تعزيز الهندسة)
الحياة الحقيقية ثلاثية الأبعاد، لكن الصور ثنائية الأبعاد. أحياناً تكون الأشياء مائلة، أو مدورة، أو تُرى من زوايا غريبة.
المشكلة: إذا تدرب الذكاء الاصطناعي فقط على صور مسطحة ومستقيمة، فسيصاب بالارتباك عندما تعطيه صورة لكوب ملقى على جنبه.
الحل: يذهب PICS إلى "نادي رياضي ثلاثي الأبعاد". خلال التدريب، يُعرض على الذكاء الاصطناعي نفس الأشياء من زوايا مختلفة (مدورة، مائلة، ومن الأعلى). الأمر يشبه ممارسة لاعب الجمباز على عارضة التوازن حتى لا يسقط عندما تميل العارضة. هذا يجعل PHS قوياً للغاية؛ فهو يعرف كيف يبدو الكرسي حتى لو كان مقلوباً أو جانبياً.
لماذا يهم هذا؟
لا مزيد من "التلاشي أو الشبحية": الطرق القديمة كانت غالباً ما تترك ظلالاً غريبة أو حوافاً مزدوجة حيث تتلامس الأشياء. PICS يجعل الحواف حادة وواقعية.
لا مزيد من "المسح": إذا أضفت كائناً ثانياً، فلن يقوم PICS بمسح الكائن الأول عن طريق الخطأ.
فيزياء حقيقية: إنه يفهم أنه إذا كان كوب داخل صندوق، فإن الصندوق يخفي الجزء السفلي من الكوب. وإذا كان شخص يتكئ على حائط، فإن الحائط يدعمه. يفهم PICS هذه القواعد الفيزيائية بشكل صحيح.
الخلا الخلاصة
PICS يشبه الانتقال من روبوت أخرق يكدس المكعبات واحداً تلو الآخر (وغالباً ما يقلبها) إلى مهندس معماري بارع ينظر إلى المخطط بأكمله دفعة واحدة. إنه يفهم أن الأشياء في العالم الحقيقي تتفاعل، وتتداخل، وتدعم بعضها البعض. ومن خلال نمذجة هذه العلاقات في وقت واحد، فإنه ينشئ صوراً رقمية تبدو واقعية للغاية، لدرجة قد تجعلك تنسى أنها مصنوعة بواسطة الكمبيوتر.
إليك ملخص تقني مفصل لورقة البحث "PICS: Pairwise Image Compositing with Spatial Interactions" (ICLR 2026).
1. بيان المشكلة
تتفوق طرق دمج الصور الحالية القائمة على الانتشار (diffusion-based) في عمليات التحرير أحادية الدور (إدراج كائن واحد في خلفية)، لكنها تعاني بشكل كبير في سيناريوهات التحرير متعددة الأدوار أو المتسلسلة.
المشكلة الجوهرية: عند إدراج كائنات متعددة بشكل متسلسل، غالبًا ما تؤدي عمليات الإدراج اللاحقة إلى الكتابة فوق المحتوى الذي تم إنشاؤه مسبقًا، مما يؤدي إلى علاقات مكانية غير متماسكة، وعيوب في نقاط التلامس، وفقدان للاتساق الفيزيائي (مثل: طفو الأجسام، أو ترتيب احتجاب غير صحيح، أو تشوه الحدود).
السبب الجذري: تتعامل الطرق الحالية عادةً مع إدراج الكائنات كمهام مستقلة بين المقدمة والخلفية. وهي تفتقر إلى النمذجة الصريحة للتفاعلات بين الكائنات (الدعم، الاحتواء، الاحتجاب، التشوه) والتي تعد أساسية للمنطق المكاني في المشاهد الواقعية.
قصور النهج المتسلسل: تفشل الطرق التي تعتمد على "خوارزمية الرسام" (ترتيب العمق) لأن الكائن الأول الذي يتم إدراجه يُعامل كخلفية في الخطوة الثانية، مما يسبب إزالة جزئية أو تشوهًا عند إضافة الكائن الثاني.
2. المنهجية: PICS
يقترح المؤلفون PICS (الدمج الزوجي للصور مع التفاعلات المكانية)، وهو نموذج تعلم ذاتي الإشراف يقوم بـ الدمج الزوجي المتوازي في تمريرة واحدة. بدلاً من الإدراج المتسلسل، يقوم PICS بدمج كائنين في خلفية واحدة في آن واحد مع نمذجة تفاعلاتهما بشكل صريح.
أ. خط أنابيب الدمج المتوازي
بناء المدخلات: يتم تفكيك الصورة المستهدفة إلى خلفية مقنعة (xbg) وقسمين للكائنات (xa,xb) مع أقنعة ثنائية (ma,mb).
تفكيك المناطق: يتم تقسيم الأقنعة منطقيًا إلى:
مناطق حصرية: مناطق مغطاة بواسطة الكائن A أو الكائن B فقط.
منطقة التداخل: منطقة التقاطع حيث تتفاعل الكائنات (mab=ma∧mb).
منطقة الخلفية: المنطقة التي لا يغطيها أي منهما.
الترميز الكامن: يتم ترميز الكائنات والخلفية إلى رموز كامنة (ca,cb,zbg) باستخدام مشفر تلقائي تبايني (VAE) ومشفر شكل (Shape Encoder).
ب. كتلة محول التفاعل (الابتكار الجوهري)
يستبدل PICS كتل المتبقي (residual blocks) القياسية في هيكل الانتشار (U-Net) بـ كتل محول التفاعل (Interaction Transformer Blocks) التي تستخدم بنية خليط الخبراء الموجه بالقناع (Mask-Guided Mixture-of-Experts - MoE). وهذا يسم يسمح للنموذج بتوجيه المناطق المكانية المختلفة إلى خبراء متخصصين:
خبير الخلفية: يحافظ على هوية الخلفية (الحفاظ على الهوية).
خبراء المناطق الحصرية: بالنسبة للأجزاء غير المتداخلة من كل كائن، تقوم هذه الخبراء بحقن مظهر الكائن عبر الانتباه المتقاطع (cross-attention) من المشهد إلى رمز الكائن الفردي.
خبير التداخل (الدمج التكيفي α-Blending): هذا هو المكون الحاسم للتعامل مع الاحتجاب والتلامس.
الآلية: يستخدم استراتيجية الدمج α الموجه بالانتباه.
استعلام البوابة (Gating Query): يتم اشتقاق استعلام (qg) من الرمز الكامن للخلفية ليعمل كـ "حكم".
التسجيل (Scoring): يقوم النموذج بتسجيل مدى توافق الرمز المجمع لكل كائن مع سياق الخلفية.
الدمج التكيفي: يتم حساب وزن الخلط α بناءً على هذه التسجيلات (باستخدام softmax مع درجة حرارة τ). يقرر هذا ديناميكيًا ما إذا كان يجب أن يهيمن الكائن A، أو الكائن B، أو مزيج بينهما عند كل بكسل في منطقة التداخل.
النتيجة: يخلق هذا آلية غير مرتبطة بالترتيب (order-agnostic) تتعلم دلالات الاحتجاب الضمنية (من في الأمام) بناءً على السياق بدلاً من ترتيب المدخلات، مما يضمن دقة الحدود.
ج. التعزيزات المدركة للهندسة
لتحسين المتانة تجاه تغيرات الوضعية (pose)، يتضمن خط أنابيب التدريب:
أولوية الشكل متعدد الرؤى: يستخدم نموذج إعادة بناء أحادي الرؤية (Zero123++) لتقديم رؤى مساعدة للكائنات، وتشفيرها في وصفب حيزي مضغوط لالتقاط اتساق الشكل ثلاثي الأبعاد.
الدوران داخل المستوى: دورانات عشوائية لصور الكائنات والأقنعة للتعامل مع عدم المحاذاة ثنائية الأبعاد.
3. المساهمات الرئيسية
نموذج الدمج المتوازي: ينتقل من الإدراج المتسلسل إلى الدمج الزوجي المتوازي، مما يقضي فعليًا على العيوب الناتجة عن الكتابة فوق المحتوى خطوة بخطوة ويضمن تفاعلات مكانية متسقة.
كتلة محفل التفاعل: تقدم بنية MoE الموجهة بالقناع مع خبير تداخل مخصص يستخدم الدمج α التكيفي لحل حدود الاحتجاب والتلامس ديناميكيًا.
تقييم شامل: أظهر أداءً فائقًا عبر إعدادات تجربة الملابس الافتراضية، والمشاهد الداخلية، ومشاهد الشوارع، متفوقًا على أفضل النماذج المرجعية (مثل AnyDoor و ObjectStitch و ControlCom) في المقاييس الكمية والدراسات المستخدمة.
4. النتائج التجريبية
مجموعات البيانات: تم التدريب على خليط من حوالي مليون صورة (LVIS, Objects365, Cityscapes, إلخ) وتم التقييم على مجموعات التحقق من LVIS ومجموعات اختبار DreamBooth.
الأداء الكمي:
حقق أفضل الدرجات في PSNR و SSIM و LPIPS في مناطق التقاطع (وهي حاسمة للتعامل مع الاحتجاب).
تفوق على النماذج المرجعية في FID و DreamSim (التشابه الإدراكي) في مجموعة اختبار DreamBooth.
بينما سجلت بعض النماذج المرجعية درجات أعلى قليلاً في DINOv2 (بسبب مدخلات خريطة الحواف)، حافظ PICS على اتساق المشهد وهوية الكائن بشكل أفضل دون الاعتماد على قيود هيكلية صارمة.
الأداء النوعي:
التعامل مع الاحتجاب: ينجح في توليد احتجابات واقعية (مثل إنسان يجلس على أريكة) دون عيوب "الشبح" أو "الاندماج" التي تظهر في الطرق المتسلسلة.
دقة الحدود: يحافظ على التفاصيل الدقيقة عند نقاط التلامس (مثل درزات الملابس في تجربة الملابس الافتراضية).
القابلية للتوسع متعددة الكائنات: يمتد الأسلوب ليشمل دمج 3 و 4 كائنات، مع الحفاظ على الاستقرار حتى في التكوينات المعقدة والمتشابكة.
الدراسة المستخدمة: حصل PICS على أعلى التقييمات من حيث الواقعية و الاتساق من بين 20 مشاركًا، متفوقًا بشكل كبير على المنافسين.
5. الأهمية والتأثير
حل فجوة "تعدد الأدوار": يعالج PICS قصورًا حرجًا في التحرير التوليدي الحالي: عدم القدرة على الحفاظ على التماسك العالمي عند إضافة كائنات متعددة. إنه يوفر حلاً قويًا لتخليق المشاهد المعقدة.
الاستدلال المكاني الصريح: من خلال نمذجة التفاعلات الزوجية (الدعم، الاحتواء، الاحتجاب) صراحةً بدلاً من معاملتها كآثار جانبية ضمنية، تدفع هذه الورقة بمجال الاستدلال التركيبي في نماذج الرؤية واللغة إلى الأمام.
التطبيقات العملية: يمكن تطبيق الطريقة مباشرة على تجربة الملابس الافتراضية (التعامل مع تداخل الملابس)، و تحرير الصور (إدراج عناصر متعددة)، و الإنتاج السينمائي (الدمج السلس للمقاطع القديمة أو عناصر CGI).
الاتجاه المستقبلي: تشير هذه الدراسة إلى أن النماذج التوليدية المستقبلية يجب أن تتجاوز التكييف أحادي الكائن لتدرك صراحةً الهندسة العلاقاتية بين الكيانات المتعددة لتحقيق واقعية فيزيائية حقيقية.
باختصار، يمثل PICS قفزة نوعية في دمج الصور من خلال التعامل مع إدراج كائنات متعددة كمشكلة تفاعلية موحدة بدلاً من كونها سلسلة من المهام المستقلة، مما ينتج صورًا مدمجة واقعية فيزيائيًا ومتسقة بصريًا.