SI-Edit: Toward Sketch-Instruction Guided Local Image Editing with Pixel-Level Precision

تخيل أنك تحاول إعطاء تعليمات دقيقة وصغيرة جدًا لفنان سحري يمكنه رسم أي شيء تريده. قد تقول له: "اجعل ساق تلك الزهرة تنحني لتصبح على شكل حرف S انسيابي". لكن المشكلة هنا هي أن الفنان كثير السرحان؛ فقد يسمع "شكل حرف S" فيقوم بثني الساق في المكان الخطأ، أو قد يحول النبتة بأكملها إلى ثعبان بدلاً من مجرد ثني الساق. هذا هو التحدي الذي يواجه تحرير الصور باستخدام الذكاء الاصطناائي. لقد بنى العلماء نماذج توليدية قوية — فكر فيها كفنانين رقميين تدربوا على ملايين الصور — يمكنهم تغيير الصور بناءً على النص. ولكن عندما تطلب منهم تغييرًا دقيقًا للغاية، مثل ثني ورقة واحدة أو تمديد لهب، فإن هؤلاء الفنانين الرقميين غالبًا ما يرتبكون؛ فقد يغيرون الجزء الخطأ من الصورة، أو قد يسيئون فهم كيفية التغيير الذي تريده بالضبط.

لحل هذه المشكلة، جرب الباحثون حيلتين رئيسيتين. إحداهما هي إعطاء الفنان رسمًا تخطيطيًا (sketch)، مثل رسم خط على الشاشة لتوضيح مكان الانحناء بالضبط. والأخرى هي إعطاء تعليمات نصية، مثل كتابة "اثنِها هنا". لكن لكل حيلة عيبًا؛ فإذا أعطيت الرسم التخطيطي فقط، فلن يعرف الفنان ماذا يفعل (هل تريد نسخ الورقة، أم تحريكها، أم مجرد ثنيها؟). وإذا أعطيت النص فقط، فلن يعرف الفنان أين يفعل ذلك بالضبط. تحاول هذه الورقة البحثية، SI-Edit، حل هذه المشكلة عبر تعليم الفنان الاستماع إلى الرسم والتكست (النص) في آن واحد، ليعمل كمنحات رقمي فائق الدقة يمكنه إعادة تشكيل الصورة وصولاً إلى آخر بكسل فيها.

المشكلة: الفنان الذي "يضيع في الترجمة"

تخيل أنك تلعب لعبة حيث يتعين عليك وصف رسمة لصديق يمكنه فقط رسم ما تقوله. إذا قلت له: "اجعل غصن الشجرة ينحني"، فقد يقوم صديقك بثني الغصن الخطأ، أو قد يرسم شجرة جديدة تمامًا. هذا ما يحدث مع أدوات الذكاء الاصطناعي الحالية التي تستمع فقط إلى التعليمات النصية. إنها بارعة في التغييرات الكبيرة، مثل "اجعل السماء زرقاء"، لكنها سيئة جدًا في التغييرات الصغيرة والدقيقة. فهي تفتقر إلى "المرساة المكانية" (spatial anchor) — وهي وسيلة لمعرفة أي بكسل يجب تحريكه بالضبط.

من ناحية أخرى، إذا أعطيت رسمًا تخطيطيًا فقط (خط مرسوم على الشاشة)، فإن الذكاء الاصطناعي سيعرف "أين" يرسم ولكنه لن يعرف "ماذا" يفعل. هل هذا الخط مخصص لتحريك ورقة؟ أم لنسخها؟ أم لمجرد ثنيها؟ بدون تعليمات واضحة، قد يخمن الذكاء الاصطناعي بشكل خاطئ، مما يؤدي إلى نتائج غريبة مثل ورقة تتحول فجأة إلى نسخة من نفسها، أو ساق تختفي تمامًا.

أدرك مؤلفو هذه الورقة أنه للحصول على تحكم مثالي على مستوى البكسل، تحتاج إلى كليهما: خريطة (الرسم التخطيطي) ووجهة (النص). ولكن كانت هناك عقبة كبيرة: لم يسبق لأحد أن بنى دليلًا تدريبيًا يمكن للذكاء الاصطناعي من خلاله الجمع بين هذين الأمرين بشكل مثالي.

الحل: دليل تدريبي جديد وفنان جديد

لإصلاح ذلك، كان على الفريق أولاً بناء مجموعة بيانات تدريبية ضخمة وعالية الجودة تسمى SI-Data. فكر في هذا ككتاب طبخ عملاق للذكاء الاصطناعي. فبدلاً من مجرد عرض صور "قبل" و"بعد" مع وصف نصي، قاموا بإنشاء رباعيات (quadruplets) — وهي مجموعات من أربعة أشياء متلازمة:

1. الصورة الأصلية (نقطة البداية).
2. الصورة المستهدفة (كيف يجب أن تبدو بعد التعديل).
3. الرسم التخطيطي (خط بسيط يوضح شكل التغيير بالضبط).
4. التعليمات (النص الذي يخبر الذكاء الاصطناعي بما يجب فعله).

لم يقوموا برسم هذه الأشياء يدويًا، لأن ذلك سيستغرق وقتًا طويلاً؛ بل استخدموا مسار عمل آلي ذكي. أخذوا صورًا جميلة، وطلبوا من ذكاء اصطناعي ذكي (Qwen3-VL) ابتكار تعليمات تعديل محددة (مثل "مدد الخيمة")، ثم استخدموا ذكاءً اصطناعيًا آخر (Nano Banana Pro) لإجراء التغيير فعليًا. بعد ذلك، استخدموا حيلة رياضية تسمى التدفق البصري (optical flow) لرسم "الرسم التخطيطي" تلقائيًا من خلال رؤية كيف تحركت البكسلات من الصورة الأصلية إلى الصورة الجديدة. منحهم هذا 6,500 مثال مثالي لكيفية الجمع بين الرسم التخطيطي والتعليمات النصية لإجراء تعديل دقيق.

كيف يعمل SI-Edit: حيلة "الموقع نفسه"

بهذه المجموعة الجديدة من البيانات، بنوا أداة تعديل جديدة تسمى SI-Edit. هذه الأداة مصممة لتكون فنانًا "تعاونيًا"؛ فهي لا تنظر إلى النص أو الرسم التخطيطي فحسب، بل تنظر إليهما معًا.

تقدم الورقة البحثية حيلتين رئيسيتين لجعل هذا العمل ممكنًا:

1. رمز "محفز المهمة" (Task-Trigger Token): أضافوا رمزًا سريًا خاصًا، يُكتب على شكل <sk>، في بداية كل تعليمات. فكر في هذا كجرس يرن قبل أن يبدأ الفنان بالرسم. عندما يسمع الذكاء الاصطناعي كلمة "الجرس" (<sk>)، فإنه يدرك: "أوه، عليّ أن أولي اهتمامًا إضافيًا لخطوط الرسم التخطيطي التي سأراها الآن". هذا يساعد الذكاء الاصطناعي على فهم أن الرسم التخطيطي ليس مجرد زينة، بل هو قاعدة صارمة.
2. ترميز الموقع نفسه (Same Position Encoding - SPE): هذا هو الجزء الأهم. تخيل أنك تقوم بتتبع صورة على قطعة من الزجاج؛ لديك الصورة الأصلية بالأسفل والرسم التخطيطي فوقها. إذا لم تقم بمحاذاتهما بدقة، فسيكون رسمك بعيدًا عن الهدف. عادةً ما يعامل الذكاء الاصطناعي الرسم التخطيطي والصورة الأصلية كشيئين منفصلين، مما يسبب "انزياحًا" بينهما. يقوم SI-Edit بإجبار الذكاء الاصطناعي على معاملة الرسم التخطيطي والصورة الأصلية كما لو كانا في الموقع نفسه تمامًا داخل عقله. إنه يضع الرسم التخطيطي فوق الصورة ويخبر الذكاء الاصطناعي: "هذان الشيئان يقعان في نفس الإحداثيات". هذا يمنع الذكاء الاصطناعي من الارتباك بشأن مكان حدوث الانحناء.

ماذا وجدوا: الدقة على مستوى البكسل

اختبر الفريق SI-Edit مقابل أدوات شهيرة أخرى مثل SketchEdit وMagicQuill وFramePainter. وكانت النتائج واضحة: SI-Edit كان أفضل بكثير في اتباع القواعد.

• الدقة الهندسية: عند قياس مدى قرب الذكاء الاصطناعي من اتباع خطوط الرسم التخطيطي، سجل SI-Edit درجة 4.292 (كلما انخفضت الدرجة كان ذلك أفضل)، بينما سجلت الأداة التالية الأفضل MagicQuill درجة 7.434. وهذا يعني أن انحناءات وخطوط SI-Edit كانت أقرب بكثير لما رسمه المستخدم بالفعل.
• الفهم الدلالي: عند التحقق مما إذا كان الذكاء الاصطناعي قد فعل ما قاله النص بالفعل (مثل "تمديد" مقابل "نسخ")، تفوق SI-Edit على جميع الطرق الأخرى في مقياس يسمى $\Delta$CS، حيث سجل 0.0174.
• تفضيل المستخدمين: عندما نظر أشخاص حقيقيون إلى النتائج، فضلوا SI-Edit على الأدوات الأخرى بنسبة تتراوح بين 81.3% إلى 94.8%، اعتمادًا على ما كانوا يبحثون عنه (الاتساق البصري، الدقة، أو جودة الصورة).

كما أظهرت الورقة البحثية أن هذه الأداة يمكنها القيام بأكثر من مجرد ثني الأشياء؛ إذ يمكنها حتى تغيير وضعية جسم شخص ما، مثل جعل ممارس للفنون القتالية يغير وقفته، مع الحفاظ على وجهه وملابسه كما هي تمامًا.

الخلاصة

يشير المؤلفون إلى أنه من خلال الجمع بين خريطة واضحة (الرسم التخطيطي) ووجهة واضحة (النص)، ومن خلال تعليم الذكاء الاصطناعي معاملتهما كدليل موحد، يمكننا أخيرًا الحصول على أدوات تحرير صور دقيقة بما يكفي للتعامل مع التغييرات الصغيرة والمعقدة دون إفساد بقية الصورة. هم لم يبنوا أداة أفضل فحسب، بل بنوا أول مجموعة بيانات عامة تعلم الذكاء الاصطناعي كيفية القيام بذلك، مما يفتح الباب أمام الباحثين المستقبليين لإنشاء فنانين رقميين أكثر ذكاءً. وتخلص الورقة إلى أنه بينما كانت مشكلة "الغموض المكاني" (عدم معرفة أين يتم التعديل) و"العمى الدلالي" (عدم معرفة ماذا يتم تعديله) تمثل عائقًا رئيسيًا، فإن هذا النهج التعاوني نجح في تمهيد الطريق للتحرير المثالي على مستوى البكسل.