DreamOmni3: Scribble-based Editing and Generation
تقدم الورقة البحثية DreamOmni3، وهو نموذج موحد يطور عملية الإنشاء القائم على واجهة المستخدم الرسومية (GUI) من خلال تمكين التحرير والتوليد المرن القائم على الخربشة عبر مسار مبتكر لتخليق البيانات وإطار إدخال مشترك يجمع بين الصور الأصلية والمخططة لضمان التحكم البصري الدقيق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث إلى فنان فائق الذكاء يمكنه رسم أي شيء تصفه له. إذا قلت له: "ارسم قطة"، سيفعل ذلك. وإذا قلت له: "اجعل القطة ترتدي قبعة"، فسيقوم بتغيير الصورة. هذا هو عالم توليد وتحرير الصور بالذكاء الاصطناعي، وهو مجال تتعلم فيه الحواسيب كيفية إنشاء وتعديل الصور بناءً على كلماتك. لفترة طويلة، كانت الطريقة الوحيدة للتحدث مع هؤلاء الفنانين الرقميين هي عبر النص. ولكن تكمن المشكلة هنا في أن الكلمات تكون أحياناً غير دقيقة؛ فمحاولة وصف مكان وضع جسم جديد بدقة، أو كيفية تغيير جزء معين من رسمة فوضوية، قد تشبه محاولة إعطاء اتجاهات لصديق باستخدام خريطة تفتقر إلى المعالم. قد تقول: "ضع الشجرة على اليسار"، لكن الذكاء الاصطناعي قد يضعها في أقصى اليسار، أو في جهة اليسار الخاطئة.
ولإصلاح ذلك، استكشف العلماء طريقة جديدة للتحدث مع هؤلاء الفنانين: الخربشة (Scribbling). فبدلاً من مجرد الكتابة، يمكنك الإمساك بقلم رقمي ورسم دوائر، أو مربعات، أو خربشات عشوائية مباشرة على الشاشة لتوضح للذكاء الاصطناعي ما تعنيه بالضبط. الأمر يشبه الإشارة إلى نقطة على الخريطة وقول: "هنا!" بدلاً من وصف اسم الشارع. هذه الورقة البحثية، DreamOmni3، تغوص بعمق في جعل طريقة "الإشارة والرسم" هذه تعمل بشكل مثالي. فهي تعالج الأجزاء الصعبة المتمثلة في تعليم الحواسيب ليس فقط فهم كلماتك، بل وأيضاً فهم خطوطك المرسومة يدوياً بطريقة عشوائية، وتدمجها لإنشاء أو تعديل الصور بدقة مذهلة.
المشكلة: عندما لا تكفي الكلمات
تخيل أنك تلعب لعبة تتطلب منك تعديل صورة. تريد استبدال لعبة موجودة داخل دائرة حمراء بحقيبة يد. إذا كتبت فقط "ضع حقيبة يد هنا"، فقد يرتبك الذككاء الاصطناعي. أي لعبة؟ وأين هي "هنا"؟ هل الدائرة حمراء أم سوداء؟ هل هي الصورة الأولى أم الثانية؟ اللغة رائعة للأفكات الكبيرة، لكنها سيئة جداً في الإشارة إلى تفاصيل صغيرة ومحددة على الشاشة.
أدرك مؤلفو هذه الورقة أنه بينما أصبح الذكاء الاصطناعي جيداً جداً في اتباع التعليمات النصية، إلا أنه غالباً ما يخطئ في تحديد "أين" و"كيف" عندما تصبح الأمور معقدة. يحتاج المستخدمون إلى وسيلة ليكونوا أكثر مباشرة. يحتاجون إلى القدرة على رسم دائرة حول وجه وقول: "غير هذا الشعر"، أو رسم خط متعرج وقول: "ضع سيارة هنا". هذا هو مفهوم التعديل والتوليد القائم على الخربشة. إنه يتعلق بالسماح للمستخدمين بخلط النصوص، والصور، ورسوماتهم الحرة للتحكم في الذكاء الاصطناعي.
الحل: DreamOmni3
قرر الفريق وراء DreamOmni3 بناء نموذج يعامل "الخربشات" كعنصر أساسي، جنباً إلى جنب مع النصوص والصور. ولكن كان هناك عقبة ضخمة: البيانات. نماذج الذكاء الاصطناعي تشبه الطلاب؛ فهي تحتاج لرؤية آلاف الأمثلة لتتعلم. لم تكن هناك "كتب مدرسية" (مجموعات بيانات) موجودة تُظهر للذكاء الاصطناعي كيفية تفسير دائرة مرسومة يدوياً بشكل عشوائي وتحويلها إلى تعديل مثالي.
لذا، أول ما فعله المؤلفون هو ابتكار مصنع للبيانات. لقد أخذوا صوراً موجودة واستخدموا مساراً ذكياً لإنشاء الملايين من الأمثلة التدريبية الجديدة.
- للتعديل: أخذوا صوراً، ووجدوا كائنات فيها، ثم رسموا يدوياً (أو بمساعدة ذكاء اصط-آخر) دوائر، ومربعات، وخربشات فوقها. وقد أنشأوا أربعة أنواع من المهام:
- الخربشة + النص: "ضع سيارة في الدائرة الحمراء".
- الخربشة + النص + الصورة: "ضع السيارة الموجودة في هذه الصورة داخل الدائرة الحمراء".
- دمج الصور: أخذ جسم من صورة ونقله إلى صورة أخرى، بتوجيه من خربشة.
- تعديل الرسومات (Doodle Editing): تحويل رسم تخطيطي بسيط إلى جسم واقعي في الصورة.
- للتوليد: فعلوا الشيء نفسه ولكن بدأوا بلوحة بيضاء فارغة بدلاً من صورة، لتعليم الذكاء الاصطناعي كيفية رسم أشياء جديدة بناءً على مكان خربشتك.
لقد أنتجوا مجموعة بيانات ضخمة تحتوي على عشرات الآلاف من هذه الأمثلة (32,000 للتعديل متعدد الوسائط، و29,000 للتوليد متعدد الوسائط، والمزيد للمهام الأخرى) لتعليم النموذج كيفية قراءة عقل المستخدم من خلال رسوماته.
الخدعة السحرية: كيف "يرى" النموذج الخربشة
هنا يصبح الأمر ذكياً للغاية. عادةً، عندما تريد من الذكاء الاصطناعي تعديل جزء معين من صورة، فإنك تستخدم قناعاً ثنائياً (Binary Mask). فكر في القناع كأنه "استنسل": صورة باللونين الأبيض والأسود حيث يعني الأبيض "غير هذا" والأسود "اترك هذا كما هو".
يرى المؤلفون أن الأقنعة جامدة للغاية. فإذا كنت تريد تغيير ثلاثة أشياء مختلفة في صورة واحدة، فستحتاج إلى ثلاثة أقنعة مختلفة بالأبيض والأسود. وهذا أمر فوضوي وصعب الوصف بالكلمات. بدلاً من ذلك، يستخدم DreamOmni3 الخربشات الملونة. يمكنك رسم دائرة حمراء للسيارة، ومربع أزرق للشجرة، وخط أخضر للسماء. ويمكن للذكاء الاصطناعي التمييز بينها بسهولة من خلال اللون.
لكن هناك مشكلة: إذا رسمت دائرة حمراء فوق سيارة، فلن يستطيع الذكاء الاصطناعي رؤية السيارة لأن الحبر الأحمر يغطيها! ولحل هذه المشكلة، يستخدم DreamOmni3 مخطط إدخال مشترك (Joint Input Scheme).
- فهو يغذي الذكاء الاصطناعي بصورتين في نفس الوقت: الصورة الأصلية، والصورة التي عليها الخربشات.
- ويستخدم نظام ترميز خاص (طريقة لتسمية البكسلات) يخبر الذكاء الاصطناعي: "مهلاً، الدائرة الحمراء في هذه الصورة تقع في نفس موقع السيارة تماماً في تلك الصورة".
- وهذا يسمح للذكاء الاصطناعي برؤية الخربشة (ليعرف ما تريد) ورؤية البكسلات الأصلية (ليعرف ما الذي يغيره)، مما يضمن أن يكون التعديل دقيقاً وأن يظل باقي الجزء من الصورة مثالياً.
العقل: تعليم الذكاء الاصطناعي فهم "الفوضى"
أدرك المؤلفون أيضاً أن رسومات البشر غالباً ما تكون غير منتظمة. قد تبدو الدائرة مثل بيضة، أو قد يكون الخط متعرجاً. ولمساعدة الذكاء الاصطناعي على فهم هذه الرسومات غير المثالية، قدموا نموذج لغة مرئي (VLM) — وهو نوع من الذكاء الاصطناعي المتفوق في الاستنتاج.
لقد قاموا بتدريب هذا الـ VLM جنباً إلى جنب مع مولد الصور. يعمل الـ VLM كمترجم؛ فهو ينظر إلى خربشتك ونصك المكتوب، ويفهم ما كنت تقصده حقاً (مثلاً: "أوه، لقد رسم دائرة متعرجة، لكنه بوضوح يريد سيارة")، ثم يخبر مولد الصور بما يجب فعله بالضبط. هذا التدريب المشترك يضمن أن الذكاء الاصطناعي لا يتبع القواعد بشكل أعمى فحسب، بل يفهم بالفعل القصد وراء الخربشة.
النتائج: هل نجح الأمر؟
اختبر الفريق DreamOmni3 على معيار اختبار جديد أنشأوه، مليء بالصور الواقعية والمهام الصعبة. وقارنوه بنماذج رائدة أخرى، بما في ذلك بعض النماذج التجارية الشهيرة مثل GPT-4o و Nano Banana.
كانت النتائج مبهرة. تفوق DreamOmni3 باستمرار على النماذج مفتوحة المصدر الأخرى، ونافس أو تفوق على العمالقة التجاريين في العديد من المجالات.
- المقيمون البشريون (أشخاص حقيقيون) قدروا معدل نجاح DreamOmni3 في مهام التعديل بنسبة 55.88%، وهي نسبة أعلى من GPT-4o (الذي سجل 59.56% في مقيء واحد، لكن DreamOn3 كان أكثر اتساقاً في مقاييس أخرى)، وأعلى بكثير من غيره مثل Omnigen2 (الذي سجل 2.94%).
- وفي مهام التوليد، حقق DreamOmni3 معدل نجاح بلغ 54.55%، متفوقاً مرة أخرى على معظم المنافسين.
- تشير الورقة إلى أنه بينما تكون النماذج التجارية قوية، إلا أنها أحياناً تواجه صعوبة في تنفيذ تعليمات الخربشة المحددة، حيث تترك الخربشات في الصورة النهائية أو تخطئ في النسب. ومع ذلك، فقد صُمم DreamOmni3 خصيصاً للتعامل مع هذه التفاصيل الدقيقة، مما ينتج نتائج أكثر نظافة حيث تختفي الخربشات وتبدو التعديلات طبيعية.
لماذا يهم هذا الأمر؟
DreamOmni3 ليس مجرد محاولة لجعل الذكاء الاصطناعي أكثر ذكاءً، بل هو محاولة لجعله أكثر إنسانية. إنه يسد الفجوة بين ما نتخيله وما يمكننا وصفه. من خلال السماح لنا بالرسم، والإشارة، والخربشة، فإنه يحول تعديل الصور من مهمة تقنية شاقة إلى محادثة إبداعية. تشير الورقة إلى أن هذا النهج — الذي يجمع بين النص والصور والرسم الحر مع توليد البيانات الذكي والتدريب المشترك — هو مستقبل كيفية تفاعلنا مع أدوات الإبداع الرقمي. إنه يثبت أنه عندما نتوقف عن محاولة إجبار الحواسيب على فهم كلماتنا الغامضة ونبدأ في السماح لها برؤية أفعالنا المباشرة، ستكون النتائج أكثر سحراً بكثير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.