VISTA: Test-Time Compositional Alignment for Visual Autoregressive Generation
تُعد VISTA أول إطار عمل للمحاذاة عند وقت الاختبار قائم على التدرج للنماذج التوليدية البصرية ذاتية الانحدار، حيث يتدخل في عملية التوليد لتحسين التمثيلات الوسيطة، مما يحسن الدقة التركيبية والعلاقات المكانية بشكل كبير دون تعديل معاملات النموذج أو الحاجة إلى تدريب إضافي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تستطيع فيه الحواسيب رسم الصور من الكلمات، محولةً جملة بسيطة مثل "طائر أحمر يجلس على زهرة زرقاء" إلى صورة حية. لسنوات، اعتمدت أفضل الأدوات لهذه المهمة على طريقة تسمى "الانتشار" (diffusion)، والتي تنحت الصورة ببطء من ضجيج ساكن. ومؤخراً، ظهر نهج أسرع ومختلف يسمى "التوليد البصري ذاتي الانحدار" (visual autoregressive generation). وبدلاً من النحت من الضجيج، تبني هذه النماذج الصور طبقة تلو أخرى، بدءاً من مسودة خشنة ثم إضافة تفاصيل أدق في خطوات متتالية، تماماً كما يفعل الفنان أثناء صقل رسمته. وبينما تنتج هذه النماذج الجديدة صوراً مذهلة وحادة للغاية، إلا أنها تعاني من نوع معين من المنطق؛ فهي غالباً ما تفشل في الربط بين الأشياء أو وضعها في أماكنها الصحيحة. فإذا طلبت منها طائراً أحمر وزهرة زرقاء، قد ترسم الحاسوب طائراً أزرق، أو تضع الزهرة داخل الطائر. هذا الفشل في ربط الصفات بالأشياء بشكل صحيح وتوزيعها في الفراغ هو مشكلة مستمرة لا تستطيع حتى أقوى النسخ الضخمة من هذه النماذج حلها بمفردها.
لقد طور فريق من الباحثين في جامعة شريف للتكنولوجيا طريقة جديدة لحل هذه المشكلة دون إعادة تدريب النماذج أو تغيير كودها الداخلي، وأطلقوا عليها اسم "فيستا" (VISTA). وبدلاً من محاولة تعليم الحاسوب طريقة جديدة للتفكير، يعمل "فيستا" كمرشد أثناء عملية الرسم نفسها. فعندما يكون الحاسوب في منتصف عملية توليد صورة، يقوم "فيستا" بالتوقف عند مراحل مبكرة ومحددة للتحقق مما إذا كانت الصورة الناشئة تطابق التعليمات. إنه ينظر إلى كيفية ربط الحاسوب للكلمات بأجزاء الصورة، ويجري تعديلات دقيقة وصغيرة على تدفق المعلومات. هذه التعديلات توجه الحاسوب مجدداً إلى المسار الصحيح، مما يضمن بقاء الطائر الأحمر أحمر والزهرة منفصلة، كل ذلك أثناء بناء الصورة. يقوم النظام بذلك من خلال تحسين آليات "الانتباه" (attention) الداخلية للحاسوب، أي أنه يطلب من النموذج التركيز بشكل أكبر على الكلمات الصحيحة في اللحظات المناسبة.
اختبر الباحثون هذه الطريقة على حجمين مختلفين من نماذج توليد الصور، أحدهما يحتوي على ملياري معلمة (parameter) والآخر ثمانية مليارات. ووجدوا أن "فيستا" حسن بشكل كبير قدرة الحاسوب على اتباع التعليمات المعقدة. ففي اختبار قياسي يقيس مدى مطابقة الصور للأوصاف، كان النموذج الأصغر المزود بـ "فيستا" أفضل أداءً من النموذج الأكبر بكثير بدونه. في الواقع، تفوق النسخة الموجهة من النموذج الأصغر على النسخة غير الموجهة من النموذج الأكبر في معظم الفئات، بما في ذلك كيفية وضع الأشياء بالنسبة لبعضها البعض. وكان التحسن أكثر وضوحاً في المهام المكانية، حيث تعلم الحاسوب كيفية وضع العناصر بشكل صحيح مثل "يسار" أو "خلف". كما قاس الباحثون جودة الصور ووجدوا أن هذه التصحيحات لم تجعل الصور تبدو أسوأ؛ بل على العكس، صنف نظام مستقل لتقييم جودة الصور الصور الموجهة بأنها أفضل بشكل ملحوظ.
إن ما يجعل هذا الاكتشاف مهماً بشكل خاص هو كيف يغير فهمنا لما يمكن لهذه النماذج القيام به. لفترة طويلة، ساد الاعتقوامنه إذا فشل نموذج في مهمة ما، فإن الحل الوحيد هو جعل النموذج أكبر أو إعادة تدريبه من الصفر ببيانات أكثر. لكن هذا العمل الجديد يظهر أن جزءاً كبيراً من الفجوة بين النماذج الصغيرة والكبيرة ليس نقصاً في القوة الخام، بل هو نقص في التركيز أثناء عملية التوليد. ومن خلال توجيه انتباه النموذج في اللحظات المناسبة، استعاد الباحثون الكثير من القدرة المفقودة. تعمل هذه الطريقة من خلال التدخل فقط في المراحل الأولى والخشنة لإنشاء الصورة، حيث يتم تحديد المخطط العام. وبمجرد ضبط الترتيب الأساسي، يقوم النموذج بشكل طبيعي بملء التفاصيل الدقيقة بنفسه. وهذا يعني أن النظام لا يحتاج إلى مراقبة أو تصحيح مستمر طوال العملية، مما يجعله فعالاً وعملياً.
كما استكشف الباحثون كيفية التعامل مع العلاقات ثلاثية الأبعاد، مثل وجود جسم خلف جسم آخر. وبما أن الخريطة الداخلية للحاسوب لا تحتوي على قناة للعمق، فهو لا يستطيع "رؤية" العمق بشكل مباشر. ولحل هذه المشكلة، ابتكر الفريق طريقة لاستنتاج العمق من طريقة تداخل الأجسام على مستوى الصورة المسطحة. لقد علموا النظام أنه إذا انقطع خط جسم ما بسبب جسم آخر، فإن الجسم الأول يجب أن يكون في المقدمة. ومن خلال تشجيع هذا النمط الهندسي المحدد، تعلم النظام ترتيب الأجسام بترتيب ثلاثي الأبعاد مقنع دون الحاجة إلى أدوات خارجية أو بيانات ثلاثية الأبعاد معقدة. سمح هذا النهج للنموذج بالتعامل مع ترتيب العمق بنفس كفاءة تعامله مع التموضع البسيط لليمين واليسار.
تتمثل تكلفة هذا التحسن في زيادة طفيفة في الوقت المستغرق لتوليد الصورة، لكن الباحثين وجدوا "نقطة مثالية" حيث تكون المكاسب في الجودة عالية وتكلفة الوقت منخفضة. فقد اكتشفوا أن توجيه الخطوات القليلة الأولى فقط من عملية التوليد كان كافياً لتثبيت التخطيط الصحيح للصورة بأكملها. إن إضافة المزيد من خطوات التوجيه بعد ذلك النقطة لم تقدم سوى نتائج ضئيلة واستغرقت وقتاً أطول. وهذا يشير إلى أن مفتاح إصلاح هذه النماذج يكمن في ضبط الأساس بشكل صحيح في البداية. وتتميز هذه الطة بمرونة عالية حيث يمكن تكييفها مع أنواع مختلفة من التعليمات، من مطابقة الألوان البسيطة إلى الترتيبات المكانية المعقدة، دون الحاجة إلى بيانات تدريب جديدة أو أجهزة متخصصة.
في نهاية المطاف، يوضح هذا البحث أن قيود مولدات الصور الحالية ليست بالضرورة عيوباً ثابتة في تصميمها، بل هي قضايا تتعلق بالتوقيت والتركيز يمكن تصحيحها أثناء العمل. إن القدرة على توجيه انتباه النموذج أثناء عملية التوليد تفتح مساراً جديداً لتحسين الذكاء الاصطناعي. وهي تشير إلى أننا لسنا بحاجة دائماً لبناء نماذج أكبر وأكثر تكلفة للحصول على نتائج أفضل؛ فأحياناً، نحتاج فقط لمساعدة النماذج التي نمتلكها بالفعل لتركز على الأشياء الصحيحة في الوقت الصحيح. يقدم هذا النهج طريقة عملية لجعل الصور المولدة بالذكاء الاصطناعي أكثر موثوقية ومنطقية، مما يقربنا من مستقبل يمكن فيه للحواسيب أن تفهم حقاً وتصور المشاهد المعقدة التي نصفها لها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.