Rethinking Generative Image Pretraining: How Far Are We From Scaling Up Next-Pixel Prediction?
تستقصي هذه الورقة قوانين القياس الخاصة بالتنبؤ التالي بالبكسل ذاتي الانحدار لنماذج الرؤية، كاشفةً أن الاستراتيجيات المثلى تتباين بين مهام التصنيف والتوليد، ومتوقعةً أن التوسع المدفوع بالحوسبة سيمكن من نمذجة الصور بكسل تلو الآخر في غضون خمس سنوات.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف "يرى" العالم. هناك طريقتان رئيستان للقيام بذلك:
- طريقة "الملخص الذكي": أنت تعرض على الروبوت صورة، لكنك تقوم أولاً بضغطها إلى كلمات أو رموز رئيسية (مثل تحويل صورة قطة إلى كلمة "قطة"). هذه هي الطريقة التي يعمل بها معظم الذكاء الاصطناعي الحديث اليوم.
- طريقة "البكسل الخام": أنت تعرض على الروبوت الصورة كما هي تماماً، نقطة بنقطة، ولوناً تلو الآخر، وتطلب منه أن يخمن النقطة التالية بناءً على النقاط التي سبقتها. هذا يشبه محاولة تعلم لغة عن طريق حفظ كل حرف في كتاب، واحداً تلو الآخر، دون رؤية كلمة كاملة أبداً.
هذه الورقة البحثية تسأل سؤالاً بسيطاً ولكنه صعب: إلى أي مدى نحن بعيدون عن جعل طريقة "البكسل الخام" تعمل بشكل جيد حقاً؟
قرر المؤلفون اختبار ذلك من خلال تدريب نماذج ذكاء اصطناعي للتنبؤ بالبكسل التالي في صورة ما، بدءاً من صور صغيرة ومنخفضة الدقة (32×32 بكسل، والتي تبدو كصور مصغرة ضئيلة ومربعة). أرادوا معرفة ما إذا كانت هذه الطريقة البسيطة "الغبية" يمكن أن تتطور في النهاية لتصبح بقوة طرق "الملخص الذكي".
إليك الاكتشافات الأربعة الكبرى التي توصلوا إليها، مشروحة عبر أمثلة من الحياة اليومية:
1. الفجوة بين "البكسل والكلمة"
الاكتشاف: لكي يتعلم البكسل الخام بفعالية، فإنه يحتاج إلى بيانات أكثر بـ 10 إلى 20 مرة من الكلمات.
المثال: تخيل تعليم طفل القراءة.
- الكلمات (اللغة): إذا أظهرت للطفل كلمة "قطة"، سيفهم فوراً أنها حيوان فروي يصدر مواءً. إنها حزمة معلومات مكثفة.
- البكسلات (الصور): إذا أظهرت للطفل نقطة حمراء واحدة، فلن يعرف ما هي. هل هي أنف؟ أم علامة توقف؟ أم حبة فراولة؟ إنها مجرد نقطة.
لأن النقطة الواحدة تحمل معنى ضئيلاً جداً، يجب على الذكاء الاصطزناعي أن ينظر إلى ملايين النقاط الإضافية ليفهم النمط. وجدت الورقة أنه لكي يصل الذكاء الاصطناعي إلى نفس المستوى من الذكاء، فإنه يحتاج إلى "قراءة" كمية أكبر بكثير من بيانات البكسل مقارنة بما قد يحتاجه لقراءة النصوص.
2. الأهداف المختلفة تحتاج إلى وصفات مختلفة
الاكتشاف: الطريقة "الأفضل" لتوسيع نطاق الذكاء الاصطناعي تعتمد كلياً على ما تريد منه القيام به.
المثال: فكر في تدريب رياضي.
- إذا كنت تريده أن يكون عداءً سريعاً (تصنيف الصور): فأنت بحاجة إلى توازن بين رفع الأثقال (عضلات أكبر/نموذج أكبر) وبين التدريب على الجري (البيانات).
- إذا كنت تريده أن يكون عداء ماراثون (توليد الصور): فأنت بحيد إلى التركيز بشكل شبه كامل على التدريب على الجري (المزيد من البيانات).
وجدت الورقة أنه إذا كنت تريد من الذكاء الاصطناعي أن يتعرف على ما في الصورة، فيمكنك فقط جعل "دماغ" الذكاء الاصطناعي أكبر. ولكن إذا كنت تريده أن يُنشئ أو يكمل صورة (مثل ملء النصف السفلي من صورة)، فأنت بحاجة إلى تغذيته بمكتبة أكبر بكثير من الأمثلة (البيانات) بدلاً من مجرد جعل الدماغ أكبر. "الوصفة المثلى" لمهمة واحدة هي في الواقع وصفة سيئة للمهمة الأخرى.
3. فخ الدقة: الصور الأكبر تحتاج إلى أدمغة أكبر
الاكتشاف: مع زيادة دقة الصور (لتصبح أكثر حدة وتفصيلاً)، يحتاج الذكاء الاصطناعي إلى أن يصبح أكبر بكثير وبسرعة أكبر من كمية البيانات التي يراها.
المثال: تخيل محاولة تعلم خريطة مدينة.
- الدقة المنخفضة (32×32): تشبه النظر إلى خريطة بلدة صغيرة. يمكنك تعلم الخريطة بأكملها من خلال التجول كثيراً (المزيد من البيانات).
- الدقة العالية (64×64 فما فوق): تشبه النظر إلى خريطة لمدينة ضخمة مليئة بناطحات السحاب والأزقة الضيقة. مجرد التجول أكثر لن يساعدك إذا كان دماغك صغيراً جداً لاستيعاب كل هذه التفاصيل المعقدة.
اكتشفت الورقة أنه كلما أصبحت الصور أكثر حدة، فإن "تعقيد" المهمة ينفجر. للتعامل مع هذا، لا يمكنك مجرد تغذية الذكاء الاصطناعي بالمزيد من الصور؛ بل يجب عليك بناء دماغ ذكاء اصطناعي أكبر بكثير للتعامل مع التفاصيل المعقدة.
4. العائق هو قوة الدماغ، وليس الكتب
الاكتشاف: نحن لا ننتظر المزيد من الصور لجعل هذا يعمل؛ نحن ننتظر أجهزة كمبيوتر أسرع.
المثال: تخيل أن لديك مكتبة تحتوي على كل كتاب كُتب على الإطلاق (البيانات المرئية على الإنترنت). لديك طالب يمكنه قراءتها جميعاً. المشكلة ليست في أن المكتبة فارغة؛ المشكلة هي أن الطالب يقرأ صفحة واحدة في السنة.
يتوقع المؤلفون أنه نظراً لأن قوة الكمبيوتر تنمو بسرعة كبيرة (تتضاعف كل عام تقرياً)، فسنكون قادرين على تدريب نماذج "البكسل الخام" هذه بفعالية خلال السنوات الخمس القادمة. البيانات موجودة بالفعل؛ نحن فقط بحاجة إلى العضلات الحسابية لمعالجتها.
الخلاصة
تخلص الورقة إلى أن تدريب الذكاء الاصطناعي للتعلم مباشرة من البكسلات الخام ليس طريقاً مسدوداً. إنه يعمل، ويتبع قواعد يمكن التنبؤ بها، ويمكنه في النهاية الوصول إلى مستويات عالية من الأداء. ومع ذلك، فهو حالياً مكلف جداً وبطيء لأن البكسلات هي نقاط بيانات "غبية".
لجعل هذا يعمل في المستقبل، لا نحتاج إلى اختراع طرق جديدة لضغط الصور؛ نحن فقط بحاجة إلى الاستمرار في بناء أجهزة كمبيوتر أكبر وتغذيتها بكميات هائلة من البيانات، المصممة خصيصاً لما إذا كنا نريد من الذكاء الاصطناعي أن يتعرف على الأشياء أو يُنشئها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.