Unified Pix Token And Word Token Generative Language Model
تقترح هذه الورقة نموذجاً لغوياً توليدياً جديداً يوحد بين رموز البكسل والكلمات مع ابتكارات معمارية محددة مثل طي الألوان والانتباه الشرطي العالمي للتغلب على قيود المشفرات البصرية الحالية القائمة على نماذج ViT في التعرف على التفاصيل البصرية الدقيقة، مما يظهر أداءً قوياً حتى مع النماذج الصغيرة والبيانات المحدودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم كمبيوتر كيف "يرى" و"يتحدث" في نفس الوقت. حالياً، تستخدم أفضل الحواسيب طريقة تسمى ViT (محول الرؤية - Vision Transformer) للنظر إلى الصور. يجادل مؤلفو هذه الورقة البحثية بأن هذه الطريقة الحالية تشبه محاولة وصف لوحة معقدة من خلال النظر فقط إلى رسم تخطيطي مبهم وملخص؛ فهي تفقد التفاصيل الدقيقة، مثل رقم لوحة السيارة أو النص الصغير على لافتة.
إليك شرح بسيط لفكرتهم الجديدة، وهي نموذج توحيد رموز البكسل ورموز الكلمات (Unified Pix Token and Word Token Model)، باستخدام تشبيهات من الحياة اليومية.
1. المشكلة: "الرسم التخطيطي المبهم" مقابل "واقع بكسل ببكسل"
الطريقة الحالية (ViT/CLIP):
تخيل أن لديك فسيفساء ضخمة مكونة من مليون قطعة صغيرة (بلاطات). الذكاء الاصطناعي الحالي لا ينظر إلى كل قطعة بمفردها، بل يجمعها في كتل كبيرة (patches) ويسأل: "ما الذي تبدو عليه هذه الكتلة ككل؟" ثم يحول تلك الكتلة إلى "كلمة" واحدة أو ملخص.
- العيب: إذا قمت بتغيير قطعة واحدة صغيرة فقط (مثل تغيير رقم في لوحة سيارة من 1 إلى 6)، فإن ملخص الكتلة بأكملها يتغير تماماً. الأمر يشبه إذا غيرت حرفاً واحداً في جملة، فاعتقد الذكاء الاصطناعي أن معنى الفقرة بأكملها قد تغير تماماً. هذا يجعله سيئاً في رصد التفاصيل الصغيرة.
الطالطريقة الجديدة (Pix Token):
يقول المؤلفون: "دعونا نتوقف عن التلخيص. لنعطِ كل بكسل (أصغر نقطة لون في الصورة) بطاقة تعريف فريدة خاصة به ومدخلاً في قاموسه الخاص".
- التشبيه: بدلاً من تجميع قطع الفسيفساء في كتل، سنعطي كل قطعة في الفسيفساء بطاقة هوية فريدة. إذا غيرت قطعة واحدة، تتغير بطاقة الهوية لتلك القطعة فقط، بينما يظل باقي الرسم كما هو تماماً. هذا يجعل الذكاء الاصطناعي أكثر حساسية للتفاصيل الدقيقة.
2. التحدي: الكثير من الأسماء لتذكرها
المشكلة:
إذا أعطيت كل بكسل اسمه الخاص، وبما أن البكسل يمكن أن يكون أي لون من بين 16.7 مليون لون، فسينتهي بك الأمر بقاموس ضخم بشكل مستحيل. سيتطلب الأمر طاقة حاسوبية هائلة للبحث عن كل لون.
الحل: "طي الألوان" (Color Folding)
يقترح المؤلفون خدعة ذكية تسمى طي الألوان.
- التشبيه: تخيل أن لديك صندوقاً يحتوي على 16.7 مليون درجة مختلفة من اللون الأزرق. بالنسبة للعين البشرية، الفرق بين "الأزرق السماوي" و"الأزرق السماوي مع لمسة صغيرة جداً من الأبيض" غير مرئي.
- الإصلاح: يقوم النموذج بتجميع هذه الدرجات المتشابهة التي لا يمكن تمييزها. يقول النموذج: "لا نحتاج إلى 16 مليون اسم؛ لنستخدم 4,000 اسم فقط تغطي جميع الألوان التي يمكن للبشر رؤيتها فعلياً".
- النتيجة: هذا يقلص حجم القاموس بشكل هائل (مثل طي خريطة ضخمة لتصبح بحجم الجيب) دون جعل الصورة تبدو مبهمة للعين البشرية، مما يوفر كميات هائلة من القدرة الحسابية.
3. الخدعة السحرية: "من العام إلى الخاص" (Global to Local Attention)
المشكلة:
حتى مع وجود قاموس أصغر، فإن النظر إلى صورة كاملة بكسل ببكسل لا يزال عملاً شاقاً. إذا حاولت مقارنة كل بكسل بكل بكسل آخر في وقت واحد (Global Attention)، فسيصاب الكمبيوتر بالإرهاق، كأنك تحاول الاستماع إلى 10,000 شخص يتحدثون في وقت واحد.
الحل: "الانتباه عبر النوافذ" (Windowed Attention)
يقوم النموذج بتقسيم الصورة إلى نوافذ صغيرة (مثل النظر من خلال إطار مربع صغير).
- الخطوة 1: ينظر إلى نافذة صغيرة من البكسلات ويكتشف كيف ترتبط ببعضها البعض.
- الخطوة 2: يأخذ "ملخص" تلك النافذة وينتقل إلى النافذة التالية.
- الخطوة 3: يدمج ملخصات هذه النوافذ لفهم الصورة بأكملها.
- التشبيه: بدلاً من محاولة فهم الحشد بأكمله في حفلة موسيقية دفعة واحدة، أنت تستمع إلى مجموعات صغيرة من الأصدقاء وهم يتحدثون، ثم تستمع إلى المجموعة التالية، وأخيراً تجمع بين هذه المجموعات لتفهم ما يقوله الحشد بأكمله. يزعم المؤلفون أن هذا "تقريب ذكي" يعمل بشكل جيد تقريباً مثل الاستماع إلى الجميع في وقت واحد، ولكنه أسرع بكثير.
4. الهدف الكبير: توحيد الكلمات والصور
حالياً، تعامل نماذج الذكاء الاصطناعي النصوص والصور كشيئين مختلفين. فهي تقرأ النصوص بعقل واحد، وتنظر إلى الصور باستخدام "مترجم" منفصل (مشفر ViT).
النموذج الجديد:
يعامل هذا النموذج البكسلات تماماً كما يعامل الكلمات.
- التشبيه: تخيل لغة تكون فيها كلمة "تفاحة" هي كلمة، ودرجة معينة من اللون الأحمر هي أيضاً كلمة. يمكن للذكاء الاصطناعي قراءة جملة مثل "التفاحة [بكسل أحمر] موجودة على [بكسل أخضر]" بنفس سهولة قراءته لجملة "التفاحة على الطاولة".
- الفائدة: بما أنه يعامل البكسلات كالكلمات، يمكنه التعلم من البيانات غير الخاضعة للإشراف (unsupervised). وهذا يعني أنه يمكنه التعلم بمجرد النظر إلى ملايين الصور الخام على الإنترنت دون الحاجة إلى بشر يكتبون تسميات مثل "هذه قطة". إنه يشبه طفلاً يتعلم الرؤية بمجرد النظر إلى العالم، بدلاً من أن يتم تعليمه باستخدام البطاقات التعليمية.
5. ماذا فعلوا بالفعل؟
قام المؤلفون ببناء نسخة صغيرة من هذا النموذج (120 مليون معلمة/parameter) ودربوه فقط على الصور (دون دمج النصوص بعد).
- النتيجة: تعلم النموذج بنجاح. انخفضت قيمة "الخسارة" (loss) (وهي مقياس لمدى ارتباك الذكاء الاصطناعي)، مما يعني أنه بدأ يفهم أنماط البكسلات.
- الادعاء: يعتقدون أنه إذا منحوا هذا النموذج المزيد من القدرة الحسابية والبيانات، فسيصبح أفضل، متبعاً نفس "قانون القياس" (scaling law) الذي جعل نماذج الذكاء الاصطناعي القائمة على النصوص (مثل GPT-3) ناجحة للغاية.
ملخص
تقترح الورقة البحثية طريقة جديدة لرؤية الكمبيوتر:
- التوقف عن تلخيص الصور؛ وإعطاء كل بكسل هويته الفريدة.
- تبسيط الألوان (طي الألوان) حتى لا يصاب الكمبيوتر بالإرهاق.
- النظر عبر النوافذ بدلاً من النظر إلى الكل دفعة واحدة لتوفير الطاقة.
- معاملة البكسلات كالكلمات، مما يسمح للذكاء الاصطناعي بالتعلم من الصور الخام دون الحاجة إلى معلمين بشريين.
يعتقد المؤلفون أن هذا يمثل أساساً أفضل لمستقبل رؤية الذكاء الاصطناعي مقارنة بالطرق الحالية، رغم اعترافهم بأنهم بحاجة إلى قدرة حاسوبية أكبر لإثبات ذلك على نطاق واسع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.