Visual Instruction Pretraining for Domain-Specific Foundation Models
تقدم هذه الورقة البحثية التدريب المسبق للتعليمات البصرية (ViTP)، وهو نموذج جديد يستفيد من الاستدلال عالي المستوى لتعزيز السمات الإدراكية منخفضة المستوى من خلال التدريب المسبق لنموذج "ترانسفورمر الرؤية" (Vision Transformer) ضمن نموذج رؤية ولغة بشكل كامل من الطرف إلى الطرف، محققاً أداءً هو الأفضل في فئته عبر مختلف معايير الاستشعار عن بعد والتصوير الطبي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم طفلاً كيف يتعرف على الأشياء في غرفة فوضوية.
الطريقة القديمة (من الأسفل إلى الأعلى - Bottom-Up):
تقليدياً، تتعلم نماذج الرؤية الحاسوبية مثل روبوت ينظر فقط إلى الأرض. يرى شكلاً أحمر، ثم شكلاً أزرق، ثم شكلاً أخضر. يقوم بتجميع هذه القطع الصغيرة من المعلومات ببطء، آملاً أن يدرك في النهاية: "أوه، هذا الشكل الأحمر هو شاحنة إطفاء". إنها عملية بطيئة من الأسفل إلى الأعلى: رؤية التفاصيل تخمين المعنى.
الطريقة الجديدة (من الأعلى إلى الأسفل - Top-Down):
يقترح هذا البحث، ViTP، أن الرؤية البشرية تعمل بشكل مختلف. عندما تنظر إلى تلك الغرفة الفوضوية، لا يكتفي دماغك بمجرد التحديق في الأشكال. بل يستخدم "معرفتك" لتوجيه عينيك. إذا سألك شخص ما: "أين شاحنة الإطفاء؟"، فإن دماغك يعرف فوراً كيف تبدو شاحنة الإطفاء، لذا يتجاهل السيارة اللعبة الحمراء ويركز على الجسم الأحمر الكبير ذي العجلات. إنها عملية من الأعلى إلى الأسفل: فهم الهدف توجيه العينين.
الفكرة الكبرى: "التعليم عبر الأسئلة"
أدرك المؤلفون أنه بينما يتفوق الذكاء الاصطناعي في أسلوب "الروبوت"، فإنه سيء جداً في أسلوب "البشر" حيث يساعد الفهمُ الإدراكَ.
لقد ابتكروا طريقة تدريب جديدة تسمى التدريب المسبق للتعليمات البصرية (ViTP). فكر في الأمر كالتالي:
بدلاً من مجرد عرض صورة على الذكاء الاصطناعي وقول: "هذه صورة"، يعرضون له صورة ويسألونه سؤالاً محدداً، مثل: "جد الطائرة الحمراء والسيارة المجاورة لأكبر طائرة."
يتعين على الذكاء الاصطناعي النظر إلى الصورة، وفهم السؤال، ثم الإشارة إلى الأماكن الصحيحة. لكي يحصل على الإجابة الصحيحة، يُجبرت "عيون" الذكاء الاصطناعي (المحول البصري - Vision Transformer) على تعلم التفاصيل الدقيقة التي تهم هذا السؤال تحديداً. إنه يشبه معلماً يوجه انتباه الطالب: "انظر هنا، وليس هناك."
السر الخفي: "لعبة عصب العين" (The Blindfold Game)
يقدم البحث خدعة ذكية تسمى تعلم المتانة البصرية (VRL).
تخيل أنك تحاول وصف لوحة لصديق عبر اتصال هاتفي سيء حيث تنقطع الإشارة بشكل متكرر. يمكنك فقط إرسال 25% من بكسلات الصورة.
- التحدي: عليك وصف المشهد بأكم له باستخدام تلك البكسلات المتناثرة القليلة فقط.
- النتيجة: أنت مجبر على جعل كل بكسل ترسله ذا قيمة قصوى. يجب عليك حشد أكبر قدر ممكن من المعنى في كل قطعة صغيرة من البيانات.
في هذا البحث، يقومون بـ "إسقاط" 75% من بيانات الصورة عشوائياً قبل أن يحاول الذكاء الاصطناعي الإجابة على السؤال. هذا يجبر الذكاء الاصطناعي على أن يصبح خبيراً في الضغط والسياق. إنه يتعلم بناء فهم قوي ومتين جداً للصورة من معلومات قليلة جداً. وهذا ما يجعله بارعاً للغاية في التعامل مع الصور الضبابية، أو المشوشة، أو الغريبة (مثل الصور الطبية أو صور الأقمار الصناعية).
لماذا يهم هذا الأمر؟
اختبر المؤلفون هذا في عالمين صعبين للغاية:
- الاستشعار عن بُعد (صور الأقمار الصناعية): العثور على سفن صغيرة في المحيط أو عد السيارات في موقف للسيارات من الفضاء.
- التصوير الطبي (الأشعة السينية والرنين المغناطيسي): رصد ورم صغير أو عضو معين في فحص معقد للجسم.
في كلتا الحالتين، عانت طرق "الروبوت" القديمة لأن الصور غريبة، ومشوشة، ومليئة بالتفاصيل الصغيرة. لكن طريقة ViTP، التي تستخدم "الأسئلة" لتوجيه التعلم و"لعبة عصب العين" لجعلها متينة، سحقت المنافسين.
ملخص التشبيه
- الذكاء الاصطناعي القديم: محقق ينظر إلى كل ذرة غبار على الأرض، آملاً في العثور على دليل، دون معرفة الجريمة التي ارتكبت.
- ذكاء ViTP: محقق يُقال له: "جد الماس المسروق"، فيعرف فوراً ما الذي يجب أن يبحث عنه، متجاهلاً الغبار ومركزاً على الأدلة المهمة.
- عصب العين (VRL): المحقق مُجبر على حل القضية بوجود نصف الأدلة فقط، مما يدربه ليكون حاد الذهن وفعالاً للغاية.
الخلاصة
يثبت هذا البحث أنه إذا كنت تريد للذكاء الاصطناعي أن يرى العالم مثل البشر، فلا ينبغي لك فقط تغذيته بالصور. بل يجب عليك التحدث إليه. من خلال طرح الأسئلة عليه وإجباره على إيجاد الإجابات، فإنك تعلم "عينيه" رؤية العالم بفهم يشبه فهم البشر. والأفضل من ذلك؟ لقد فعلوا ذلك بشكل أسرع وأرخص من الطرق السابقة، مما يجعله خطوة هائلة للأمام في مجالات الطب واستكشاف الفضاء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.