A Critical Period for Compositional Visual Grounding? Controlled Block Order and Causal Attention Interventions in a Small Vision–Language Transformer
تتقصى هذه الدراسة ما إذا كان توقيت التعرض للغة العلاقات يؤثر على التأسيس البصري التركيبي في نموذج محول رؤية-لغة صغير من خلال التلاعب بترتيب الكتل وإجراء تدخلات سببية، لتجد في النهاية عدم وجود دليل على أن التعرض المبكر يوفر ميزة في الأداء مقارنة بالتعرض المتأخر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يفهم العالم. تعرض عليه صوراً لكرة حمراء وصندوق أزرق، وتعلمه الكلمات "أحمر"، "أزرق"، "كرة"، و"صندوق". ولكن بعد ذلك، تعرض عليه صورة جديدة مخادعة: صندوق أحمر وكرة زرقاء. على الرغم من أن الروبوت يعرف جميع الكلمات والأشياء الفردية، إلا أنه قد يرتبك بشأن أي لون ينتمي إلى أي شكل. هذه معضلة شهيرة في الذكاء الاصطناعي تسمى التعميم التركيبي (compositional generalization). وهي القدرة على أخذ قطع معروفة وتركيبها معاً بطرق جديدة تماماً، تماماً كما يمكن للإنسان بناء جملة جديدة باستخدام الكلمات التي يعرفها بالفعل.
لطالما تساءل العلماء عما إذا كان توقيت التعلم أمراً مهماً. ففي الأطفال البشر، توجد "فترات حرجة" — وهي نوافذ زمنية خاصة يكون فيها الدماغ مستعداً للغاية لتعلم مهارات معينة، مثل اللغة أو الرؤية. وإذا فاتتك هذه النافذة، يصبح اللحاق بالركب لاحقاً أصعب بك much. وقد تساءل الباحثون: هل تمتلك نماذج الذكاء الاصطناعي نفس هذه النوافذ؟ هل يهم إذا تعلم الروبوت عن "الصناديق الحمراء" قبل أن يتعلم عن "الكرات الزرقاء"، أو العكس؟ إذا علمنا الروبوت الروابط الصعبة والمخادعة في وقت مبكر من حياته، فهل سيصبح عبقرياً في حل الألغاز الجديدة لاحقاً؟ أم أنه لا يهم متى يتعلم، طال-ما أنه يتعلم في النهاية؟
يتعمق هذا البحث في هذا السؤال باستخدام نموذج ذكاء اصطناعي صغير ومصمم خصيصاً. حيث أقام الباحثون تجربة محكومة قاموا خلالها بتدريب روبوتين متطابقين. شاهد كلا الروبوتين نفس العدد من الصور ونفس الكلمات تماماً. الاختلاف الوحيد كان في الترتيب الذي شاهدوا به تلك الصور. إحدى المجموعتين (مجموعة "المبكرين") تعلمت عن الروابط الصعبة بين الألوان والأشكال في بداية تدريبها مباشرة. أما المجموعة الأخرى (مجموعة "المتأخرين") فقد رأت تلك الروابط الصعبة نفسها فقط بعد أن مارست بالفعل أمثلة أبسط وأقل إرباكاً.
أراد العلماء معرفة ما إذا كانت مجموعة "المبكرين" ستكون في النهاية أفضل في حل الألغاز الجديدة غير المرئية من مجموعة "المتأخرين". كما حاولوا التلصص داخل دماغ الروبوت لمعرفة ما إذا كان جزء معين من كوده البرمجي مسؤولاً عن ميزة التعلم هذه. استخدموا تقنية تسمى "الترقيع بالتنشيط" (activation patching)، وهي تشبه تبديل ترس معين من دماغ روبوت ووضعه في روبوت آخر لمعرفة ما إذا كان ذلك سيحل مشكلة ما.
إليك المنعطف المفاجئ: مجموعة "المبكرين" لم تفز. في الواقع، أظهرت النتائج عدم وجود ميزة واضحة لتعلم الروابط الصعبة مبكراً. فعندما تم اختبار الروبوتات على قدرتها على مطابقة الألوان مع الأشكال في تركيبات جديدة، كان أداء مجموعة "المبكرين" ومجموعة "المتأخرين" متماثلاً تقريباً. أظهرت البيانات فرقاً ضئيلاً جداً، لكنه كان صغيراً ومتذبذباً لدرجة أنه يمكن أن يكون مجرد حظ عشوائي. حتى أن الباحثين تحققوا مما إذا كان الروبوتات قد "نسيت" الدروس المبكرة، لكنهم وجدوا أنه بمجرد انتهاء تدريب كلتا المجموعتين مع مزيج من الأمثلة السهلة والصعبة، اختفى الفارق بينهما تماماً.
كما بحثت الدراسة داخل دماغ الروبوت للعثور على "الترس السحري" الذي قد يجعل المتعلمين الأوائل أكثر ذكاءً. لقد اختاروا طبقة معينة من نظام الانتباه لدى الروبوت وحاولوا تبديلها، لكن هذا لم ينجح أيضاً. إن تبديل الأجزاء لم يجعل الروبوت "المتأخر" يتصرف فجأة مثل الروبوت "المبكر"، كما أن إزالة الجزء لم يؤدِ إلى تعطل أداء الروبوت "المبكر" بطريقة خاصة. وهذا يشير إلى أنه لا يوجد مفتاح واحد بسيط في دماغ الروبوت يقوم بتشغيل "قوى التعلم المبكر الخارقة".
فماذا يعني هذا؟ في هذه المحاكاة المحددة والمحكومة، لم تصمد فكرة "الفترة الحرجة" لتعلم الروابط البصرية. لم يكن الروبوت بحاجة لتعلم الأشياء الصعبة أولاً لينجح. يبدو أنه بالنسبة لهذا النوع من الذكاء الاصطناعي الصغير، لا يهم متى يتعلم الروابط، طالما أنه يحصل على الممارسة في نهاية المطاف. لقد استدرك المتعلمون "المتأخرون" الأمر بشكل جيد تماماً. ويؤكد المؤلف بحذر أن هذا لا يثبت أن أدمغة البشر الحقيقية لا تمتلك فترات حرجة، كما لا يعني أن نماذج الذكاء الاصطناعي الكبيرة والمعقدة لن تمتلكها. ولكن بالنسبة لهذا الروبوت الصغير، لم يغير توقيت الدرس الدرجة النهائية. تشير التجربة إلى أنه ربما، في بعض أنظمة الذكاء الاصطناعي، يكون الدماغ أكثر مرونة مما اعتقدنا، ويمكنه تعلم ربط الألوان بالأشكال بنفس جودة تعلمها في نهاية المطاف كما لو تعلمها في البداية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.