Putting Transformer Theories to the Test
تقيم هذه الورقة سبع نظريات رسمية لقدرات المحولات عبر مطابقة تنبؤاتها مع مجموعة من المهام والنتائج التجريبية، لتجد أنه لا توجد نظرية واحدة تفسر السلوكيات الملحوظة بشكل كامل، مما يسلط الضوء على الحاجة إلى إطار عمل جديد يدمج الانتباه الناعم، والاسترجاع الديناميكي المعتمد على المحتوى، وقابلية التعلم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، أصبح نوع محدد من البرامج الحاسوبية يسمى "المحول" (transformer) هو المحرك وراء أكثر الأنظمة اللغوية تقدماً، وهي التقنية التي تعتمد عليها برامج الدردشة الآلية مثل ChatGPT. هذه البرامج لا تفكر كالبشر، لكنها بارعة بشكل ملحوظ في رصد الأنماط في النصوص، والتنبؤ بالكلمة التالية في الجملة، وحل الألغاز المعقدة. ولأنها تعمل بشكل جيد في الممارسة العملية، قضى العلماء سنوات في محاولة بناء خرائط رياضية لما يمكن لهذه البرامج فعله وما لا يمكنها فعله بالضبط. هذه الخرائط، أو النظريات، تشبه مجموعات مختلفة من المخططات الهندسية؛ فبعض المخططات تشير إلى أن هذه البرامج محدودة بمهام بسيطة، بينما تدعي أخرى أنها قادرة على التعامل مع أي شيء تقريباً. والمشكلة تكمن في أن هذه المخططات غالباً ما تتناقض مع بعضها البعض؛ فقد يقول أحدها إن مهمة معينة صعبة جداً على الآلة، بينما يصر آخر على أنها سهلة. وبدون وسيلة لاختبار هذه المخططات المتنافسة مقابل الواقع، يصعب معرفة أي منها صحيح بالفعل أو كيفية بناء آلات أفضل في المستقبل.
لقد شرع فريق من الباحثين في حسم هذا الجدل عبر معاملة هذه النظريات كفرضيات علمية يجب اختبارها في العالم الحقيقي. قاموا بجمع سبع من أبرز النظريات المستخدمة حالياً لوصف قدرات "المحول" وأخضعوها للاختبار أمام مجموعة واسعة من المهام المحددة. تراوحت هذه المهام من مسائل العد البسيطة والألغاز المنطقية إلى تتبع بنية الجمل والتنقل عبر شبكات من الروابط. لم يكتفِ الباحثون بالنظر إلى الرياضيات على الورق فحسب؛ بل قاموا ببناء نسخ صغيرة مخصصة من هذه البرامج ودربوها من الصفر ليروا ما إذا كان بإمكانها حل المشكلات. كما اختبروا نماذج لغوية ضخمة مدربة مسبقاً ومستخدمة بالفعل اليوم ليروا ما إذا كانت القواعد تتغير عندما تصبح هذه البرامج أكبر بكثير وأكثر تعقيداً.
كشفت النتائج عن حقيقة مفاجئة: لا توجد نظرية واحدة يمكنها شرح الصورة الكاملة. فعندما قارن الباحثون تنبؤات النظريات السبع بالأداء الفعلي للبرامج، وجدوا أن النظريات غالباً ما تتعارض مع الواقع ومع بعضها البعض. على سبيل المثال، تنبأت عدة نظريات بأن البرنامج سيعاني في عد كم مرة ظهر رمز معين في قائمة طويلة من النصوص، ولكن في المختبر، تعلمت البرامج هذه المهمة بسهولة، بل وتمكنت من تطبيق ما تعلمته على قوائم أطول بكثير من تلك التي تدربت عليها. وعلى العكس من ذلك، تنبأت نظريات أخرى بأن البرنامج سيكون قادراً على حل مسألة حسابية معقدة، لكن البرامج فشلت باستمرار في تعلمها، حتى مع منحها الكثير من بيانات التدريب. أظهر هذا التباين أن النظريات تفتقر إلى التفاصيل الجوهرية حول كيفية عمل هذه البرامج في الواقع.
حددت الدراسة سببين رئيسيين لفشل النظريات في مطابقة الواقع. أولاً، افترضت العديد من النظريات أن البرامج تتخذ قراراتها من خلال التركيز على قطعة واحدة من المعلومات في كل مرة، مثل كشاف ضوئي يختار كلمة واحدة. وفي الواقع، تستخدم البرامج طريقة أكثر مرونة وليونة تسمح لها بدمج المعلومات من أجزاء مختلفة من النص في آن واحد. هذه المرونة تمكنها من حل مهام قالت النظريات الجامدة إنها مستحيلة. ثانياً، افترضت بعض النظريات أن البرامج يمكنها إجراء عمليات حسابية غير محدودة في كل خطوة، مما جعلها تبدو أقوى مما هي عليه في الواقع. تنبأت هذه النظريات بأن البرامج ستكون قادرة على حل مشكلات رسوم بيانية (graph problems) معقدة، لكن التجارب أظهرت أن البرامج تعثرت، ولم تتمكن من تعلم الخطوات اللازمة. وجد الباحثون أن قدرة البرنامج على تعلم مهمة ما تعتمد على كيفية تعليمه وتنظيم ذاكرته الداخلية أكثر من اعتمادها على قوته الخام.
كانت إحدى النتائج الأكثر لفتاً للانتباه هي أن حجم البرنامج وتاريخ تدريبه يلعبان دوراً هائلاً. فالبرامج الصغيرة التي بُنيت خصيصاً للتجارب سلوكت بشكل مختلف تماماً عن النماذج الضخمة المدربة مسبقاً والمستخدمة في التطبيقات اليومية. فأحياناً تعلمت النماذج الصغيرة مهمة فشلت النماذج الكبيرة في حلها، وأحياناً أخرى نجحت النماذج الكبيرة حيث أخفقت الصغيرة. وهذا يشير إلى أن قدرات هذه الأنظمة ليست مجرد نتيجة لتصميمها، بل أيضاً للكميات الهائلة من البيانات التي تُغذى بها والأساليب المحددة المستخدمة في تدريبها. فالنظريات التي ركزت فقط على بنية البرنامج، متجاهلة البيانات وعملية التعلم، لم تستطع التنبؤ بهذه النتائج.
في الختام، خلصت الورقة البحثية إلى أنه لفهم هذه الأدوات القوية حقاً، يحتاج العلماء إلى نوع جديد من النظريات. يجب أن يأخذ هذا الإطار الجديد في الاعية الطريقة المرنة التي تدمج بها البرامج المعلومات، وحدود حساباتها المحلية، والدور الحاسم لكيفية تعلمها. كما يجب أن يشرح لماذا تتعمم بعض البرامج بشكل جيد في المواقف الجديدة بينما لا تفعل أخرى ذلك، وهو اختلاف ناتج غالباً عن الطريقة المحددة التي تُعلّم بها كيفية تذكر ترتيب الكلمات. ومن خلال إظهار أنه لا توجد خريطة واحدة حالية تغطي كامل الإقليم، قدم الباحثون مساراً واضحاً للمضي قدماً. لقد وضعوا مجموعة جديدة من المعايير وفهماً أوضح لما يحدث فعلياً داخل هذه الآلات، مما يوفر أساساً متيناً لبناء الجيل القادم من الذكاء الاصطناعي الذي يكون قوياً وقابلاً للتنبؤ في آن واحد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.