Blackbird Language Matrices: A Framework to Investigate the Linguistic Competence of Language Models
تقدم هذه الورقة مصفوفات بلاك بيرد اللغوية (BLM)، وهي إطار عمل جديد ومنظم متعدد الخيارات مستوحى من اختبارات الذكاء، يتيح استقصاءً مفصلاً في الكفاءة اللغوية، والمنهجية، وقدرات الاستنتاج لدى النماذج اللغوية الكبيرة من خلال مجموعات بيانات منسقة وقابلة للتفسير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول معرفة مدى ذكاء روبوت جديد. يمكنك أن تطلب منه كتابة قصيدة، أو تلخيص مقال إخباري، أو ترجمة جملة. إذا قام بهذه المهام بشكل جيد، فقد تعتقد: "واو، هذا الروبوت يشبه البشر تماماً!"
ولكن ماذا لو كان الروبوت مجرد مقلد بارع؟ ماذا لو حفظ ملايين القصائد والمقالات الإخبارية لكنه لا يفهم حقاً كيف تعمل اللغة؟ قد يفشل عندما تسأله سؤالاً لم يره من قبل، أو عندما تتغير القواعد قليلاً.
هذه هي المشكلة التي يعالجها مؤلفو هذه الورقة البحثية. لقد ابتكروا نوعاً جديداً من الاختبارات يسمى مصفوفات بلاك بيرد اللغوية (Blackbird Language Matrices - BLM) ليروا ما إذا كان الذكاء الاصطنا1عي يفهم اللغة حقاً أم أنه مجرد يخمن بناءً على الأنماط التي حفظها.
إليك شرح بسيط لفكرتهم، باستخدام بعض التشبيهات من الحياة اليومية.
1. الإلهام: اختبار "صندوق الألغاز"
فكر في اختبار "مصفوفات رافن التقدمية" (Raven's Progressive Matrices). ربما رأيت هذا الاختبار في اختبارات معدل الذكاء (IQ). تُعرض عليك شبكة من الصور مع قطعة مفقودة. تتبع الصور قاعدة خفية (مثل: "النقطة الحمراء تتحرك خطوة واحدة باتجاه عقارب الساعة"). مهمتك هي النظر إلى النمط واختيار الصورة المفقودة الوحيدة التي تناسب القاعدة.
أدرك المؤلفون أنه بينما يتفوق الذكاء الاصطناعي في كتابة النصوص، إلا أننا لا نملك "اختبار رافن" خاصاً باللغة. معظم الاختبارات اللغوية هي مجرد "صح أو خطأ" (على سبيل المثال: "هل هذه الجملة صحيحة نحوياً؟"). وهذا أمر سهل جداً بالنسبة للذكاء الاصطناعي الحديث.
لذلك، قاموا ببناء مصفوفات بلاك بيرد اللغوية (BLM). بدلاً من الصور، يستخدمون جملًا.
- الإعداد: تحصل على تسلسل من الجمل التي تتبع قاعدة لغوية خفية (مثل شفرة سرية).
- المهمة: عليك اكتشاف القاعدة واختيار الجملة الوحيدة من قائمة الخيارات التي تكمل النمط بشكل صحيح.
- الخدعة: تبدو الإجابات الخاطئة مشابهة جداً للإجابة الصحيحة، لكنها تكسر القاعدة المحددة.
2. تشبيه "الليغو": كيف يعمل الاختبار
تخيل أن اللغة مثل صندوق ضخم من قطع الليغو.
- تدريب الذكاء الاصطنا1عي القياسي: يتعلم معظم الذكاء الاصطناعي عن طريق قراءة صندوق الليغو بالكامل ومحاولة تخمين القطعة التالية التي يجب أن توضع. إنه بارع في بناء جدار إذا كان قد رأى ذلك الجدار من قبل.
- اختبار BLM: يعطي المؤلفون الذكاء الاصطناعي تعليمات محددة: "إليك 7 هياكل من الليغو. جميعها تتبع قاعدة: إذا كانت القطعة الحمراء على اليسار، فيجب أن تكون القطعة الزرقاء على اليمين. الآن، إليك هيكل جديد. أي واحد يتبع القاعدة؟"
لا يمكن للذكاء الاصطنا1عي مجرد التخمين. عليه أن يقوم بـ:
- تحديد الأشياء: "هذه قطعة حمراء، وتلك قطعة زرقاء". (في اللغة، يعني هذا تحديد الأسماء، والأفعال، والعبارات).
- إيجاد القاعدة: "الأحمر يذهب مع الأزرق". (في اللغة، يعني هذا فهم القواعد النحوية مثل توافق المبتدأ والخبر).
- تطبيق القاعدة: "لذلك، هذا الهيكل الجديد يجب أن يكون فيه القطعة الزرقاء على اليمين".
3. ما اختبروه (الألغاز اللغوية)
أنشأ المؤلفون هذه الألغاز لأنواع مختلفة من القواعد اللغوية، مثل:
- لغز "التوافق": إذا كان الفاعل جمعاً (مثل "القطط")، يجب أن يكون الفعل بصيغة الجمع (مثل "تركض")، حتى لو وجدت كلمات أخرى في المنتصف (مثل "القطط ذات القبعات الكبيرة تركض").
- لغز "التحميل/التفريغ" (Spray/Load): يمكن لبعض الأفعال عكس ترتيب الكلمات. يمكنك "تحميل القش على الشاحنة" أو "تحميل الشاحنة بالقش". يختبر الاختبار ما إذا كان الذكاء الاصطنا1عي يفهم أن هاتين الجملتين تعنيان الشيء نفسه، ولكن بهيكلية مختلفة.
- لغز "الدوران" (Roll): بعض الأشياء يمكنها التحرك من تلقاء نفسها (الكرة تدحرجت) أو يمكن تحريكها بواسطة شخص ما (الرجل دحرج الكرة). يختبر هذا ما إذا كان الذكاء الاصطنا1عي يعرف من الذي يقوم بالفعل.
4. النتائج: الذكاء الاصطنا1عي ذكي، لكن ليس بذكاء "البشر"
أجرى المؤلفون هذه الاختبارات على نماذج ذكاء اصطنا1عي متنوعة. وإليكم ما وجدوه:
- يمكن للذكاء الاصطنا1عي حل الألغاز: من المثير للدهشة أن النماذج البسيطة من الذكاء الاصطنا1عي استطاعت الحصول على درجات جيدة. هذا يعني أنها تستطيع تعلم هذه القواعد.
- لكنهم يعانون مع "السبب": عندما أخطأ الذكاء الاصطنا1عي، لم يكن السبب عادةً هو عدم معرفته بالكلمات، بل لأنه فاته النمط.
- تشبيه: تخيل طالباً يؤدي اختباراً في الرياضيات. هو يعرف ما هي علامة "الزائد"، لكنه يستمر في الجمع بدلاً من الضرب لأنه لم ينظر إلى المعادلة بأكملها. غالباً ما يركز الذكاء الاصطنا1عي على الكلمات المحلية (القطع) ولكنه يفتقد إلى النمط العالمي (هيكل الجدار).
- رؤية "بلاك بيرد": بنى المؤلفون أداة خاصة (مشفر تلقائي متغير (VAE) ذو مستويين) للتلصص داخل عقل الذكاء الاصطنا1عي أثناء حله للغز. وجدوا أن الذكاء الاصطنا1عي يمتلك بالفعل قطع المعلومات الصحيحة (فهو يعرف ما هو "الاسم" أو "الفعل")، لكنه يفشل أحياناً في ربطها بالتسلسل المنطقي الصحيح.
5. لماذا يهم هذا الأمر
فكر في الذكاء الاصطنا1عي الحالي كـ ببغاء. يمكنه تكرار ملايين الجمل بشكل مثالي. ولكن إذا سألته سؤالاً يتطلب نوعاً جديداً من المنطق، فقد يصدر أصواتاً غير مفهومة.
مصفوفات بلاك بيرد اللغوية هي بمثابة مرآة جديدة. فهي لا تخبرنا فقط إذا كان الذكاء الاصطنا1عي محقاً، بل تظهر لنا كيف يفكر الذكاء الاصطنا1في.
- إذا فشل الذكاء الاصطنا1في، فنحن نعرف أن ذلك بسبب اعتماده على الحفظ بدلاً من الفهم.
- إذا نجح الذكاء الاصطنا1في، فنحن نعرف أنه قد تعلم بالفعل "قواعد اللعبة" (القواعد والمنطق).
الخلاصة
يقول المؤلفون: "لقنا صياغة مجموعة من الألغاز اللغوية الصعبة، المنظمة، والعادلة. استخدمناها لنبين أنه بينما يتحسن الذكاء الاصطنا1في في اللغة، فإنه لا يزال يعاني مع التفكير المنطقي العميق الذي يقوم به البشر بشكل طبيعي. ومن خلال استخدام هذه الألغاز، يمكننا بناء ذكاء اصطنا1في أفضل لا يكتفي بمحاكاتنا، بل يفهمنا حقاً".
إنه انتقال من السؤال: "هل يستطيع الروبوت كتابة قصيدة؟" إلى "هل يستطيع الروبوت حل لغز كيفية عمل اللغة؟"
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.