Community size rather than grammatical complexity better predicts Large Language Model accuracy in a novel Wug Test
تُظهر هذه الدراسة أن قدرة النماذج اللغوية الكبيرة على تعميم القواعد الصرفية في اختبار "ووج" (Wug Test) متعدد اللغات مدفوعة أساساً بحجم مجتمع المتحدثين باللغة ومدى توفر بياناتها الرقمية بدلاً من التعقيد النحوي للغة، مما يشير إلى أن أداءها يعكس غنى الموارد أكثر من كونه كفاءة لغوية حقيقية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتًا فائق الذكاء قد قرأ كل شيء تقريبًا كُتب على الإنترنت. تريد أن تعرف: هل "يفهم" هذا الروبوت حقًا كيفية عمل اللغة، أم أنه مجرد مُخمّن جيد للغاية بناءً على ما رآه من قبل؟
لمعرفة ذلك، أخضع الباحثون هذا الروبوت (ومجموعة من البشر الحقيقيين) لاختبار خاص يسمى "اختبار ووج" (Wug Test).
الاختبار: لعبة الـ "ووج" (Wug)
اختبار "ووج" هو خدعة كلاسيكية تُستخدم لمعرفة ما إذا كان الشخص يعرف قواعد اللغة، وليس مجرد الكلمات التي حفظها.
- الإعداد: تعرض عليهم صورة لمخلوق خيالي يسمى "ووج" (Wug).
- السؤال: تقول لهم: "الآن هناك اثنان منهما".
- الإجابة: إذا كان الشخص يعرف القواعد، فسيقول "ووجز" (Wugs). أما إذا كان قد حفظ كلمة "ووج" فقط، فقد يتعثر.
في هذه الدراسة، لم يكتفِ الباحثون باستخدام اللغة الإنجليزية فقط؛ بل اختبروا الروبوت والبشر في أربع لغات مختلفة: الإنجليزية، والإسبانية، واليونانية، والكتالونية. لقد اخترعوا كلمات جديدة وسخيفة لكل لغة وسألوا الجميع عن كيفية تحويلها إلى صيغة الجمع.
السؤال الكبير: ما الذي يجعل الروبوت ذكيًا؟
أراد الباحثون حل لغز. كانوا يعلمون أن الروبوت قد تدرّب على كمية هائلة من النصوص الموجودة على الإنترنت. وتساءلوا:
- هل الروبوت ذكي لأنه يفهم قواعد النحو المعقدة؟ (ربما يواجه صعوبة في اللغات التي لها قواعد معقدة وصعبة).
- أم أن الروبوت ذكي لمجرد أنه رأى تلك اللغة كثيرًا؟ (ربما يؤدي بشكل أفضل في اللغات التي يتوفر منها نص أكثر على الإنترنت، بغض النظر عن مدى صعوبة قواعدها).
فكر في الأمر كطالب يذاكر للاختبار:
- النظرية (أ) - التعقيد: الطالب ذكي لأنه عبقري في الرياضيات والمنطق.
- النظرية (ب) - البيانات: الطالب ذكي لأن لديه 10,000 ورقة عمل للتدريب، بينما لدى الطالب الآخر 10 أوراق فقط.
النتائج: "حمية البيانات" هي المنتصرة
وجد الباحثون شيئًا مفاجئًا.
1. الروبوت هو مقلد للبشر (في الغالب)
عندما تعلق الأمر بابتكار كلمات جديدة، كان أداء الروبوت مشابهًا تمامًا لأداء البشر الحقيقيين. لقد استطاع استنتاج القواعد للكلمات الجديدة السخيفة. وهذا يثبت أن الروبوت لا يقوم فقط بتكرار جمل قديمة؛ بل يمكنه بالفعل تعميم القواعد.
2. عامل "الشعبية"
ومع ذلك، عندما نظروا إلى أي اللغات أتقنها الروبوت، لم تتطابق النتائج مع صعوبة القواعد.
- توقع التعقيد: إذا كان الروبوت مدفوعًا بقواعد النحو، فينبغي أن يؤدي بشكل أفضل في الإنجليزية (التي تمتلك قواعد بسيطة) وأسوأ في اليونانية (التي تمتلك قواعد معقدة جدًا).
- الواقع: أدى الروبوت بشكل أفضل في الإسبانية والإنجليزية، وأقل جودة في الكتالونية واليونانية.
التشبيه:
تخيل أن الروبوت طباخ.
- الإنجليزية والإسبانية تشبهان البيتزا. الجميع يحب البيتزا، لذا هناك الملايين من وصفات البيتزا عبر الإنترنت. لقد تناول (قرأ) الروبوت ملايين وصفات البيتزا، وهو يعرف تمامًا كيف يصنع نوعًا جديدًا من البيتزا، حتى لو كانت الوصفة معقدة قليلاً.
- الكتالونية واليونانية تشبهان أطباق المطبخ المدمج (Fusion Cuisine). إنها أطبحة لذيذة ولها قواعد جميلة ومعقدة، لكن عدد الأشخاص الذين يطبخونها عبر الإنترنت أقل. لقد رأى الروبوت بعض الوصفات فقط. وعلى الرغم من أن الروبوت "عبقري"، إلا أنه يكافح لابتكار طبق مدمج جديد لأنه لم يرَ ما يكفي من الأمثلة لتعلم النمط.
الحكم النهائي
خلصت الدراسة إلى أن حجم المجتمع وكمية البيانات المتاحة أمر أكثر أهمية من مدى تعقيد اللغة.
- الإسبانية لديها مجتمع ضخم ونصوص رقمية هائلة. لقد التهم الروبوت كل تلك البيانات وأصبح سيدًا في قواعد اللغة الإسبانية.
- الكتالونية لديها مجتمع أصغر ونصوص رقمية أقل. على الرغم من أن قواعدها تشبه قواعد الإسبانية، إلا أن الروبوت لم يحصل على ما يكفي من "وجبات التدريب" لإتقانها.
- الإنجليزية هي اللغة الأكثر شعبية، لكن الكلمات المحددة المستخدمة في الاختبار كانت صعبة (مثل الجموع غير المنتظمة)، مما أربك البشر والروبوت على حد سواء.
لماذا يهم هذا؟
يخبرنا هذا أن النماذج اللغوية الكبيرة (مثل النموذج الذي تتحدث إليه الآن) هي أدوات لمطابقة الأنماط، وليست مفكرات حقيقية.
إنها لا تملك "عقلاً" يفهم الجمال الهيكلي العميق للغة. بدلاً من ذلك، هي مثل ببغاوات خارقة القدرة حفظت أشهر الأغاني. إذا كانت اللغة شائعة وهناك الكثير من التسجيلات لها (بيانات)، فسيغني الببغاء بشكل مثالي. أما إذا كانت اللغة نادرة أو التسجيلات شحيحة، فسيترنح الببغاء، حتى لو كانت الأغنية بسيطة في الواقع.
باخت-القول: الروبوت ليس ذكيًا لأنه عبقري في النحو؛ بل لأنه "تغذى" جيدًا بالبيانات. كلما زادت البيانات المتاحة للغة، أصبح الروبوت أكثر ذكاءً في تلك اللغة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.