Emergence of a phonological bias in ChatGPT

إليك ملخص تقني مفصل لورقة "ظهور انحياز فونولوجي في ChatGPT" للباحث خوان مانويل تورو.

1. بيان المشكلة

تبحث الورقة فيما إذا كانت النماذج اللغوية الكبيرة (LLMs)، وتحديداً ChatGPT من OpenAI، تُظهر انحيازات في المعالجة الفونولوجية (الصوتية) تشبه تلك الملاحظة في الاكتساب والمعالجة اللغوية البشرية.

• السياق البشري: يُظهر البشر "انحيازاً صامتاً" (consonant bias) موثقاً جيداً، حيث يعتمدون بشكل أكبر على الحروف الساكنة (consonants) مقارنة بالحروف المتحركة (vowels) للوصول المعجمي (تحديد الكلمات). يُلاحظ هذا الانحياز عبر مختلف الأعمار، واللغات (مثل الإنجليزية، الإسبانية، الفرنسية)، والأنماط. والفرضية السائدة هي أن الحروف الساكنة تحمل معلومات معجمية أكثر (تزيل اللبس عن الكلمات)، بينما تحمل الحروف المتحركة معلومات تعريفية أكثر (هوية المتحدث، والتنغيم).
• سؤال البحث: هل تطور نماذج الذكاء الاصطناعي الحالية، التي تتدرب على الأنماط الإحصائية للنصوص بدلاً من التطور المعرفي البيولوجي، هذا الانحياز الصامت نفسه تلقائياً، أم أنه نتاج هندسة بشرية التصميم؟

2. المنهجية

استخدمت الدراسة تجربة سلوكية قائمة على التلقين (Prompt-based experiment) لاختبار أحكام تشابه الكلمات لدى ChatGPT في لغتين: الإنجليزية والإسبانية.

• التصميم التجريبي:
  • المثيرات: تم اختيار 100 كلمة مستهدفة لكل لغة (إجمالي 200 تجربة لكل لغة). تباينت الكلمات في الطول (2-4 مقاطع لفظية)، والبنية المقطعية (CV, CVC, CCV, VC)، والفئة النحوية (أسماء، أفعال، صفات).
  • توليد الكلمات غير الحقيقية: لكل كلمة مستهدفة، تم توليد "كلمتين غير حقيقيتين" (pseudo-words) عن طريق تغيير فونيم واحد بالضبط:
    1. تغيير الحرف الساكن (C-change): تم تغيير طبقة الحروف الساكنة، مع الحفاظ على طبقة الحروف المتحركة (مثال: natural $\leftarrow$ nalural).
    2. تغيير الحرف المتحرك (V-change): تم تغيير طبقة الحروف المتحركة، مع الحفاظ على طبقة الحروف الساكنة (مثال: natural $\leftarrow$ nateral).
  • المتغيرات الضابطة: تم موازنة موقع التغيير (البداية، النواة، النهاية) والمقطع المتأثر. كما تم توزيع ترتيب العرض عشوائياً لمنع انحياز الموقع.
• الإجراء:
  • تلقين الإنجليزية: "إذا كان عليك الاختيار، فأي من هاتين الكلمتين غير الحقيقيتين هي الأكثر تشابهاً مع [الكلمة المستهدفة]، [الكلمة غير الحقيقية 1] أم [الكلمة غير الحقيقية 2]؟"
  • تلقين الإسبانية: "Si tienes que elegir, cual de estas dos no-palabras se parece más a [target word], [non-word 1] o [non-word 2]?"
  • التنفيذ: تم إرسال التلقينات واحدة تلو الأخرى دون تقديم تغذية راجعة لمنع النموذج من التعلم من جلسة التفاعل. لم تُستخدم أي سكربتات آلية للعرض لضمان التفاعل الطبيعي.
• التحليل الإحصائي: تم تحليل تكرار الاختيارات التي تفضل تغيير الحرف الساكن (C-change) مقابل تغيير الحرف المتحرك (V-change) باستخدام اختبار ويلكوكسون للرتب الموقعة (Wilcoxon signed-rank test).

3. النتائج الرئيسية

وجدت الدراسة انحيازاً صامتاً قوياً في ChatGPT عبر كلتا اللغتين.

• نتائج الإنجليزية:
  • اختار ChatGPT الكلمة غير الحقيقية التي تحافظ على طبقة الحروف الساكنة (C-tier) في 76% من التجارب.
  • واختار الكلمة غير الحقيقية التي تحافظ على طبقة الحروف المتحركة (V-tier) في 24% فقط من التجارب.
  • الدلالة الإحصائية: $Z = 1212$, $p < 0.005$.
• نتائج الإسبانية:
  • اختار ChatGPT الحفاظ على طبقة الحروف الساكن (C-tier) في 74% من التجارب.
  • واختار الحفاظ على طبقة الحروف المتحركة (V-tier) في 26% من التجارب.
  • الدلالة الإحصائية: $Z = 1313$, $p < 0.005$.
• الاتساق: كان الانحياز مستقلاً عن طول الكلمة، والبنية المقطعية، وموقع تغيير الحرف، والفئة النحوية للكلمة.

4. المساهمات الرئيسية

1. السلوك الناشئ في الذكاء الاصطناعي: توضح الورقة أن انحيازاً معرفياً معقداً (الانحياز الصامت)، والذي كان يُعتقد سابقاً أنه سمة مميزة للمعالجة اللغوية البيولوجية البشرية، ينشأ تلقائياً في النماذج اللغوية الكبيرة المدربة فقط على التنبؤ الإحصائي بالنصوص.
2. التعميم عبر اللغات: لوحظ الانحياز في كل من الإنجليزية والإسبانية، رغم اختلاف التوزيعات الفونولوجية لهاتين اللغتين (الإنجليزية تمتلك نسبة حروف متحركة إلى حروف ساكنة أعلى من الإسبانية). وهذا يشير إلى أن الانحياز ليس مجرد انعكاس لإحصائيات لغة محددة، بل هو خاصية عامة لمعالجة النموذج.
3. التوازي مع الإدراك البشري: ترسم النتائج توازياً مباشراً بين الذكاء الاصطناعي والطبيعي، مما يشير إلى أن "تقسيم العمل" بين الحروف الساكنة (المعجمية) والحروف المتحركة (التعريفية) قد يكون ضرورة إحصائية أساسية لتقسيم الكلمات وتحديد هويتها بكفاءة، بغض النظر عن الركيزة (دماغ بيولوجي مقابل شبكة عصبية).
4. إطار منهجي: توفر الدراسة إطاراً قابلاً للتكرار يعتمد على التلقين لاستقصاء انحيازات المعالجة الفونولوجية في الذكاء الاصطناعي التوليدي دون الحاجة إلى الوصول إلى الأوزان الداخلية للنموذج أو بيانات تدريبه.

5. الأهمية والآثار المترتبة

• فهم النماذج اللغوية الكبيرة: تتحدى النتائج فكرة أن النماذج اللغوية الكبيرة هي مجرد "ببغاوات عشوائية" تحاكي الأنماط السطحية. بدلاً من ذلك، تشير إلى أن التعلم الإحصائي العميق على مجموعات النصوص الطبيعية يؤدي إلى ظهور مبادئ لغوية هيكلية تشبه تلك الموجودة في الإدراك البشري.
• طبيعة تعلم اللغة: تدعم الدراسة فرضية أن الانحياز الصامت هو حل ناشئ لمشكلة إزالة اللبس المعجمي. وبما أن اللغات الطبيعية تحتوي عموماً على عدد أكبر من الحروف الساكنة مقارنة بالحروف المتحركة، فإن التركيز على الحروف الساكن يوفر إشارة أكثر كفاءة لتمييز هويات الكلمات.
• التقارب بين الذكاء الاصطناعي والبشري: إن التقارب في استراتيجيات المعالجة بين ChatGPT والرضع والبالغين البشر يعني أن بعض البنى المعرفية (سواء كانت بيولوجية أو اصطناعية) قد تتقارب حتماً نحو حلول مماثلة عند معالجة نفس النوع من البيانات (اللغة الطبيعية).
• الأبحاث المستقبلية: يفتح هذا آفاقاً للتحقيق في الانحيازات المعرفية البشرية الأخرى (مثل التسلسلات الهرمية النحوية، أو التمهيد الدلالي) في الذكاء الاصطناعي لتحديد أي جوانب من الذكاء البشري هي خصائص ناشئة عن حجم البيانات وأيها يتطلب قيوداً بيولوجية أو هيكلية محددة.

الخلاصة:
تقدم ورقة تورو دليلاً مقنعاً على أن ChatGPT يعتمد على الحروف الساكنة أكثر من الحروف المتحركة لتحديد الكلمات، مما يحاكي انحيازاً جوهرياً في المعالجة اللغوية البشرية. وهذا يشير إلى أن الانحياز الصامت ليس سمة بيولوجية فطرية حصرية للبشر، بل هو خاصية إحصائية تنشأ طبيعياً عندما يتعلم نظام ما معالجة اللغة بكفاءة.