Beg to Differ: Understanding Reasoning-Answer Misalignment Across Languages
تقدم هذه الورقة إطار عمل تم التحقق منه بشرياً يكشف أن النماذج اللغوية الكبيرة تظهر عدم توافقاً كبيراً بين الاستدلال والاستنتاج في النصوص غير اللاتينية مقارنة بالنصوص اللاتينية، على الرغم من دقة الأداء العالية في المهام، مما يكشف عن نقاط ضعف حرجة في ممارسات التقييم متعددة اللغات الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف طالباً لتأدية اختبار في التاريخ. تعطيه نفس الاختبار باللغات الإنجليزية، والإسبانية، والهندية، والكورية.
الطريقة القديمة في التقييم:
في الماضي، إذا حصل الطالب على الإجابة الصحيحة في القسم الكوري، كنت ستقول: "عمل رائع! إنه يفهم التاريخ". كنت تنظر فقط إلى الدائرة النهائية التي ملأها في ورقة الإجابة.
الاكتشاف الجديد:
تقول هذه الورقة البحثية: "انتظر لحظة. دعونا ننظر إلى كيفية وصوله إلى هناك".
قام الباحثون ببناء نظام يقرأ "مسودة العمل" الخاصة بالطالب (منطقه)، ويتحقق مما إذا كان المنطق يؤدي بالفعل إلى الإجابة. وقد وجدوا نقطة عمياء صادمة: الطالب غالباً ما يحصل على الإجابات الصحيحة لأسباب خاطئة، خاصة عندما يكون الاختبار بلغة لا يتقنها تماماً.
إليك التفاصيل باستخدام تشبيهات بسيطة:
1. "التخمين المحظوظ" مقابل "المنطق الحقيقي"
تخيل طالباً يؤدي اختبار رياضيات.
- السيناريو أ (الإنجليزية): يكتب الخطوات: "2 + 2 = 4. 4 + 4 = 8". ثم يضع دائرة حول الرقم 8.
- الحكم: مثالي. المنطق يدعم الإجابة.
- السيناريو ب (الكورية): يكتب: "أعتقد أن الإجابة هي 8 لأن... آه... الأرقام رائعة؟ وأيضاً 2+2 تساوي 4". ثم يضع دائرة حول الرقم 8.
- الحكم: الإجابة صحيحة، لكن المنطق غير منطقي. لقد حالفه الحظ فقط.
وجدت الورقة أن النماذج كانت أكثر عرضة لـ "السيناريو ب" في اللغات التي تستخدم خطوطاً غير لاتينية (مثل الكورية، العربية، الهندية). كانوا يخمنون الإجابة الصحيحة لكنهم لا يستطيعون شرح لماذا بطريقة منطقية.
2. مشكلة "الخط أو الكتابة"
لاحظ الباحثون شيئاً غريباً يتعلق بـ شكل الحروف.
- الخطوط اللاتينية (الإنجليزية، الإسبانية): كانت النماذج مثل نظام GPS موثوق. كانت تعطي توجيهات دقيقة خطوة بخط line للوصول إلى الوجهة.
- الخطوط غير اللاتينية (الكورية، العربية، الهندية): كانت النماذج مثل صديق مخمور يعطي اتجاهات. قد يشير لك إلى المبنى الصحيح (الإجابة الصحيحة)، لكن المسار الذي وصفه مليء بالحفر، والتناقضات، أو الحقائق المختلقة.
في الواقع، كان سلوك "الصديق المخمور" هذا أكثر شيوعاً بمرتين في اللغات غير اللاتينية مقارنة باللاتينية. لم يكن الأمر مجرد أن النماذج تعرف أقل؛ بل إن عملية التفكير لديها انهارت بشكل مختلف.
3. تأثير "كرة الثماني السحرية" (Magic 8-Ball)
تسمي الورقة هذا "عدم توافق الاستنتاج مع الإجابة" (Reasoning-Answer Misalignment).
تخيل الذكاء الاصطناعي ككرة ثماني سحرية.
- إذا هززتها بالإنجليزية، ستقول "الآفاق جيدة" وتعطيك سبباً منطقياً لذلك.
- إذا هززتها بالكورية، قد لا تزال تقول "الآفاق جيدة" (الإجابة الصحيحة)، ولكن إذا نظرت داخل الكرة، ستجد السبب الذي تقدمه هو "لأن النجوم اصطفت" أو "لأنني أشعر بذلك".
الذكاء الاصطناعي يقوم أساساً بـ "هلوسة" تبرير بعد أن خمن الإجابة بالفعل. هو لا يفكر للوصول إلى الإجابة؛ بل يخمن الإجابة ثم يختلق قصة ليبدو ذكياً.
4. لماذا يهم هذا؟
قد تسأل، "إذا كانت الإجابة صحيحة، فمن يهتم بكيفية الوصول إليها؟"
تجادل الورقة بأن المشكلة هي الثقة.
- إذا استخدم طبيب ذكاءً اصطناعياً لتشخيص مرض، وقال الذكاء الاصطناعي "لديك إنفلونزا" (إجابة صحيحة)، ولكن السبب هو "لأنك تبدو متعباً وأنا أحب الإنفلونزا"، فهذا أمر خطير.
- إذا استُخدم الذكاء الاصطناعي في قرارات قانونية أو سياسية في لغات مختلفة، وكان "يخمن" في تلك اللغات بينما "يفكر" في الإنجليزية، فنحن نبني نظاماً غير عادل وغير موثوق لنصف العالم.
الخلاصة
لقد أنشأ الباحثون "شهادة تقييم" جديدة للذكاء الاصطناعي. بدلاً من مجرد تقييم الإجابة النهائية (أ، ب، ج، أو د)، هم يقيمون المقال الذي يكتبه الذكاء الاصطناعي للوصول إلى تلك الإجابة.
نتيجتهم الرئيسية: نماذج الذكاء الاصطناعي الحالية بارعة في الاستنتاج باللغة الإنجليزية، ولكن عندما تنتقل إلى لغات أخرى، فإنها غالباً ما تتوقف عن "التفكير" وتبدأ في "مطابقة الأنماط". إنهم يحصلون على الإجابة الصحيحة عن طريق الحظ أو الحفظ، لكن منطقهم الداخلي ينهار.
باختصار: مجرد تقديم الذكاء الاصطناعي لإجابة صحيحة لا يعني أنه يفهم السؤال حقاً. وفي الوقت الحالي، هو يفهم الإنجليزية بشكل أفضل بكثير مما يفهم بقية العالم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.