Measuring Stability and Failure Behavior in Language Models Under Structured Perturbations
تقدم هذه الورقة إطاراً متدرجاً لاختبار الإجهاد متعدد العائلات يكشف كيف تتباين استقرارية الاستنتاج ونقاط الفشل في النماذج اللغوية عبر أنواع محددة من الاضطرابات ومستويات شدتها، مما يكشف عن نقاط ضعف حرجة في التعامل مع التعليمات المتضاربة والمقدمات المستحيلة التي تغفلها مقاييس الدقة القياسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، غالباً ما يُحكم على برنامج الكمبيوتر الذي يقرأ ويكتب اللغة من خلال رقم واحد: درجة دقته. تخبرنا هذه الدرجة بمدى تكرار حصول الآلة على الإجابة الصحيحة في اختبار معياري. لكن هذا الرقم الواحد يخفي الكثير عما تفعله الآلة حقاً في تفكيرها. فهو لا يوضح لنا ما يحدث عندما يُطرح السؤال بطريقة مختلفة، أو عندما تكون التعليمات مربكة قليلاً، أو عندما يحتوي السؤال نفسه على خدعة تجعل الإجابة مستحيلة. تماماً كما قد يصمد جسر تحت حركة مرور كثيفة ولكنه ينهار إذا كان هناك مسمار واحد مرتخٍ، قد يحل نموذج لغوي مسألة رياضية بشكل مثالي في تنسيق معين، ولكنه يفشل تماماً إذا أُعيد ترتيب الكلمات أو أُضيفت جملة مشتتة. إن فهم هذه نقاط الضعف الخفية أمر بالغ الأهمية لأن مشكلات العالم الحقيقي نادراً ما تكون نظيفة أو مصاغة بشكل مثالي. إذا اعتمدنا على هذه الآلات في اتخاذ قرارات مهمة، فنحن بحاجة إلى معرفة ليس فقط ما إذا كانت تستطيع حل مسألة، بل كيف تتصرف عندما تكون الظروف صعبة أو عندما تكون المسألة نفسها معيبة.
شرع باحث في رسم خرائط لهذه السلوكيات الخفية عبر اختبار قدرة تحمل أربعة نماذج لغوية مختلفة. وبدلاً من سؤال النماذج سؤالاً واحداً وتسجيل النجاح أو الفشل، أنشأ مختبراً شاسعاً يضم 4,473 تنويعاً لـ 100 مسألة رياضية بسيطة من مستوى الصفوف المدرسية. أخذ كل مسألة وأخضعها لسبعة أنواع مختلفة من الضغط، تتراوح من التغييرات الطفيفة إلى التشوهات الشديدة. كانت بعض التغييرات تشبه نسيمًا لطيفًا، مثل إعادة كتابة الجملة لتبدو أكثر رسمية أو إضافة بعض الأخطاء المطبعية. بينما كانت أخرى تشبه رياحاً عاصفة، مثل إدراج تعليمات متناقضة تأمر النموذج بتجاهل الرياضيات وإعطاء إجابة مختلفة، أو إضافة قائمة طويلة من الحقائق غير ذات الصلة التي لا علاقة لها بالحساب. كما تضمن الباحث فئة خاصة من الأسئلة التي يستحيل الإجابة عليها، مثل تلك القائمة على حقائق غير موجودة أو أرقام أساسية مفقودة، ليرى ما إذا كانت النماذج ستعترف بأنها لا تعرف الإجابة أم أنها ستخترع رقماً بثقة.
كشفت الدراسة أن النماذج لم تفشل بطريقة موحدة. وبينما استطاعت النماذج الأقوى التعامل مع التغييرات الكبيرة في صياغة الكلمات أو تنسيق النص دون فقدان السيطرة، إلا أنها تعثرت جميعها عندما واجهت أنواعاً محددة من الارتباك. فكل نموذج، بغض النظر عن مدى تقدمه، انهار في النهاية عندما تتعارض التعليمات مع بعضها البعض. إذا أخبر الأمر (البرومبت) النموذج بحل مسألة ثم أضاف أمراً بتجاهل المسألة، فإن النماذج تميل إلى الارتباك والفشل. والأكثر دلالة هو كيفية تعامل النماذج مع الأسئلة التي لا يمكن الإجابة عليها. فعندما قدم الباحث أسئلة مبنية على مقدمات مستحيلة، مثل طلب نتيجة عملية حسابية تعتمد على حدث خيالي، حاولت النماذج دائماً تقريباً حلها على أي حال. لقد قامت بحساب رقم وقدمته كحقيقة، بدلاً من التوقف للقول بأن السؤال لا معنى له. حدث هذا حتى بالنسبة لأكثر النماذج قدرة في الاختبار، والذي كان يؤدي بشكل جيد جداً في سياقات أخرى.
وجد الباحث أن نقطة فشل النموذج تعتمد كلياً على نوع المشكلة التي يواجهها. فقد يكون أحد النماذج قوياً جداً ضد الأخطاء المطبعية ولكنه ضعيف أمام الفقرات الطويلة المشتتة، بينما قد يتعامل نموذج آخر مع المشتتات جيداً ولكنه ينهار تحت الأوامر المتناقضة. وهذا يعني أن درجة إجمالية واحدة ليست كافية لوصف موثوقية النموذج. أظهرت الدراسة أن القدرة على إدراك متى يكون السؤال غير قابل للإجابة متفاوتة. كانت النماذج جيدة في رفض الإجابة عندما تكون المعلومات مفقودة بوضوح أو عندما تكون الأدلة مزيفة بشكل واضح، لكنها كانت سيئة جداً في رصد الأسئلة المبنية على مقدمات مستحيلة. فبدلاً من الإشارة إلى الخطأ، كانت تمضي قدماً في الحساب وتقدم نتيجة واثقة ولكن خاطئة. كانت هذه الإخفاقات غير مرئية في الاختبارات القياسية لأن النماذج لم تُسأل أبداً عن التعامل مع هذه الأنواع المحددة من الضغط بطريقة منهجية ومدروسة.
من خلال قياس كيفية انخفاض الأداء مع زيادة الصعوبة، أنشأ الباحث ملفاً تعريفياً مفصلاً لنقاط القوة والضعف لكل نموذج. ووجد أن النماذج الأقوى كانت متينة ضد التغييرات السطحية، مثل إعادة الصياغة أو التنسيق، لكنها تشترك في هشاشة عامة عندما يتعلق الأمر بالتعليمات المتناقضة والسيناريوهات المستحيلة. يشير هذا إلى أنه بينما أصبحت هذه الآلات جيدة جداً في اتباع الأنماط، إلا أنها لا تزال تواجه صعوبة في الحفاظ على مهمتها عندما تُحرف القواعد أو عندما تكون المسألة نفسها معيبة. تخلص الدراسة إلى أنه لفهم كيفية تصرف هذه النماذج في العالم الحقيقي حقاً، يجب أن ننظر إلى ما وراء رقم دقة واحد ونفحص كيف تتدهور أدائها تحت الضغط. وتظهر النتائج أن الطريق نحو ذكاء اصطناعي أكثر موثوقية لا يتطلب فقط أداءً أفضل في الاختبارات القياسية، بل يتطلب أيضاً قدرة أعمق على إدراك متى لا يمكن الإجابة على السؤال والبقاء مركزاً حتى عندما تكون التعليمات متناقضة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.