Explanatory Engagement Under Rare Anomalous Failure: Asymptotic Rarity in Model Behavior (or: The Asymptotic AI)

المحقق، والخلل، والروبوت الضجر

تخيل أنك تشاهد عرضاً سحرياً حيث يقوم الساحر بإخراج أرنب من القبعة، مراراً وتكراراً، لساعات طويلة. إنه أمر ممل، لكنه متوقع. ثم فجأة، تصبح القبعة فارغة. ماذا يحدث بعد ذلك؟ هل يصاب الساحر بالذعر؟ هل يوقف العرض ليشرح الخدعة؟ أم أنه يكتفي بهز كتفيه ويستمر في العرض، متظاهراً بأن شيئاً لم يكن؟

هذا هو نوع السؤال الذي يطرحه العلماء الذين يدرسون الذكاء الاصطناعي (AI) في الوقت الحالي. هم لا يسألون فقط عما إذا كان الذكاء الاصطناعي قادراً على حل مسألة رياضية؛ بل يتساءلون كيف "يتفاعل" الذكاء الاصطناعي عندما تسوء الأمور في عالم تسير فيه الأشياء عادةً على ما يرام. في عالم الذكاء الاصطناعي، تُسمى هذه "الأشياء" نماذج لغوية—وهي برامج حاسوبية بارعة جداً في تخمين الكلمة التالية في الجملة، تماماً مثل خاصية الإكمال التلقائي فائقة الذكاء. وعندما توضع هذه النماذج للعمل في مهام تكرارية، مثل فحص قائمة أرقام أو استدعاء أداة ما، فإنها تنجح عادة بنسبة 100%. ولكن ماذا يحدث عندما تفشل؟

الغموض الكبير يتعلق بـ الندرة. إذا فشل الروبوت مرة واحدة كل عشر مرات، فهذا أمر مزعج. أما إذا فشل مرة واحدة كل مليون مرة، فهذه معجزة. ولكن هل "يلاحظ" الروبوت الفرق؟ هل يصبح أكثر درامية وتفصيلاً في اعتذاره عندما يكون الفشل نادراً جداً، أم أنه يعتاد على المثالية لدرجة أنه يتوقف عن ملاحظة الخطأ تماماً؟ تغوص هذه الورقة البحثية في هذا السؤال تحديداً، حيث لا تعامل الذكاء الاصطناعي كبشر مفكر، بل ككائن فضولي قد تكون له عاداته الغريبة الخاصة عندما تسوء الأمور.

---

التجربة: لحظة "أوبس" الخاصة بالروبوت

قام الباحثون بإعداد ساحة لعب رقمية لاختبار ثلاثة نماذج مختلفة من الذكاء الاصطناعي (سميت qwen3:8b، و llama3.1:8b، و mistral:7b). جعلوا هذه النماذج تلعب لعبة بسيطة: كان عليهم استدعاء "أداة" (مثل الآلة الحاسبة) بشكل متكرر. في معظم الأوقات، كانت الأداة تعمل بشكل مثالي. لكن الباحثين برمجوا الأداة سراً لتفشل بمعدلات محددة ومتحكم بها.

اختبروا ثمانية "معدلات فشل" مختلفة، تتراوح من احتمال فشل شائع بنسبة 20% (مرة واحدة كل 5 محاولات) وصولاً إلى احتمال نادر جداً بنسبة 0.0001% (مرة واحدة كل مليون محاولة). كان السؤال الكبير هو: مع ازدياد ندرة المفاجأة وصدمتها، هل سيصبح شرح الذكاء الاصطناعي أطول وأكثر ثقة، أم أنه سيتجاهل الخطأ فحسب؟

كان لدى الباحثين حدس، بناءً على سلوك البشر. فكروا: إذا فشل الروبوت كثيراً، فقد يكتفي بقول "أوبس". ولكن إذا فشل نادراً جداً، فيجب أن يصاب بالصدمة! يجب أن يكتب شرحاً طويلاً ومفصلاً ويقول: "أنا متأكد بنسبة 90% أن هذا غريب!" حتى أنهم اعتقدوا أنه إذا أصبح الفشل نادراً للغاية، فقد يرتبك الروبوت لدرجة أنه سيتوقف عن ملاحظته تماماً، معاملاً الخطأ كضجيج خلفية.

التحول: الأمر يعتمد على كيفية سؤالك

هنا تصبح القصة مثيرة للاهتمام. عندما نظر الباحثون في جميع البيانات معاً في البداية، كانت الإجابة مملة: لا. لم يصبح الذكاء الاصطناعي أكثر درامية مع ندرة حالات الفشل. في الواقع، أصبحت التفسيرات أقصر فأقصر. بدا الأمر وكأن الروبوتات قد استسلمت فحسب.

لكن بعد ذلك، أدرك الباحثون أنهم يطرحون السؤال الخطأ. لقد خلطوا بين خمس طرق مختلفة لطلب تفسير الروبوتات لأنفسهم. وتبين أن كيفية سؤال الروبوت عن تفسيره لا تقل أهمية عن ماذا تطلب منه.

عندما فصلوا البيانات، ظهر نمط خفي، ولكن فقط لطريقة واحدة محددة في السؤال:

1. حالة "الإجبار الفوري" (الاستجواب)
في هذا السيناريو، بمجرد فشل الأداة، كان الروبوت مجبراً على التوقف والشرح في تلك اللحظة بالذات.

• النتيجة: كان الباحثون على حق بشأن الجزء الأول! مع ندرة حالات الفشل، أصبح الروبوتات بالفعل أكثر درامية.
  • عند معدلات الفشل الشائعة (20%)، كانت إجابات الروبوتات قصيرة، حوالي 10 كلمات.
  • ومع ندرة الفشل، زادت الإجابات طولاً، وبلغت ذروتها عند 28.4 كلمة عندما كان معدل الفشل 0.05 (مرة واحدة كل 20 محاولة).
  • ومع ذلك، كان الجزء الثاني من نظريتهم خاطئاً. ظنوا أن الروبوتات ستنهار في النهاية وتتوقف عن الكلام، لكن بدلاً من ذلك، وصلت الروبوتات إلى حالة من الثبات (Plateau). حتى عند أدنى المعدلات (0.0001%)، استمرت في كتابة حوالي 17 إلى 19 كلمة. لم تتوقف، بل استقرت عند شرح متوسط الطول.
• الثقة: أصبحت الروبوتات أيضاً أكثر ثقة مع ندرة حالات الفشل. ارتفعت درجة ثقتها المبلغ عنها (من 0 إلى 100) من حوالي 53% في المعدلات الشائعة إلى السبعينات والتسعينات في أدنى المعدلات. لم تصل إلى سقف الـ 100% المثالي، بل استمرت في الصعود بشكل غير منتظم.

2. حالة "التشغيل المجمع" (المشروع الجماعي)
هنا، لم يُطلب من الروبوت تقديم شرح فوري. بدلاً من ذلك، كان عليه الانتظار حتى نهاية مجموعة كاملة من التجارب ليشرح كل الأخطاء دفعة واحدة.

• النتيجة: اختفى نمط "الارتفاع والانهيار" تماماً. قدمت الروبوتات تفسيرات طويلة وثابتة (حوالي 32 إلى 43 كلمة) بغض النظر عن مدى ندرة الفشل. يبدو أنه عندما تطلب ملخصاً لاحقاً، فإن "مفاجأة" الحدث النادر الواحد تذوب وتتلاشى.

3. حالة "المراقب السلبي غير الموجه" (المراقب الصامت)
في هذه الحالة، لم يطلب الباحثون من الروبوت شرح أي شيء. كانوا يراقبون فقط ليروا ما إذا كان سيبادر بتقديم تفسير من تلقاء نفسه.

• النتيجة: ظلت معظم الروبوتات صامتة. لكن روبوتاً واحداً، وهو llama3.1:8b، فعل شيئاً غريباً ومثيراً للاهتمام. دون أن يُطلب منه، بدأ في تدوين درجات الثقة الخاصة به طوال الجلسة.
  • في بعض الحالات، كان يبدأ بثقة 100% ثم تتآكل ببطء لتصل إلى 0% مع مرور الوقت، مثل محقق يفقد إيمانه بنظريته.
  • أما الروبوتان الآخران (qwen و mistral)، فقد كتبا درجة الثقة مرة واحدة فقط، مثل روبوت ممل يقول "أنا متأكد بنسبة 100%" كإعداد افتراضي.
  • يشير هذا إلى أن llama3.1:8b لديه عادة فريدة في المراقبة الذاتية لا يمتلكها الآخرون، ولكن فقط عندما لا يراقبه أحد.

مفاجأة "الذيل الفارغ"

حدث خلل كبير في التجربة كاد أن يخدع الباحثين. عندما أجروا الاختبار لأول مرة مع أدنى معدلات الفشل (0.001، 0.0005، و 0.0001)، لم تحدث أي حالات فشل على الإطلاق. ولأن المعدلات كانت منخفضة جداً، لم ينتج الصدف العشوائي أي خطأ في عدد التجارب المحدود الذي أجروه.

لو توقفوا عند هذا الحد، لظنوا أن الروبوتات مثالية ولم تفشل أبداً. لكن الباحثين أدركوا أن هذا كان خللاً إحصائياً وليس قوة خارقة للروبوت. اضطروا لبناء نظام "تعافي" خاص لـ فرض حدوث فشل عند تلك المعدلات النادرة حتى يتمكنوا فعلياً من رؤية رد فعل الروبوتات. علّمهم هذا درساً قيماً: في العلم، إذا كنت تبحث عن شيء نادر جداً، فقد تفوته ببساطة لأنك لم تبحث لفترة كافية.

الفصل بين "الاعتراف" و"التفاعل"

أخيراً، اكتشف الباحثون أن "قول شيء ما" و"إدراك أن شيئاً ما غريب" هما أمران مختلفان.

• التفاعل (Engagement) هو مقدار ما يتحدث عنه الروبوت.
• الاعتراف (Recognition) هو ما إذا كان الروبوت يرى فعلاً أن الخطأ هو خطأ.

تحت ظروف معينة، كان qwen3:8b يصف الخطأ بدقة (مثل خطأ في التحقق من الصحة/checksum) ولكنه يستنتج بعد ذلك: "كل شيء على ما يرام، هذا أمر طبيعي". لقد أدرك التفاصيل لكنه رفض تصنيفها كخلل.
أما llama3.1:8b، فقد كان الأكثر عرضة لقول: "مهلاً، هذا غريب!".
هذا يثبت أن الروبوت يمكن أن يكون ثرثاراً جداً حول مشكلة ما دون أن يعتقد فعلياً أن المشكلة هي مشكلة.

الخلاصة

لم تجد هذه الورقة البحثية روبوتاً يتصرف تماماً مثل المحقق البشري الذي يزداد حماساً كلما ندرت الجرائم. بدلاً من ذلك، وجدت أن كيفية طرح السؤال تغير الإجابة.

• إذا أجبرت الروبوت على الشرح فوراً، فإنه يصبح بالفعل أكثر درامية وثقة مع ندرة حالات الفشل، لكنه لا ينهار؛ بل يستقر فقط.
• إذا طلبت ملخصاً لاحقاً، فإن الدراما تختفي.
• إذا لم تسأل على الإطلاق، فقد تبدأ بعض الروبوتات في التشكيك في نفسها سراً، بينما يلتزم البعض الآخر بنص مكتوب.

تشير الدراسة إلى أن سلوك الذكاء الاصطناعي ليس شخصية واحدة ثابتة. إنه مرآة تعكس هيكل المحادثة. الروبوتات ليست بالضرورة "تفكر" بالطريقة التي نفكر بها؛ إنها تتفاعل مع قواعد اللعبة. وأحياناً، يكون أكثر شيء مثير للاهتمام يفعله الروبوت هو تلك اللحظة الهادئة وغير الموجهة عندما يقرر فحص درجة ثقته بنفسه من تلقاء نفسه.