When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation
تُظهر هذه الدراسة التجريبية لـ 68 خلية تجريبية عبر عشرة نماذج لغوية كبيرة أن الاضطرابات الحاملة للمعنى تعطل استدلال الوكيل وإجاباته النهائية بشكل أكبر بكثير من الضجيج القائم على العرض ذي الشدة المماثلة، وهو اكتشاف تم التحقق من صحته في نموذج محجوز ومُعزى إلى آلية "التباعد الخفي" حيث يؤدي الضجيج الدلالي إلى إحداث تباعد في خطوات الاستدلال الوسيطة بدلاً من الإجراءات الأولية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً ذكياً جداً ومتفوقاً (عميل ذكاء اصطناعي) يحل مسائل رياضية ومنطقية معقدة من خلال التحدث إلى نفسه بصوت عالٍ. هذا الطالب يدون كل خطوة من خطوات تفكيره قبل إعطاء الإجابة النهائية. وهذا ما يسمى بـ "سلسلة الأفكار" (Chain of Thought).
أراد الباحثون في هذه الورقة البحثية معرفة: هل يهم كيف تطرح السؤال على هذا الطالب؟
تحديداً، اختبروا نوعين من "الضجيج" أو التغييرات في السؤال:
- تغيير "المعنى": إعادة صياغة السؤال باستخدام مرادفات أو تغيير أسلوب الصياغة (على سبيل المثال، تغيير "كم عدد التفاح؟" إلى "ما هو العدد الإجمالي للفاكهة؟"). المعنى هو نفسه، لكن الكلمات مختلفة.
- تغيير "العرض": بعثرة ترتيب الكلمات، أو تغيير الخط، أو إضافة جمل مشتتة عشوائية، أو العبث بالمسافات. المعنى هو نفسه، لكن "الشكل" مختلف.
الاكتشاف الكبير: "الفساد الصامت"
وجد الباحثون فجوة مفاجئة. فعندما قاموا بتغيير الكلمات (تغيير المعنى)، كان الطالب أكثر عرضة لإعطاء إجابة خاطئة في النهاية، رغم أن السؤال كان يعني الشيء نفسه. أما عندما قاموا فقط بتغيير التنسيق (تغيير العرض)، فقد كان الطالب أكثر قدرة على إعطاء الإجابة الصحيحة.
يبدو الأمر كما لو أن الطالب حساس جداً لما تقوله، وليس لكيفية قولك له.
كيف اختبروا ذلك؟
لم يعتمدوا على التخمين؛ بل أجروا تجربة ضخمة:
- الفصل الدراسي: استخدموا 10 "طلاب" مختلفين (نماذج ذكاء اصطناعي) من 7 عائلات مختلفة (مثل Llama و Qwen و Mistral وغيرها).
- الواجب المنزلي: أعطوهم 3 أنواع مختلفة من الاختبارات (رياضيات، منطق، وفهم المقروء).
- الحجم: أخذوا 1,530 سؤالاً أصلياً وابتكروا حوالي 11,000 نسخة متغيرة منها.
- اختبار الضغط: تأكدوا من أن تغييرات "المعنى" وتغييرات "العرض" متساويتان في الصعوبة (لكي يتمكنوا من المقارنة بشكل عادل).
النتيجة: في المتوسط، تسببت تغييرات "المعنى" في فشل الذكاء الاصطناعي بنسبة 20% أكثر من تغييرات "العرض". حدث هذا في 64 حالة من أصل 68 سيناريو اختبار مختلف.
لغز "الانحراف الخفي"
الجزء الأكثر إثارة للاهتمام هو أن الباحثين نظروا في "ملاحظات" الطالب خطوة بخوة (الأثر/Trace) لمعرفة متى حدث الخطأ.
توقعوا أنه إذا تغير معنى السؤال، فسوف يرتبك الطالب ويبدأ في كتابة كلام غير مفهوم فوراً.
- ما وجدوه بدلاً من ذلك: بدأ الطالب بشكل صحيح! كانت الخطوة الأولى من تفكيره متطابقة لكل من نوعي التغيير.
- التحول المفاجئ: بدءاً من الخطوة الثانية، بدأت أفكاره الداخلية في الانحراف. تسببت تغييرات "المعنى" فيما يسمى بـ "الفساد الصامت". استمر الطالب في الكتابة، لكن منطقه الداخلي أصبح مشوشاً ببطء، مما أدى إلى إجابة خاطئة في النهاية.
- الاستعارة: تخيل سيارتين تسيران في نفس الطريق.
- ضجيج العرض: لافتات الطريق مقلوبة أو الطلاء متقشر. يلاحظ السائق ذلك فوراً، فيتوقف ويصحح مساره.
- ضجيج المعنى: لافتات الطريق تبدو مثالية، لكن الخريطة داخل رأس السائق بها بقعة صغيرة وغير مرئية. يبدأ السائق القيادة بشكل جيد، ولكن بحلول المنعطف الثاني، يبدأ في السير في الاتجاه الخاطئ بشكل طفيف، وبحلول النهاية، يكون قد ضل طريقه. لم يدرك أبداً أنه خرج عن المسار حتى فات الأوان.
ما لم يجدوه (التراجعات)
العلم يدور حول الأمانة، وقد اعترف المؤلفون بأنهم كانوا مخطئين في أمرين ظنوا أنهما معلومتان:
- ظنوا أن تغييرات "المعنى" ستجعل الطالب يرتبك بشكل أسرع (عند الخطوة 1). لكنهم كانوا مخطئين؛ فقد بدأ الارتباك عند الخطوة 2.
- ظنوا أن الطالب سيحاول "إصلاح" أخطائه بشكل أقل مع تغييرات "المعنى". لكنهم كانوا مخطئين؛ فمعدل الإصلاح كان هو نفسه.
كما وجدوا أيضاً أن الفجوة بين "المعنى مقابل العرض" ليست متساوية لكل ذكاء اصطناعي. فإذا قمت باستبدال الأداة المستخدمة لتوليد الأسئلة، يتغير ترتيب أي النماذج هي "الأكثر حساسية". لذا، لا يمكنك القول إن "نموذج الذكاء الاصطناعي X دائماً أسوأ بنسبة 20% من النموذج Y" دون معرفة كيفية إعداد الاختبار بالضبط.
الخلاصة
هذه الورقة هي دراسة قياس. وهي تثبت أن وكلاء الذكاء الاصطناعي هشّون بشكل مفاجئ عندما تعيد صياغة سؤال ما، حتى لو ظل المعنى ثابتاً. هم لا ينكسرون فوراً؛ بل ينكسرون ببطء وصمت، بدءاً من الخطوة الثانية من عملية تفكيرهم.
لقد نشر المؤلفون جميع بياناتهم وأدواتهم لكي يتمكن الباحثون الآخرون من مراجعة عملهم، لكنهم يحذرون من أن هذا أداة تشخيصية للباحثين، وليس "مفتاحاً سحرياً" لإصلاح الذكاء الاصطناعي في العالم الحقيقي بعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.