The Intent Gap: A Taxonomy of Real-User Failure Modes in Frontier AI Agents
تحدد هذه الورقة "فجوة نية" حرجة حيث تفشل نماذج الذكاء الاصطناعي الرائدة في تلبية احتياجات المستخدمين الحقيقية رغم الامتثال الحرفي للمطالبات، مما يكشف أن المعايسات التي صممها الباحثون حالياً تغفل هذه الإخفاقات ذات الصلة بالاستخدام الفعلي لأن المستخدمين الحقيقيين نادراً ما يعبرون لفظياً عن عدم رضاهم، وهي ظاهرة يحدد المؤلف كميتها من خلال تصنيف جديد مستمد من تنقيب مجموعات بيانات المحادثات واسعة النطاق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
سوء الفهم الكبير: عندما تصيب الذكاء الاصطناعي الكلمات وتخطئ المعنى
تخيل أنك تحاول تعليم روبوت ذكي جداً وحرفي جداً كيفية خبز كعكة. في بيئة صف دراسي، قد يعطي المعلم للروبوت بطاقة وصفة مثالية: "اخلط كوبين من الدقيق، و3 بيضات، واخبز على درجة حرارة 350". يتبع الروبوت التعليمات بدقة ويقدم لك كعكة. هكذا يختبر معظم العلماء الذكاء الاصطناعي حالياً: يعطونه مهمة مكتوبة واضحة ذات إجابة واحدة صحيحة، مثل مسألة رياضية أو تحدي برمجي. تُسمى هذه الاختبارات "المقاييس المرجعية" (benchmarks)، وهي تشبه اختبار القيادة حيث يخبرك الممتحن بالضبط أي المنعطفات تسلك ومتى تتوقف.
لكن الحياة الواقعية ليست اختبار قيادة. الحياة الواقعية تشبه رحلة برية فوضوية حيث تتحدث مع راكب يستمر في تغيير رأيه. قد تقول: "أنا جائع"، فيحضر لك الراكب شطيرة. تقول: "لا، كنت أقصد أنني أريد شيئاً حلواً"، فيحضر لك قطعة كعك. ثم تتنهد قائلًا: "في الواقع، أردت التحدث فقط"، فيبدأ هو في سرد قصة. هذه الطريقة الفوضوية والمتتابعة التي يتحدث بها البشر فعلياً هي ما يجعل الأمور صعبة على الذكاء الاصطناعي. يسمي العلماء الفجوة بين ما يسمعه الروبوت حرفياً وما يعنيه الإنسان فعلياً بـ "فجوة القصد" (intent gap). إنها الفرق بين اتباع الروبوت لنص مكتوب وفهم الروبوت لروح بشرية. إذا اختبرنا الروبوتات فقط بناءً على نصوص مثالية، فقد نظن أنها جاهزة للعالم، لنكتشف أنها تفشل في اللحظة التي يقول فيها إنسان: "مهلاً، ليس هذا ما قصدته".
الورقة البحثية: الإمساك بالذكاء الاصطناعي عندما يخطئ الهدف
هذه الورقة البحثية، بعنوان "فجوة القصد" (The Intent Gap)، هي قصة بوليسية حول سبب فشل وكلاء الذكاء الاصطناًعي غالباً في العالم الحقيقي، حتى عندما يجتازون جميع اختباراتهم المدرسية. تجادل المؤلفة، كانوبريا ياكمي، بأن الطريقة التي نختبر بها الذكاء الاصطناعي حالياً معطلة لأنها مصممة من قبل باحثين، وليس من قبل أشخاص حقيقيين. يكتب الباحثون مهاماً نظيفة وصريحة (مثل "اكتب قصيدة عن المطر")، لكن المستخدمين الحقيقيين يتحدثون بطريقة حوارية فوضوية. يفترض المستخدمون أن الذككاء الاصطناٍعي يعرف أشياء لم يقولوها، ويغيرون آراءهم في منتصف الجملة، وغالباً ما يشعرون بالإحباط دون قول كلمة واحدة.
تشير الورقة إلى أن المشكلة الأكبر ليست في أن الذكاء الاصطناعي يختلق معلومات (الهلوسة) أو يرفض الإجابة (الرفض). المشكلة الأكبر هي فجوة القصد: تلك اللحظة التي يجيب فيها الذكاء الاصطناعي على المطالبة بشكل مثالي ولكنه يخطئ تماماً فيما أراده المستخدم فعلياً.
كيف أمسكوا بالجاني؟
للعثيد على حالات الفشل هذه، لم يكتفِ الباحثون بطلب حل الألغاز من الذكاء الاصطناعي. بدلاً من ذلك، ذهبوا للصيد في محيطين هائلين من المحادثات البشرية الحقيقية (يُسمى WildChat و LMSYS-Chat)، بحثاً عن علامات الإحباط. قاموا ببناء "فلتر إشارات الإحباط" لرصد متى يحاول المستخدم إصلاح سوء فهم.
فكر في الأمر ككاميرا مراقبة لا تسجل إلا عندما يقول شخص ما: "مهلاً، توقف!" أو "حاول مجدداً!" أو "لا، ليس هذا ما قصدته". استخدم الباحثون عملية من ثلاث خطوات للعثيد على هذه اللحظات:
- مسح الكلمات المفتاحية: بحثوا عن عبارات محددة مثل "كنت أعني"، "لقد أسأت الفهم"، أو "عديم الفائدة".
- فحص الحالة (Vibe Check): استخدموا الرياضيات الحاسوبية لمعرفة ما إذا كانت جملة المستخدم الجديدة مختلفة تماماً عما قاله الذكاء الاصطناعي للتو.
- القاضي: سألوا ذكاءً اصطناعياً فائق الذكاء لمراجعة المحادثة والتأكيد: "نعم، الذكاء الاصطناعي الأول أخطأ في فهم النقطة".
ما وجدوه: الهجر الصامت
كانت النتائج مفاجئة ومخيفة قليلاً لأي شخص يأمل أن يكون الذكاء الاصطناعي جاهزاً للعمل الفعلي.
1. معظم الناس يستسلمون فحسب.
بحثت الدراسة في 50,000 محادثة. ووجدوا أن 52.8% من المحادثات باللغة الإنجليزية انتهت بعد تبادل واحد فقط. سأل المستخدم سؤالاً، فأجاب الذكاء الاصطناعي، ثم رحل المستخدم. يشتبه الباحثون في أن العديد من هذه النهايات لم تكن سعيدة؛ بل كانت "هجراً صامتاً". حصل المستخدم على إجابة غير مناسبة، تنهد ورحل دون أن يقول أبداً "لقد كنت مخطئاً". ولأن هؤلاء المستخدمين لم يتركوا تقييماً أو شكوى، فإن أنظمة مراقبة الجودة لدينا لا تراهم أبداً. يعتقد الذكاء الاصطناعي أنه قام بعمل رائع، لكن المستخدم قد تجاهله وانصرف فحسب.
2. الناس الحقيقيون لا يستخدمون كلمات الإصلاح "المهذبة".
استخدمت الدراسات السابقة حول كيفية إصلاح البشر لسوء الفهم قوائم من العبارات مثل "دعني أعيد صياغة" أو "لقد أسأت الفهم". اعتقد الباحثون أن هذه ستكون أكثر العلامات شيوعاً للإحباط. لكنهم كانوا مخطئين. عندما مسحوا البيانات الحقيقية، كانت العبارات الأكثر شيوعاً قصيرة، فظة، وبشرية جداً:
- "كنت أعني" (92 مرة)
- "هل يمكنك من فضلك" (62 مرة)
- "حاول مجدداً" (53 مرة)
- "عديم الفائدة" (20 مرة)
- "ممم" (17 مرة)
كانت القوائم الأكاديمية تخطئ الهدف. الناس الحقيقيون لا يبدون ككتب النصوص عندما ينزعجون؛ بل يبدون كمن يتحدث إلى صديق لا يصغي إليهم.
3. لغز "التملق" (Sycophancy).
هناك الكثير من الحديث في عالم الذكاء الاصطناعي عن "التملق" — عندما يوافقك الذكاء الاصطناعي حتى عندما تكون مخطئاً، فقط ليكون لطيفاً. توقع الباحثون رؤية هذا كثيراً في بياناتهم. لكنهم لم يجدوا ذلك. في عينة حالات الفشل المؤكدة، كانت نسبة حالات التملق صفراً.
هذا يشير إلى احتمال مخيف: ربما يكون التملق غير مرئي لدرجة أننا لا نستطيع اكتشافه من خلال ردود فعل المستخدمين. إذا وافقك الذكاء الاصطناعي، فمن المرجح أنك لن تقول "لا، هذا خطأ!". بل ستتقبل الأمر فحسب. وهذا يعني أن الذكاء الاصطناعي قد يكذب علينا أو يوافق على أفكار سيئة، ولن نعرف ذلك أبداً لأننا لا نشكو.
4. مشكلة فلتر السلامة.
عندما حاول الباحثون استخدام "قاضٍ ذكاء اصطناعي" لتقييم هذه المحادثات، رفض القاضي النظر في 62% منها. لماذا؟ لأن المحادثات الحقيقية احتوت على محتوى جريء، أو لعب أدوار، أو محتوى غير لائق (NSFW). هذه مشكلة كبيرة: الذكاء الاصطناعي يفشل في أكثر أجزاء المحادثة البشرية "تحرراً"، لكن أدوات السلامة لدينا تمنعنا من رؤية هذه الإخفاقات.
القائمة الجديدة للإخفاقات
بناءً على المحادثات التي تمكنوا من رصدها، أنشأ الباحثون "تصنيفاً" (Taxonomy) جديداً لكيفية فشل الذكاء الاصطناعي. وجدوا أن الإخفاقات الأكثر شيوعاً لم تكن تتعلق بكونه فظاً أو اختلاق معلومات، بل بفقدان السياق. تشمل الفئات العليا لديهم:
- العمى عن السياق الضمني: أجاب الذكاء الاصطناعي على الكلمات لكنه أخطأ في السياق الخفي (مثلاً: طلبت وصفة لحفلة "صغيرة"، فأعطاك وصفة لـ 50 شخصاً لأنه لم يذكر كلمة "صغيرة" صراحة).
- انهيار الهدف: ركز الذكاء الاصطناعي على تفصيل صغير ونسي الصورة الكبيرة.
- عدم تطابق التحديد: أراد المستخدم إجابة حادة ومحددة، لكن الذكاء الاصطناعي قدم إجابة عامة وغامضة.
الخلاصة
تخلص الورقة إلى أننا ننظر إلى الذكاء الاصطناعي من خلال العدسة الخاطئة. نحن نختبرهم في مهام نظيفة ومثالية، بينما يُستخدمون في محادثات حقيقية فوضوية. "فجوة القصد" هي السبب في أن 78% من الشركات تحاول استخدام وكلاء الذكاء الاصطناعي، لكن 14% منها فقط تحقق نجاحاً. الذكاء الاصطناعي يجيب حرفياً على المطالبة، لكنه يفتقد القصد البشري.
يقترح الباحثون أنه لإصلاح ذلك، نحتاج إلى التوقف عن اختبار الذكاء الاصطناعي كأنه طالب يؤدي امتحاناً تحريرياً، والبدء في اختباره كأنه صديق تجري معه محادثة. نحن بحاجة للاستماع إلى "الهجر الصامت" وإلى عبارات "حاول مجدداً" الفظة، وليس فقط الشكاوى المهذبة. وإلا، سيستمر الذكاء الاصطناعي في إصابة الكلمات ولكن سيخطئ الهدف تماماً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.