What Users Leave Unsaid: Under-Specified Queries Limit Vision-Language Models
تقدم هذه الورقة HAERAE-Vision، وهي معيار للاستعلامات البصرية غير المحددة بدقة من الواقع في المجتمعات الكورية، كاشفةً أن النماذج اللغوية الرؤيوية الحالية تعاني بشكل كبير مع المدخلات الطبيعية للمستخدمين بسبب نقص السياق وليس بسبب فجوات في القدرات الجوهرية، وأن إعادة كتابة الاستعلام بشكل صريح تحقق مكاسب في الأداء أكبر بكثير من البحث عبر الويب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق بارع وذكي للغاية (الذكاء الاصطناعي)، تم تدريبك على ملايين الكتب والأفلام والتقارير الشرطية المكتوبة بوضوح. أنت ممتاز في حل الجرائم عندما تُعرض الأدلة بشكل مثالي.
الآن، تخيل أن شخصًا حقيقيًا دخل مكتبك، وهو مرتبك، ويحمل صورة ضبابية لشيء غريب، ويقول: "ما هذا؟ وكيف أصلحه؟"
هو لم يخبرك ما هو هذا الشيء، أو أين وجده، أو ماذا كان يحاول أن يفعل. لقد افترض فقط أن بإمكانك قراءة عقله لأن الصورة بين يديه.
هذه الورقة البحثية، HAERAE-Vision، تتحدث عن اختبار مدى قدرة نماذج الذكاء الاصطناعي "المحققة البارعة" هذه على التعامل مع البشر الحقيقيين الذين يتحدثون بهذه الطريقة، بدلاً من التعامل مع الأسئلة المثالية التي تُقدم لها.
إليك تفاصيل القصة:
1. المشكلة: "الاختبار المثالي" مقابل الحياة الواقعية
معظم اختبارات الذكاء الاصطناعي تشبه الامتحانات المعيارية. الأسئلة واضحة: "حدد الحيوان الموجود في هذه الصورة".
لكن الحياة الواقعية فوضوية. الناس يسألون: "كلبي أكل هذا، من أين أشتري واحدًا جديدًا؟" (بينما يشير إلى قطعة خشب ممزقة).
وجد الباحثون أن نماذج الذكاء الاصطناعي الحالية تشبه الطلاب الذين يتفوقون في الكتاب المدرسي لكنهم يفشلون في التطبيق الواقعي. يصابون بالارتباك عندما لا يقوم المستخدم بتوضيح كل شيء بالتفصيل.
2. التجربة: "تحدي المجتمع الكوري"
توجه الفريق إلى المنتديات الكورية عبر الإنترنت (مثل Reddit أو Quora) وجمعوا 86,000 سؤال حقيقي طرحها الناس مع صور.
- الفلترة: كانوا صارمين للغاية. استبعدوا 99.2% من الأسئلة لأنها كانت إما سهلة للغاية، أو غريبة جدًا، أو لا تتطلب صورة للإجابة عليها.
- النتيجة: انتهى بهم المطاف بـ 653 سؤالاً من "المستوى الذهبي" الفوضوي. هذه هي الأسئلة الحقيقية: غير رسمية، غامضة، وتعتمد بشدة على السياق.
لقد أنشأوا نسختين من كل سؤال:
- النسخة الفوضوية: ما كتبه المستخدم بالفعل (على سبيل المثال: "ما هذه الدودة؟").
- النسخة "المنقحة": إعادة كتابة تملأ الفراغات (على سبيل المثال: "ما هو اسم هذا الحلزون البحري، Dendropoma maxima، الموجود في مياه جزيرة جيجو؟").
3. الاكتشاف الكبير: "التوضيح" هو السحر
طلبوا من 45 نموذج ذكاء اصطناعي مختلفًا (من العمالقة الكبار مثل GPT-5 وصولاً إلى النماذج الأصغر) الإجابة على النسختين.
النتيجة الصادمة:
- في النسخة الفوضوية، حتى أذكى نماذج الذكاء الاصطناعي حققت أقل من 50% من الإجابات الصحيحة. كانوا في الأساس يخمنون.
- في النسخة المنقحة، قفزت نفس النماذج إلى 57% أو أكثر.
التشبيه:
تخيل الذكاء الاصطناعي كطباخ.
- الطلب الفوضوي: زبون يقول، "اصنع لي ذلك الشيء الذي تناولته بالأمس". الطباخ ليس لديه أدنى فكرة عما يريده الزبون.
- الطلب المنقح: الزبون يقول، "اصنع لي حساء اللحم الحار الذي تناولته في المطعم الموجود في شارع 5".
- الدرس المستفاد: الطباخ لم يصبح أفضل في الطبخ؛ بل إن الزبون فقط أعطى تعليمات أفضل. الصعوبة لم تكن في عقل الطباخ، بل في طلب الزبون الغامض.
من استفاد أكثر؟ النماذج الأصغر والأرخص من الذكاء الاصطناعي. كانت هي التي تضيع تمامًا بدون التفاصيل الإضافية. أما النماذج الكبيرة فكانت أفضل قليلاً في التخمين، لكنها لا تزال تعاني.
4. فخ "بحث جوجل"
اعتقد الباحثون: "حسنًا، إذا لم يعرف الذكاء الاصطناعي الإجابة، فلنعطه زر بحث جوجل!"
- النتيجة: ساعد ذلك قليلاً، ولكن ليس بما يكفي.
- لماذا؟ إذا سألت، "كيف أصلح هذا؟" دون ذكر ماهية "هذا"، فلن يتمكن جوجل من مساعدتك. يحتاج الذكاء الاصطناستب فهم الهدف أولاً قبل أن يتمكن من البحث عن الإجابة. لا يمكنك البحث عن سؤال لم تكتمل معالمه بعد.
5. العقبة الخفية: السياق الثقافي
حتى بعد إصلاح الأسئلة الغامضة، ظل بعضها خاطئًا. لماذا؟
- الفجوة الثقافية: بعض الأسئلة اعتمدت على أشياء يعرفها الكوريون فقط.
- مثال: صورة لأكياس برتقالية على طريق ريفي. قد يخمن الذكاء الاصطناعي أنها "قمامة" أو "أقماع سلامة". لكن المواطن الكوري يعرف فورًا: "هذه أكياس رمل لإزالة الثلوج في الشتاء".
- الذكاء الاصطناعي لا يفتقر فقط إلى الحقائق؛ بل يفتقر إلى "الروح المحلية" والافتراضات الثقافية التي يعتبرها البشر أمورًا بديهية.
الخلاصة
تخبرنا هذه الورقة أن الذكاء الاصطناعي ليس "غبياً" كما نظن، ولكنه أيضاً ليس "ذكياً" كما نأمل.
- كذبة المعيار: الاختبارات الحالية نظيفة للغاية. إنها تجعل الذكاء الاصطناعي يبدو أذكى مما هو عليه في العالم الحقيقي.
- مهمة المستخدم: لا يمكننا فقط توقع أن يقرأ الذكاء الاصطناعي عقولنا. نحن بحاجة لتعلم كيفية تقديم سياق أفضل، أو نحتاج لأدوات تساعدنا على توضيح أسئلتنا.
- المستقبل: لجعل الذكاء الاصطناعي مفيدًا حقًا، لا نحتاج فقط لتعليمه كيف "يرى" و"يقرأ"، بل نحتاج لتعليمه كيف يفهم الطريقة الفوضوية، والثقافية، وغير المكتملة التي يتحدث بها البشر فعليًا.
باختصار: الذكاء الاصطناعي لا يفشل لأنه لا يستطيع رؤية الصورة؛ بل يفشل لأنه لا يعرف لماذا تعرضها عليه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.