"It's trained by non-disabled people": Evaluating How Image Quality Affects Product Captioning with Vision-Language Models
تقيم هذه الورقة كيف تؤدي مشكلات جودة الصور الشائعة إلى تدهور دقة نماذج الرؤية واللغة في توليد أوصاف المنتجات للمستخدمين المكفوفين وضعاف البصر، مما يكشف عن انخفاض كبير في الأداء ويؤكد الحاجة إلى ممارسات تقييم متمحورة حول ذوي الإعاقة لضمان تلبية هذه الأدوات لاحتياجات الوصول في العالم الحقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معصوب العينين، تحاول التعرف على مرطبان من زبدة الفول السوداني في خزانة طعامك. تمسك بهاتفك، تلتقط صورة، وتسأل مساعداً ذكياً فائق القدرة: "ما هذا؟"
في عالم مثالي، سيقول الذكاء الاصطناعي فوراً: "هذا مرطبان من زبدة الفول السوداني الكريمية، العلامة التجارية 'جيف' (Jif)، بدون سكر مضاف". ولكن في العالم الحقيقي، قد تكون يدك ترتجف، أو الإضاءة خافتة، أو ربما التقطت الصورة من زاوية غريبة. قد يحدق الذكاء الاصطناعي في الصورة الضبابية المائلة ويخمن: "أعتقد أن هذا مرطبان... ربما مربى؟ أو ربما علبة حساء؟"
هذه الورقة البحثية، التي تحمل عنوان "تم تدريبه من قبل أشخاص غير معاقين"، تبحث في سبب حدوث ذلك وكيف يمكننا إصلاحه. بحث الباحثون في كيفية أداء نماذج الرؤية واللغة (VLMs) — وهي "العيون" و"الأدمغة" وراء أدوات مثل Seeing AI وChatGPT — عندما يحاول الأشخاص المكفوفون وضعاف البصر تحديد المنتجات اليومية مثل الطعام والدواء.
إليك تفصيل لنتائجهم، باستخدام بعض التشبيهات اليومية.
1. مشكلة "الصورة المثالية"
معظم نماذج الذكاء الاصطناعي تشبه الطلاب الذين يدرسون فقط للاختبارات باستخدام رسوم توضيحية مثالية من الكتب المدرسية. لقد تم تدريبها على ملايين الصور عالية الجودة، والمتمركزة بدقة، والمضاءة جيداً والتي التقطها أشخاص مبصرون.
- الواقع: عندما يلتقط شخص كفيف صورة، غالباً ما تكون مهتزة، أو ضبابية، أو مقصوصة عند الحواف (مثل محاولة التقاط صورة لسيارة كاملة بينما لا ترى سوى المصد الأمامي فقط).
- النتيجة: يصاب الذكاء الاصطناعي بالارتباك. وجدت الدراسة أنه بينما تصل دقة هذه الأنظمة إلى 98% في الصور المثالية، فإن دقتها تنخفض بشكل حاد لتصل إلى 75% عندما تحتوي الصورة على مشكلات شائعة مثل الضبابية أو سوء التأطير. وإذا كانت الصورة تحتوي على مشكلات متعددة (ضبابية وَ مائلة)، فإن الدقة تنخفض أكثر من ذلك.
2. خطر "الهلوسة"
عندما لا يستطيع الذكاء الاصطنا_ي رؤية الشيء بوضوح، فإنه لا يكتفي بالقول: "لا أعرف". بدلاً من ذلك، غالباً ما يخمن بثقة، وهي ظاهرة تُعرف باسم "الهلوسة".
- التشبيه: تخيل طالباً يجري اختباراً ولا يعرف الإجابة. بدلاً من ترك السؤال فارغاً، يكتب إجابة مختلقة تماماً لكنها تبدو منطقية.
- الخطر: في الدراسة، أخطأ الذكاء الاصطناعي في تحديد زجاجة لوشن وظنها قلماً، أو حدد علبة كمثرى على أنها خوخ. بالنسبة لشخص مبصر، قد يكون هذا خطأً مضحكاً. أما بالنسبة لشخص كفيف يعاني من حساسية شديدة تجاه الخوخ، فقد يكون هذا الخطأ مهدداً للحياة. قد يقول الذكاء الاصطناعي: "هذا آمن"، بينما هو في الواقع خطير.
3. مشكلة "التفاصيل المفقودة"
حتى عندما يدرك الذكاء الاصطناعي الفكرة العامة بشكل صحيح، فإنه غالباً ما يفتقد التفاصيل الحاسمة التي يحتاجها المكفوفون فعلياً.
- التشبيه: تخيل أنك تسأل صديقاً، "ماذا يوجد في هذا الصندوق؟" فيقول لك: "إنه صندوق حبوب إفطار". فتسأله: "أي نوع؟ هل هو النوع السكري أم الصحي؟ هل هو الذي يحتوي على زبيب أم مكسرات؟" فيكتفي بهز كتفيه قائلاً: "إنه حبوب إفطار".
- النتيجة: أظهرت الدراسة أن الذكاء الاصطنا_ي غالباً ما يغفل عن اسم العلامة التجارية، أو النكهة، أو المكونات. قد يقول "حساء" بينما أنت تحتاج تحديداً لمعرفة أنه "حساء طماطم قليل الصوديوم". بالنسبة لشخص يدير مرض السكري أو يعاني من حساسية تجاه نوع معين من الطعام، فإن كلمة "حساء" ليست كافية؛ هم بحاجة إلى الملصق المحدد.
4. معاناة "المصور الكفيف"
استطلعت الورقة أيضاً آراء 86 شخصاً كفيفاً لفهم تجربتهم.
- الإحباط: التقاط صورة جيدة هو الجزء الأصعب. حتى مع وجود تطبيقات تحاول توجيههم (مثل إصدار صوت "بيب" عندما يكون الجسم في المنتصف)، وجد المستخدمون صعوبة في تثبيت الهاتف أو معرفة ما إذا كانت الإضاءة مناسبة.
- معضلة الخصوصية: يفضل الكثير من المستخدمين استخدام الذكاء الاصطناعي بدلاً من طلب المساعدة من بشر لأنهم لا يريدون مشاركة تفاصيل خاصة (مثل أدويتهم أو مستحضرات العناية الشخصية الخاصة بهم) مع شخص غريب. ولكن إذا كان الذكاء الاصطنا_ي غير موثوق، فإنهم يجدون أنفسهم مضطرين للاختيار بين الخصوصية والسلامة.
5. الرسالة الجوهرية: "تم تدريبه من قبل أشخاص غير معاقين"
عنوان الورقة البحثية يضع الإصبع على الجرح. نماذج الذكاء الاصطنا_ي تشبه مدربي اللياقة البدنية الذين لم يسبق لهم تجربة الإعاقة. هم لا يفهمون ما يعنيه التقاط صورة بيد مرتجفة أو في غرفة مظلمة. إنهم مُحسّنون للمدخلات "المثالية"، وليس لمدخلات "الحياة الواقعية".
ولهذا السبب، يفشل الذكاء الاصطنا_ي عندما يكون الأمر في غاية الأهمية: في الواقع الفوضوي وغير المثالي للحياة اليومية.
ماذا يعني هذا للمستقبل؟
الباحثون لا يكتفون بالإشارة إلى المشكلات فحسب؛ بل يقدمون خارطة طريق للإصلاح:
- التدريب على بيانات "فوضوية": بدلاً من مجرد تغذية الذكاء الاصط_ي بصور مثالية، نحتاج إلى تدريبه على آلاف الصور الضبابية، والمائلة، وذات الإضاءة السيئة التي التقطها مكفوفون. هذا يشبه تعليم الطالب خوض الامتحان بيد مرتجفة.
- تغذية راجعة أفضل: بدلاً من مجرد قول "لا يمكنني رؤية هذا"، يجب أن يقول التطبيق: "لا يمكنني رؤية هذا لأن الصورة ضبابية جداً. يرجى محاولة تقريب مصدر الضوء".
- الصدق: يجب أن يتعلم الذكاء الاصطنا_ي أن يقول "لست متأكداً"، بدلاً من التخمين بثقة. من الأفضل الاعتراف بالجهل بدلاً من تقديم نصيحة خطيرة.
باخت-صار: تجادل هذه الورقة بأنه لكي يكون الذكاء الاصطنا_ي مفيداً حقاً للمكفوفين وضعاف البصر، يجب أن يتوقف عن التصرف كشخص مبصر ينظر إلى صورة مثالية، ويبدأ في التصرف كمساعد متعاطف يفهم تحديات العالم الحقيقي. نحن بحاجة إلى بناء ذكاء اصطنا_ي قوي بما يكفي للتعامل مع اللحظات "الضبابية" في الحياة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.