Predictive Authoring for Brazilian Portuguese Augmentative and Alternative Communication
تقترح هذه الورقة استخدام نموذج BERTimbau للتنبؤ بالصور الرمزية في أنظمة التواصل المعزز والبديل (AAC) باللغة البرتغالية البرازيلية، حيث أثبتت أن تمثيل الصور الرمزية عبر التسميات التوضيحية يحقق أعلى دقة، مع استكشاف أيضاً إمكانية استخدام الصور للتنبؤ.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الصورة الكبيرة: مساعدة الناس على التحدث بدون كلمات
تخيل شخصاً لا يستطيع التحدث بصوت عالٍ بسبب إعاقة ما. للتواصل، يستخدم "لوحة تحدث" خاصة (نظام AAC). هذه اللوحة مليئة بآلاف الصور (الرموز التصويرية) التي تمثل كلمات مثل "أكل"، "كرة"، "سعيد"، أو "أمي".
للقول بجملة مثل "أريد تفاحة"، يتعين على المستخدم البحث عبر شبكة ضخمة من الصور، فيجد صورة "أنا"، ثم "أريد"، ثم "التفاحة"، وينقر عليها واحدة تلو الأخرى. الأمر يشبه محاولة كتابة رسالة عن طريق البحث في صندوق ضخم من قطع لعبة "سكرابل" (Scrabble) للعثور على الحروف الصحيحة، واحدة تلو الأخرى. إنه أمر يستغرق وقتاً طويلاً ويمكن أن يكون محبطاً.
هدف هذا البحث:
أراد الباحثون بناء "مساعد ذكي" لهذه اللوحة المتحدثة. تماماً كما يتوقع هاتفك الكلمة التالية التي قد تكتبها، أرادوا بناء نظام يمكنه النظر إلى الصور التي نقرها المستخدم بالفعل ليقول: "مهلاً، من المحتمل أنك تريد النقر على صورة التفاحة بعد ذلك!".
التحدي: مشكلة "القاموس"
الجزء الصعب هو أن لوحات التحدث هذه تستخدم الصور، وليس النصوص. الحواسيب بارعة في قراءة الكلمات، لكنها تجد صعوبة في فهم أن صورة فاكهة حمراء تعني كلمة "تفاحة".
علاوة على على ذلك، كان الباحثون يعملون على اللغة البرتغالية البرازيلية. وبينما توجد قواعد بيانات ضخمة للنصوص الإنجليزية لتعليم الحواسيب، لم يكن هناك مكتبة كبيرة من الجمل المكتوبة باللغة البرتغالية خصيصاً من قبل الأشخاص الذين يستخدمون هذه اللوحات التصويرية. كان على الكمبيوتر أن يتعلم "لغة الصور".
الحل: تعليم روبوت قراءة الصور
استخدم الفريق عقلاً اصطناعياً قوياً يسمى BERTimbau (وهو نسخة من نموذج BERT الشهير المدرب على اللغة البرتغالية). إليكم كيف علموه التنبؤ بالصورة التالية:
1. بناء مكتبة التدريب (المتن)
لا يمكنك تعليم طباخ الطبخ دون مكونات. احتاج الباحثون إلى "كتاب وصفات" للجمل.
- الخطوة أ: طلبوا من خبراء حقيقيين (أخصائيي علاج النطق والآباء) كتابة الجمل الشائعة التي يقولها هؤلاء المستخدمون.
- الخطوة ب: استخدموا ذكاءً اصطناعياً فائق الذكاء (GPT-3) لقراءة تلك الجمل وكتابة الآلاف من الجمل الجديدة التي تشبهها تماماً.
- الخطوة ج: قاموا بتحويل هذه الجمل النصية مرة أخرى إلى تسلسلات صورية.
- تشبيه: تخيل تعليم كلب عملية جلب الكرة. أولاً، تظهر له كرة حقيقية (جمل بشرية). ثم تطلب من روبوت رسم آلاف الصور للكرات (جمل اصطناعية) حتى يحصل الكلب على الكثير من الممارسة.
2. اختبار "الترجمة"
الآن كان عليهم تعليم الذكاء الاصطناعي كيفية "رؤية" الصورة. اختبروا أربع طرق مختلفة لوصف الصورة للكمبيوتر:
- الطريقة أ (الوصف): استخدام الكلمة المكتوبة تحت الصورة فقط (مثلاً: "قطة").
- الطريقة ب (المرادفات): استخدام قائمة من الكلمات المشابهة (مثلاً: "قطة"، "سنّور"، "هرّة").
- الطريقة ج (التعريف): استخدام تعريف من القاموس (مثلاً: "حيوان ثديي صغير مستأنس وآكل للحوم").
- الطريقة د (الصورة): عرض ملف الصورة الفعلي للكمبيوتر.
النتائج: ما الذي نجح بشكل أفضل؟
أجرى الباحثون اختباراً للذكاء الاصطناعي لمعرفة أي طريقة حققت أفضل التنبؤات.
- الفائز: الأوصاف (الكلمات) والمرادفات.
- التشبيه: اتضح أن الكمبيوتر يتعلم بشكل أفضل عندما تخبره بـ اسم الصورة. إذا قلت له "قطة"، فهو يعرف ما يجب فعله. وإذا أعطيته قائمة من المرادفات ("قطة"، "سنّور")، فإنه يصبح أفضل في تخمين السياق (انخفاض "الارتباك" أو الـ perplexity، وهي طريقة تقنية للقول بأن الكمبيوتر أقل حيرة).
- الخاسر: التعريفات والصور.
- التشبيه: محاولة تعليم الكمبيوتر عن طريق إظهار الصورة الفعلية أو تعريف طويل من القاموس كانت تشبه محاولة تعليم شخص قيادة السيارة من خلال قراءة دليل حول ميكانيكا المحرك. كان الأمر معقداً للغاية ولم يتعلم الكمبيوتر بهذه السرعة. كانت طريقة "الصورة" سيئة بشكل خاص لأن "عقل" الكمبيوتر المخصص لقراءة النصوص و"عقله" المخصص لرؤية الصور يتحدثان لغات مختلفة.
الخلاصة
خلص البحث إلى أن أفضل طريقة لبناء متنبئ صور ذكي هي معاملة الصور كأنها كلمات.
- إذا كان لديك قاموس من المرادفات: استخدمه! فهو يساعد الكمبيوتر على فهم المعنى بشكل أفضل.
- إذا لم يكن لديك: فقط استخدم الكلمة البسيطة المكتوبة تحت الصورة. فهي تعمل بشكل جيد تقريباً وأسهل بك كثيراً في الإعداد.
- لا تتعب نفسك بالصور الفعلية لهذا المهمة تحديداً؛ فهي ثقيلة جداً ولا تساعد الكمبيوتر على تخمين الكلمة التالية.
لماذا يهم هذا؟
هذا البحث يشبه إعطاء نظارات جديدة للأشخاص الذين يعتمدون على لوحات الصور. فبدلاً من التمرير عبر مئات الصور للعثور على ما يحتاجون إليه، يمكن للنظام الآن اقتراح أفضل 5 أو 10 صور محتملة في أعلى الشاشة مباشرة. هذا يوفر الوقت، ويقلل من الإحباط، ويساعد الأشخاص الذين لديهم احتياجات تواصل معقدة على مشاركة أفكارهم، مشاعرهم، واحتياجاتهم بشكل أسرع.
باختصار: لقد علموا الكمبيوتر التحدث بـ "لغة الصور" عن طريق ترجمة الصور إلى كلمات، ووجدوا أن أبسط ترجمة (مجرد الكلمة الموجودة تحت الصورة) هي غالباً الأكثر فعالية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.