On the missing benchmarks layer and a potential solution
تحدد هذه الورقة غياب طبقة مرجعية إقليمية كعائق حاسم أمام تطوير الذكاء الاصطناعي المحلي في أمريكا اللاتينية، وتقترح "EvalsHub" (بنموذجه الأولي LatamBoard) كبنية تحتية مفتوحة ومدفوعة بالحوافز لتمكين التدقيق المستقل وتحسين أنظمة الذكاء الاصطناعي وفقاً للمتطلبات الاجتماعية والاقتصادية المحلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لوحة النتائج غير المرئية: لماذا يحتاج الذكاء الاصطناعي إلى اختبار محلي
تخيل عالم الذكاء الاصطناعي كمطبخ ضخم وعالي التقنية حيث يقوم الطهاة (نماذج الذكاء الاصطناعي) بإعداد الأطبى للجميع لتناولها. لفترة طويلة، كان أشهر الطهاة يعملون في مجرد مطابخ محددة، مستخدمين وصفات ومكونات من أحياءهم الخاصة. إنهم موهوبون للغاية، لكنهم لا يعرفون دائمًا كيفية طهي طبق مذاقه مثالي لعائلة تعيش في جزء مختلف من العالم. هذا هو عالم الذكاء الاصطناعي: أدوات قوية بُنيت في مكان واحد، ولكنها تُستخدم في كل مكان.
لمعرفة ما إذا كان الطاهي جيدًا حقًا في طهي وجبة معينة، فأنت بحاجة إلى اختبار تذوق. في عالم الذكاء الاصطناعي، يسمى اختبار التذوق هذا "معيارًا مرجعيًا" (Benchmark). فكر في المعيار المرجعي كأنه امتحان موحد أو لوحة نتائج. هو لا يسأل فقط: "هل يستطيع الذكاء الاصطناعي التحدث؟"، بل يسأل: "هل يستطيع الذكاء الاصطناعي حل هذه المشكلة المحددة بـ هذه اللغة المحددة وفقًا لـ هذه القواعد المحلية؟". بدون هذه اللوحات المرجعية المحلية، تصبح الدول والشركات مثل زبائن يتناولون وجبة دون معرفة ما إذا كانت طازجة، أو آمنة، أو حتى ما الذي يُفترض أن يكون مذاقها. يتعين عليهم الوثوق بكلمة الطاهي وحدها. تجادل هذه الورقة بأن أمريكا اللاتينية تفتقد لوحة نتائج مطبخها الخاصة، وبدونها، لا يمكن للمنطقة التحقق حقًا مما إذا كان الذكاء الاصطناعي الذي تستخدمه يعمل بشكل صحيح أو تحسينه لحل مشاكلها الفريدة.
لوحة النتائج المفقودة: قصة فجوة الذكاء الاصطناعي في أمريكا اللاتينية
يشير مؤلفو هذه الورقة، وهم فريق من SURUS وباحث مستقل، إلى وجود ثغرة ضخمة في خريطة التكنولوجيا في أمريكا اللاتينية. يسمونها "طبقة المعايير المرجعية المفقودة". لفهم سبب أهمية ذلك، تخيل أنك تحاول إصلاح سيارة، ولكن لديك فقط أدوات مصممة لعلامة تجارية أخرى من السيارات. قد تنجز المهمة، لكنها لن تكون مثالية، ولن تعرف بالضبط أين يتعثر المحرك. هذا ما تواجهه أمريكا اللاتينية مع الذكاء الاصطناعي.
المشكلتان الكبيرتان: التدقيق الأعمى والمحركات المتعطلة
توضح الورقة أن هذه الطبقة المفقودة تسبب مشكلتين رئيسيتين.
أولاً، هناك مشكلة التدقيق (Audit Problem). تخيل وكالة حكومية تشتري نظام ذكاء اصطناعي جديدًا للمساعدة في إدارة السجلات العامة. نظرًا لأن الذكاء الاصطناعي تم بناؤه في بلد آخر، فليس لدى الوكالة وسيلة للتحقق بشكل مستقل مما إذا كان يفهم القوانين المحلية أو يتحدث اللهجة المحلية بشكل صحيح. إنهم مجبرون على مجرد الثقة في ادعاءات البائع. يشير المؤلفون إلى أنه بدون معيار مرجعي محلي، ستكون هذه المؤسسات "عمياء". لا يمكنهم رؤية ما إذا كان الذكاء الاصطناعي يرتكب أخطاءً تهم سياقهم الخاص فقط، مثل الخطأ في تحديد مرض محصول محلي أو سوء فهم مصطلح قانوني محدد.
ثانيًا، هناك مشكلة التحسين (Optimization Problem). هذا مخصص للشركات التي تحاول بناء أدوات ذكاء اصطناعي رائعة. تطوير الذكاء الاصطناعي الحديث يشبه لعبة فيديو حيث تقوم بتعديل الإعدادات للحصول على درجة أعلى. ولكن للحصول على درجة أعلى، تحتاج إلى لوحة نتائج لقياس تقدمك. تجادل الورقة بأنه بدون معيار مرجعي محلي، ليس لدى الشركات هدف تسعى إليه. لا يمكنهم معرفة ما إذا كان الذكاء الاصطناعي الخاص بهم يتحسن في حل المشكلات المحلية لأنه ليس لديهم "امتحان" لتقييمه بناءً عليه. الأمر يشبه محاولة الجري في سباق بدون خط نهاية؛ قد تكون تركض بسرعة، لكنك لا تعرف ما إذا كنت تفوز بالفعل.
الحل المقترح: EvalsHub و LatamBoard
إذًا، ما هو الحل؟ يقترح المؤلفون بناء بنية تحتية جديدة تسمى EvalsHub، مع كون النسخة الأولى هي LatamBoard.
فكر في LatamBoard كقاعة امتحانات مفتوحة المصدر ضخمة للمنطقة. إنه مكان حيث يمكن للجامعات والحكومات والشركات نشر اختباراتهم الخاصة (المعايير المرجعية) ومعرفة كيفية أداء نماذج الذكاء الاصطناعي المختلفة عليها.
- يعتمد على المهام أولاً: بدلاً من مجرد اختبار "مدى ذكاء الذكاء الاصطناعي؟"، يتم بناء الاختبارات حول وظائف محددة. على سبيل المثال، قد يتم تصميم اختبار خصيصًا لـ "استخراج المعلومات الطبية من السجلات الصحية التشيلية" أو "تصنيف الآفات في محاصيل القهوة الكولومبية".
- قابل لإعادة الاستخدام: تستخدم الورقة عبارة رائعة: "بُني مرة واحدة، ويُقاس للأبد". بمجرد إنشاء اختبار، يمكن تشغيله مرارًا وتكرارًا. في كل مرة يظهر فيها نموذج ذكاء اصطناعي جديد، أو تقوم شركة بتعديل برنامجها، يمكنهم تشغيل نفس الاختبار لمعرفة ما إذا كانوا قد تحسنوا. هذا يحول المعيار المرجعي إلى قطعة دائمة من البنية التحتية، مثل طريق أو جسر، بدلاً من كونه مشروعًا لمرة واحدة.
"مشكلة الوصول": لماذا يصعب بناؤها؟
تعترف الورقة أيضًا بأن بناء هذه اللوحات المرجعية أمر صعب للغاية. لا يتعلق الأمر فقط بكتابة الكود البرمجي. لإنشاء اختبار صالح لوظيفة معينة (مثل تشخيص مرض)، تحتاج إلى أربعة أنواع مختلفة من الخبراء يعملون معًا:
- خبير في المجال (مثل طبيب أو محامٍ) يعرف كيف يبدو الشيء "الصحيح".
- مهندس تعلم آلي (ML Engineer) يمكنه تحويل تلك المعرفة إلى اختبار حاسوبي.
- إحصائي للتأكد من أن أسئلة الاختبار عادلة وتمثيلية.
- مطور للتأكد من أن الاختبار يعمل بسلاسة.
يسمي المؤلفون هذا "مشكلة الوصول". عادةً، الشخص الذي يعرف أكثر عن الوظية (الطبيب) لا يعرف كيفية برمجة الاختبار، والمبرمج لا يعرف التفاصيل الطبية. هذا عدم التطابق يعني أن عددًا قليلًا جدًا من الناس يمكنهم بناء هذه المعايير المرجعية بمفردهم. تقترح الورقة أنه لكي ينجح LatamBoard، يحتاجون إلى إيجاد طريقة لخفض الحاجز بحيث يمكن للخبراء المساهمة بمعرفتهم دون الحاجة لأن يكونوا عباقرة في البرمجة.
رؤية للمستقبل: مفتوحة ومتعددة الأقطاب
للمؤلفين موقف قوي بشأن كيفية عمل ذلك. إنهم يريدون عالمًا "متعدد الأقطاب"، مما يعني أنهم لا يريدون لدولة أو دولتين التحكم في جميع قواعد الذكاء الاصطناعي. يريدون لأمريكا اللاتينية أن يكون لها صوتها ومعاييرها الخاصة.
ولتحقيق ذلك، يقترحون أن يكون LatamBoard مفتوحًا بالتصميم (يمكن للجميع رؤية الاختبارات والنتائج) ومحفزًا بالبناء (يحصل الناس على الائتمان والاعتراف لمساعدتهم). إذا أنشأت جامعة اختبارًا رائعًا للزراعة المحلية، فسيتم تسميتها كمساهم، وسيستفيد الجميع من ذلك الاختبار. إنه نظام حيث تجعل مشاركة المعرفة الجميع أكثر ذكاءً وقوة.
ما الذي لا يزال مجهولاً؟
تعترف الورقة بصدق أن هذه هي نقطة البداية، وليست منتجًا نهائيًا. وتقر بأن هناك لا تزال أسئلة كبيرة تتطلب إجابات، مثل:
- كيف نضمن بقاء الاختبارات عادلة مع ازدياد ذكاء الذكاء الاصطناعي؟
- من يدفع ثمن الحواسيب اللازمة لتشغيل هذه الاختبارات؟
- كيف نتعامل مع المجالات الحساسة مثل الرعاية الصحية حيث تعتبر الخصوصية مهمة للغاية؟
لا يدعي المؤلفون أنهم حلوا كل هذه المشكلات بعد. بدلاً من ذلك، هم يلقون بالتحدي إلى المجتمع. إنهم يدعون الجامعات والحكومات والشركات للعمل معًا لبناء هذه الطبقة من البنية التحتية. الهدف هو إنشاء نظام لا تكون فيه أمريكا اللاتينية مجرد مستهلك للذكاء الاصطناعي، بل صانعة له، مع أدواتها الخاصة لقياس وتحسين وتوثيق التكنولوجيا التي تستخدمها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.