Human Preference aligned Tabular Similarity
تجادل هذه الورقة بأن طرق تضمين البيانات الجدولية الحالية، والمُحسّنة لمهام التنبؤ، تفشل في التوافق مع التفضيلات البشرية للبحث عن التشابه، وتقترح إجراء تقييم جديد لمعالجة هذه الفجوة باستخدام حالة استخدام إدارة دورة حياة المنتج (PLM).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير في مكتبة سحرية ضخمة، حيث كل كتاب فيها هو في الواقع جدول بيانات يحتوي على أرقام وكلمات. في هذه المكتبة، توجد روبوتات مهمتها هي العثور على كتب "تشبه" الكتاب الذي تحمله. إذا اخترت كتاباً عن "إصلاح محمصة خبز مكسورة"، فيجب على الروبوت أن يقدم لك كتباً أخرى عن إصلاح المحمصات، وليس كتباً عن خبز الكعك أو قيادة السيارات. هذا هو عالم البيانات الجدولية (Tabular Data) — تلك الشبكات المنظمة من المعلومات التي تدير أعمالنا، ومستشفياتنا، ومصانعنا. تستخدم الروبوتات شيئاً يسمى التضمينات (Embeddings)، وهي تشبه أكواداً مغناطيسية غير مرئية تحول كل صف من البيانات إلى نقطة في فضاء عملاق متعدد الأبعاد. وكلما اقتربت نقطتان من بعضهما، اعتقد الروبوت أن البيانات متشابهة أكثر.
لفترة طويلة، كان العلماء يعلمون هذه الروبوتات كيف تصبح بارعة حقاً في تخمين الإجابة على سؤال محدد، مثل "هل ستتعطل هذه القطعة؟" أو "ما هو السعر؟". ولكن هنا تكمن المشكلة: كون الروبوت بارعاً في تخمين إجابة لا يعني بالضرورة أنه بارع في العثور على أشياء تبدو "متشابهة" بالنسبة للبشر. قد يعتقد الروبوت أن قطعتين هما توأمان لأنهما كلاهما يحتويان على الرقم "5"، رغم أن مهندساً بشرياً يعرف أن إحداهما برغي والأخرى مسمار. يسأل هذا البحث سؤالاً مهماً للغاية: كيف نتأكد من أن هذه الروبوتات تجد أشياءً منطقية بالفعل لمختلف الأشخاص الذين يستخدمونها، مثل المهندسين، أو عمال المصانع، أو المتسوقين؟
المشكلة: عندما يخطئ الروبوت في فهم "الجو العام"
لاحظ مؤلفو هذا البحث، أثناء عملهم مع شركة تبني برمجيات لإدارة دورة حياة المنتجات، وجود فجوة كبيرة. فقد لاحظوا أنه بينما تصبح الروبوتات أكثر ذكاءً في تحويل جداول البيانات إلى تلك الأكواد المغناطيسية غير المرئية، إلا أنه ليس لدينا طريقة جيدة للتحقق مما إذا كانت تلك الأكواد تتوافق مع ما يهتم به البشر فعلياً.
تخيل أنك تطلب من روبوت البحث عن طلبات تغيير "متشابهة" لقطعة سيارة جديدة. قد يقول المهندس: "هذه متشابهة لأن كلاهما يتعلق بنظام تبريد المحرك". وقد يقول عامل المصنع: "لا، هذه متشابهة لأنهما يتطلبان نفس آلة اللحام". وقد يقول المشتري: "هذه متشابهة لأنهما من نفس المورد".
يجادل البحث بأن الطرق الحالية لاختبار هذه الروبوتات تشبه تقييم طالب بناءً على درجات اختبار الرياضيات فقط، رغم أن الطالب يحاول أن يصبح شاعراً. الاختبارات القياسية تقيس ما إذا كان بإمكان الروبوت التنبؤ برقم أو فئة بشكل صحيح، لكنها لا تسأل: "هل وجد المستخدم النتيجة مفيدة؟". يقترح المؤلفون أنه بدون سؤال البشر عما يعتقدونه، فنحن نعمل وكأننا معصوبو الأعين. قد نمتلك روبوتاً مثالياً تقنياً في الرياضيات، ولكنه سيء جداً في فهم الاحتياجات البشرية.
الحل: "اختبار تذوق" للبيانات
لإصلاح ذلك، يقترح المؤلفون سير عمل جديد يشبه إلى حد ما "اختبار التذوق الأعمى" للطعام، ولكن للبيانات. فبدلاً من مجرد تشغيل الروبوت وتمني الأفضل، يقترحون عملية من ثلاث خطوات للحصول على تعليقات بشرية:
- الإعداد: أولاً، يقوم الروبوت بإنشاء أكواده المغناطيسية لجميع البيانات وتخزينها.
- الاختيار: يُعرض على المستخدم البشري عنصر محدد ("المرتكز")، مثل قطعة معينة أو تذكرة طلب. ثم يقوم الروبوت باستدعاء قائمة بالعناصر التي يعتقد أنها المطابقات الأقرب.
- التصويت: ينظر الإنسان إلى العنصر الأصلي وأحد اقتراحات الروبوت جنباً إلى جنب. ثم يعطيه تقييماً: "متطابق"، "متشابه"، "متشابه قليلاً"، أو "غير متشابه".
هذا ليس أمراً يحدث لمرة واحدة. يقترح المؤلفون القيام بذلك مراراً وتكراراً، وجمع الآلاف من هذه "الأصوات". وهذا يخلق خريطة لما يعتبره مختلف مجموعات الناس متشابهاً بالفعل.
ما وجدوه: الجميع يرى العالم بشكل مختلف
لاختبار فكرتهم، أجرى الفريق دراسة تجريبية صغيرة. أخذوا قائمة تضم 20 "تذكرة" مختلفة (مثل طلبات المساعدة أو التغيير) وطلبوا من ثلاثة أشخاص مختلفين تقييم أفضل 6 مطابقات وجدها الروبوت لكل منها.
كانت النتائج كاشفة للحقائق. من بين 120 زوجاً من العناصر التي فحصوها، اتفق الأشخاص الثلاثة على التقييم لـ 63 زوجاً فقط (أي بنسبة 52.5%). وفي 52 زوجاً (43.3%)، اتفق شخصان واختلف الثالث. وفي 5 أزواج (4.2%)، أعطى الثلاثة تقييمات مختلفة تماماً!
هذا يثبت أن "التشابه" ليس حقيقة واحدة ثابتة، بل يعتمد كلياً على من أنت. فقد يرى المهندس نمطاً قد يغيب عن المشتري، والعكس صحيح.
قام الفريق بعد ذلك باختبار 10 خوارزميات روبوتية مختلفة لمعرفة أي منها كان الأفضل في تخمين ما يريده هؤلاء البشر. وهنا كانت المفاجأة: لم يكن هناك "فائز" واحد.
- بالنسبة للمُقيّم الأول والمُقيّم الثالث، كانت الخوارزمية 7 هي الأفضل.
- ولكن بالنسبة للمُقيّم الثاني، كانت الخوارزمية 4 هي الأفضل.
والأكثر إثارة للاهتمام هو أن الفرق بين "الأفضل" و"الثاني في الترتيب" بالنسبة للمُقيّم الثاني كان ضئيلاً جداً، وهو مجرد مجموعة واحدة (Triplet) من أصل 165. وهذا يشير إلى أنه مع هذا العدد الصغير من الأصوات، من الصعب التأكد بنسبة 100% من أي روبوت هو الأفضل حقاً. يشير المؤلفون إلى أننا بحاجة إلى مزيد من البيانات لنكون واثقين، لكن الرسالة الأساسية واضحة: المقاس الواحد لا يناسب الجميع. فالروبوت المثالي للمهندس قد يكون عديم الفائدة للمشتري.
لماذا يهم هذا في مسألة الثقة
يخلص البحث إلى أنه لكي يكون الذكاء الاصطناعي جديرًا بالثقة حقاً، لا يمكننا الاعتماد فقط على الرياضيات الداخلية للروبوت. نحن بحاجة إلى بناء نظام يمكن للبشر من خلاله التحقق باستمرار من عمل الروبوت.
وقد سلطوا الضوء على أربع فوائد رئيسية لهذا النهج:
- العدالة: يضمن أن يعامل الروبوت المجموعات المختلفة من الناس (مثل المهندسين مقابل المشترين) بإنصاف، بدلاً من تفضيل وجهة نظر واحدة.
- الشفافية: يتيح للناس رؤية لماذا اختار الروبوت عنصراً معيناً، مما يجعل "الصندوق الأسود" أقل عتامة.
- المتانة: يساعد في العثور على البيانات الفوضوية، مثل النسخ المكررة أو الفئات المربكة، التي قد يخطئ الروبوت في فهمها.
- المساءلة: يخلق سجلاً لقرارات البشر، وهو أمر بالغ الأهمية إذا ارتكب الذكاء الاصطناعي خطأً في صناعة منظمة.
يعترف المؤلفون بأن مطالبة البشر بالقيام بهذا العمل أمر صعب ويستغرق وقتاً. هم لا يدعون أنهم حلوا المشكلة تماماً بعد. بدلاً من ذلك، هم يدعون المجتمع العلمي للبدء في استخدام "اختبارات التذوق البشري" هذه كجزء قياسي من بناء الذكاء الاصطناعي. إنهم يجادلون بأن الثقة ليست شيئاً يتم وضعه في الكود مرة واحدة؛ بل هي شيء تبنيه من خلال الاستماع المستمر للأشخاص الذين يستخدمون النظام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.