LeWiDi-2025 at NLPerspectives: Third Edition of the Learning with Disagreements Shared Task
تُعزز النسخة الثالثة من مهمة LeWiDi المشتركة في مؤتمر NLPerspectives تطوير الذكاء الاصطناي المدرك للاختلاف عبر توسيع المعيار المرجعي ليشمل أربع مهام متنوعة في معالجة اللغات الطبيعية ذات مخططات تسمية ترتيبية، وتقديم نماذج تقييم قائمة على التسميات الناعمة والمنظورات مع مقاييس مبتكرة، وتوفير موارد ورؤى جديدة حول نمذجة تباين الأحكام البشرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يفهم لغة البشر. لفترة طويلة، كنا نعلم الروبوتات عبر إظهار أمثلة حيث يتفق الجميع على الإجابة، مثل "2 + 2 = 4". لكن في الحياة الواقعية، غالبًا ما يختلف البشر. قد يرى شخص ما نكتة ما مضحكة للغاية، بينما يراها آخر مسيئة. قد يرى شخص ما جملة ما كذبة، بينما يراها آخر رأيًا غير ضار.
يصف هذا البحث النسخة الثالثة من "مسابقة" (تسمى LeWiDi-2025) صُممت لتعليم نماذج الذكاء الاصطنا AI كيفية التعامل مع هذه الخلافات، بدلًا من التظاهر بعدم وجودها.
إليك تحليل بسيط لما قاموا به، باستخدام بعض التشبيهات من الحياة اليومية:
1. الهدف: تعليم الذكاء الاصطناعي كيف يصغي للجمهور
بدلًا من إجبار الذكاء الاصطناعي على اختيار إجابة واحدة "صحيحة"، أراد المنظمون معرفة ما إذا كان بإمكان الذكاء الاصطناعي فهم الصورة الكاملة للرأي البشري.
- الطريقة القديمة: إذا صوت 10 أشخاص على فيلم، و6 قالوا "جيد" و4 قالوا "سيء"، فإن الذكاء الاصطناعي القديم سيخبرك ببساة: "الإجابة هي جيد". إنه يتجاهل الأربعة الآخرين.
- الطريقة الجديدة: يُقال للذكاء الاصطناعي: "إليك القصة الكاملة: 6 أشخاص أعجبهم الفيلم، و4 لم يعجبهم. مهمتك هي فهم لماذا شعروا بذلك وتوقع مزيج الآراء".
2. "الألعاب" الأربع (مجموعات البيانات)
أعطت المسابقة المشاركين أربعة أنواع مختلفة من الألغاز لحلها، كل منها يمثل نوعًا مختلفًا من الخلاف البشري:
- لعبة السخرية (CSC): تخيل قراءة رسالة نصية. هل هي إطراء صادق أم تهكم ساخر؟ يقوم الناس بتقييم مدى "سخرية" الرسالة على مقياس من 1 إلى 6.
- لعبة التهكم (MP): منشور قصير ورد عليه. هل الرد فيه تهكم؟ لُعبت هذه اللعبة بـ 9 لغات مختلفة (مثل الإنجليزية والإسبانية والعربية)، مما يظهر أن التهكم مشكلة عالمية.
- لعبة إعادة الصياغة (Par): يُطرح سؤالان. هل يسألان عن الشيء نفسه؟ بدلًا من مجرد "نعم/لا"، قيم الناس مدى تشابههما على مقياس من -5 إلى 5.
- لعبة المنطق (VEN): عبارة وحقيقة. هل تثبت الحقيقة العبارة، أم تناقضها، أم لا علاقة لها بها؟ هنا، تعين على الناس أيضًا كتابة تفسيرات لإجاباتهم.
3. الطريقتان للعب (المهام)
كان على المشاركين الاختيار بين طريقتين لإظهار فهم الذكاء الاصطناعي الخاص بهم:
- المهمة (أ): "متنبئ الطقس" (التسمية الناعمة - Soft-Label)
بدلًا من تخمين إجابة محددة، يعمل الذكاء الاصطناعي مثل متنبئ الطقس. فهو لا يقول فقط "سيمطر"، بل يقول: "هناك احتمال 60% لهطول الأمطار، و30% للشمس، و10% للثلج". يتوقع الذكاء الاصطناعي توزيع كيفية تصويت البشر. - المهمة (ب): "قارئ الأفكاء" (المنظور الشخصي - Perspectivist)
هذه المهمة أصعب. يجب على الذكما الاصطناعي تخمين ما سيقوله شخص معين. إذا قلت للذكاء الاصطناعي: "إليك ما يفكر فيه الشخص (س) عادةً"، يجب على الذكاء الاصطناعي أن يتوقع: "بناءً على تاريخ الشخص (س)، فمن المرجح أن يعطي هذه الإجابة". الأمر يشبه التنبؤ بما إذا كان عمك العبوس أو عمتك المتفائلة سيتفقان مع نكتة ما.
4. المقياس الجديد (المقاييس)
في الماضي، استخدم الحكام مسطرة بسيطة لقياس مدى ابتعاد الذكاء الاصطناعي عن الإجابة. لكن تلك المسطرة لم تكن تعمل جيدًا مع أشياء مثل "مقاييس السخرية" أو "اللغات المتعددة".
- المسطرة الجديدة: ابتكروا طرقًا جديدة لقياس النجاح.
- بالنسبة لـ "المقاييس" (مثل من 1 إلى 6)، استخدموا مقياسًا يفهم أن الخطأ بمقدار نقطة واحدة (قول 4 بدلًا من 5) أفضل من الخطأ بمقدار خمس نقاط (قول 1 بدلًا من 5).
- بالنسبة لمهمة "قارئ الأفكار"، قاسوا مدى قدرة الذكاء الاصطناعي على محاكاة التحيزات والعادات الخاصة بكل فرد.
5. النتائج: من الفاز؟
شارك حوالي 15 فريقًا في المسابقة. إليكم ما وجدوه:
- نهج "العقل الكبير": استخدمت الفرق المتصدرة نماذج اللغات الكبيرة (LLMs) — وهي نفس النماذج فائقة الذكاء التي تكتب المقالات وتدردش معك. كانت هذه النماذج جيدة جدًا في النظر إلى أمثلة لكيفية تصويت الناس المختلفين وتقليد ذلك النمط.
- نهج "الصغير ولكن القوي": استخدمت بعض الفرق نماذج أصغر ومتخصصة. وقد حققت هذه النماذج نتائج جيدة بشكل مفاجئ في مجموعات البيانات الأصغر والأكثر تعقيدًا.
- المكون السري: الأنظمة الفائزة لم تنظر فقط إلى النص؛ بل نظرت إلى من يكتب النص. استخدموا أدلة مثل عمر الشخص الذي وضع التقييم، أو جنسه، أو تاريخ تصويته السابق لجعل تخمينات أفضل.
- مكافأة "التفسير": في لعبة المنطق، الفرق التي غذت الذكاء الاصطناعي بـ التفسيرات التي كتبها الناس (وليس فقط الإجابات) حققت أداءً أفضل بكثير. الأمر يشبه فهم لماذا صوت شخص ما، وليس فقط كيف صوت.
6. العقبة (القيود)
كان المؤلفون صادقين بشأن الأمور التي لم يختبروها:
- مشكلة "الوجه الجديد": في العالم الحقيقي، قد تقابل غريبًا لم ترَ رأيه من قبل. في هذه المسابقة، تم اختبار الذكاء الاصطناعي على أشخاص "التقى بهم" بالفعل أثناء التدريب. لا نعرف بعد ما إذا كانت هذه النماذج يمكنها التعامل مع شخص جديد تمامًا.
- النصوص فقط: كانت المسابقة تتعلق فقط بالقراءة والكتابة. لا نعرف بعد ما إذا كانت هذه الأساليب تعمل مع الصور أو الفيديوهات أو الصوت.
ملخص
هذا البحث هو بمثابة "تقرير درجات" لمسابقة علمت الذكاء الاصطناعي التوقف عن التظاهر بأن الجميع يتفقون. من خلال استخدام طرق قياس جديدة والتركيز على الواقع الفوضوي للخلاف البشري، أظهر الفائزون أن أفضل نماذج الذكاء الاصطناعي هي تلك التي يمكنها النظر إلى الحشد، وفهم الأصوات المختلفة داخله، وتوقع مزيج الآراء بدلاً من مجرد اختيار فائز واحد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.