Floor, Ceiling, and the Fusion Gap: How Much of Crowd Reading Attention Can Machines Predict?

تخيل أنك تحاول تعليم روبوت قراءة كتاب كما يفعل البشر. تريد من الروبوت أن يعرف أي الجمل هي "الأجزاء الجيدة" لكي يتمكن من تحديدها لك. هذا تحدٍ هائل في عالم الذكاء الاصطناعي، وتحديداً في مجال يسمى "استرجاع المعلومات" أو "معالجة اللغات الطبيعية". السؤال الكبير ليس فقط "هل يمكن للروبوت أن يخمن؟" بل "ما هو أقصى حد يمكن أن يصل إليه؟"

للإجابة على ذلك، يحتاج العلماء إلى شيئين: أرضية (Floor) وسقف (Ceiling). الأرضية هي أسوأ وأغبى تخمين يمكنك القيام به—مثل تحديد الجمل الأولى فقط في الصفحة لأن الناس عادة ما يبدأون القراءة من هناك. أما السقف فهو الحد النظري للكمال. وهو يمثل أفضل درجة ممكنة يمكن لأي شخص الحصول عليها، حتى لو امتلكوا قوى سحرية، لأن القراء البشر لا يتفقون جميعاً على ما هو "جيد". إذا حصل الروبوت على درجة 100، بينما يتفق البشر مع بعضهم البعض بنسبة 80% فقط من الوقت، فلا يمكن للروبوت أن يكون مثالياً؛ لذا فإن السقف سيكون أقل من 100.

هذه الورقة البحثية هي قصة بوليسية عن إيجاد تلك الأرضية والسقف لمهمة محددة: التنبؤ بالجمل التي سيقوم حشد من الناس العاديين بتحديدها في مقالات الويب. أراد الباحثون معرفة: هل نماذج الذكاء الاصطناعي الأكثر ذكاءً لدينا قريبة من الكمال البشري، أم أنها لا تزال تتخبط في الظلام؟ وإذا لم تكن كذلك، فما هي الطريقة الأرخص والأسهل لجعلها تقترب من ذلك؟

عملية سطو التحديد الكبرى

أقام الباحثون تجربة ضخمة باستخدام 120 مقالاً حقيقياً من الويب. راقبوا كيف قام "حشد" من القراء غير المدفوع لهم وغير المدربين بتحديد الجمل من أجل استمتاعهم الخاص. ثم بنوا لوحة نتائج لمعرفة مدى جودة نماذج الذفط الاصطناعي المختلفة في التنبؤ بتلك التحديدات.

أولاً، حددوا الأرضية. جربوا أبسط استراتيجية ممكنة: تحديد الجمل العلوية (المقدمة). ومن المثير للدهشة أن هذه الحيلة البسيطة نجحت بشكل جيد، حيث سجلت 0.2410. وهذا منطقي لأن معظم المقالات تضع المعلومات الأكثر أهمية في البداية.

بعد ذلك، بنوا السقف. قسموا حشد القراء إلى نصفين. وسألوا: "إذا حاول نصف الحشد التنبؤ بما سيحدده النصف الآخر، فكيف سيكون أداؤهم؟" هذا هو أفضل ما يمكن لأي شخص القيام به، لأنه يأخذ في الاعتبار حقيقة أن البشر فوضويون ولا يتفقون دائماً. كانت درجة السقف 0.4437.

الفجوة بين الأرضية (0.2410) والسقف (0.4437) هي "مساحة النمو" (Headroom)—وهي المساحة التي يمكن للذكاء الاصطناعي أن يتحسن فيها فعلياً. الفجوة هي 0.2028. وكان السؤال الكبير هو: كم من هذه الفجوة يمكن للذكاء الاصطناعي الحالي أن يملأها؟

النتائج: الذكاء الاصطناعي قطع نصف الطريق

اختبر الباحثون خمسة من أكثر نماذج الذكاء الاصطناعي تقدماً في العالم (نماذج الطليعة). ووجدوا أن أفضل نموذج منفرد لا يمكنه سوى ملء حوالي 53% من الفجوة. بعبارة أخرى، المهمة محلولة جزئياً. الذكاء الاصطناعي أفضل بكثير من تخمين "الجملة الأولى" الغبي، لكن لا يزال أمامه طريق طويل ليطابق الحكمة الجماعية للحشد.

هنا يصبح الأمر مثيراً للاهتمام. حاول الباحثون معرفة لماذا لم يكن أداء الذكاء الاصطناعي أفضل.

• هل يتعلق الأمر بالموقع فقط؟ جربوا تعليم برنامج حاسوبي بسيط التخمين بناءً فقط على مكان الجملة وطولها. تمكن البرنامج من استعادة 5% فقط من الفجوة. وهذا يثبت أن القطعة المفقودة ليست مجرد "أين" توجد الجملة؛ بل تتعلق بـ "ماذا" تقول الجملة (الدلالات/المعنى).
• هل يتعلق الأمر بضغط النص؟ جربوا أداة متطورة مصممة لتقليص النصوص (LLMLingua-2) لمعرفة ما إذا كان بإمكانها إيجاد التحديدات. لقد فشلت فشلاً ذريعاً، حيث سجلت أداءً أسوأ حتى من تخمين "الجملة الأولى" الغبي. وهذا يعني أن محاولة تلخيص أو ضغط النص لا تساعد الذكاء الاصطناعي على فهم ما يجده البشر مثيراً للاهتمام.

سحر "الدمج" (Fusion)

إذاً، إذا لم يكن نموذج ذكاء اصطناعي واحد ذكي كافياً، فماذا لو سألت خمسة نماذج مختلفة؟

أنشأ الباحثون "دمجاً" (Fusion). أخذوا التصنيفات من خمسة نماذج مختلفة من طراز رفيع وقاموا بمتوسطها معاً. كما أضافوا دفعة بسيطة لتفضيل بداية المقال ("أولوية الموقع").

النتيجة؟ حقق "الدمج" نسبة 60% من الفجوة. وهذه قفزة كبيرة.

• لقد تفوق على أفضل نموذج منفرد: تفوق "الدمج" على أفضل نموذج ذكاء اصطناعي منفرد بفارق صغير ولكن ثابت إحصائياً.
• لا يحتاج إلى "النجم": حتى لو أزلت أفضل ذكاء اصطناعي من المجموعة واكتفيت بمتوسط النماذج الأربعة الأخرى، فإن المجموعة لا تزال تتفوق على النموذج المنفرد الأفضل. يشير هذا إلى أن نماذج الذكاء الاصطناسي المختلفة ترتكب أخطاءً مختلفة، وعندما نأخذ متوسطها، فإن تلك الأخطاء تلغي بعضها البعض.
• ليس مجرد صدفة: أجرى الفريق هذه التجربة مرة أخرى على مجموعة جديدة تماماً من 217 وثيقة (تكرار مسجل مسبقاً). ولا يزال "الدمج" هو الفائز، مما يؤكد أن النتيجة لم تكن مجرد حادث حظ.

مفاجأة "التقطير" (Distillation)

أخيراً، سأل الباحثون: "هل يمكننا تعليم نموذج ذكاء اصطناعي أصغر وأرخص القيام بذلك؟" أخذوا "حكمة" دمج النماذج الخمسة وحاولوا تعليمها لنموذج ذكاء اصطناعي واحد أصغر (نموذج بـ 8 مليارات معلمة).

جربوا نوعين من الطلاب:

1. الطالب المحلي: نموذج يقرأ فقط الجملة وجيرانها المباشرين. احتفظ هذا الطالب بـ 63% فقط من ميزة "الدمج".
2. طالب الوثيقة الكاملة: نموذج يقرأ المقال بأكمده في وقت واحد. احتفظ هذا الطالب بـ 90% من ميزة "الدمج" وكان أداؤه يضاهي أقوى نموذج ذكاء اصطناعي منفرد.

هذا يخبرنا شيئاً عميقاً: "الإشارة" لما يجده البشر مثيراً للاهتمام تعيش في بنية الوثيقة الكاملة، وليس فقط في الجمل المحلية. لكي يكون الذكاء الاصطناعي محدداً جيداً، يحتاج إلى رؤية الصورة الكبيرة.

الخلاصة

لا تدعي هذه الورقة أن الذكاء الاصطناعي قد "حل" مشكلة القراءة. بدلاً من ذلك، فهي تعطينا إطاراً واقعياً:

1. المهمة محلولة إلى نصفها تقريباً. لم نصل بعد.
2. النصف غير المحلول يتعلق بالمعنى، وليس بالموقع. الحيل البسيطة لن تنجح؛ يجب على الذكاء الاصطناعي فهم النص.
3. أفضل ترقية رخيصة هي سؤال عدة نماذج. إذا كنت تريد أفضل النتائج الآن، فلا تستخدم ذكاءً اصطناعياً واحداً فقط. اسأل خمسة نماذج مختلفة واجمع إجاباتها. إنها حيلة بسيطة تتفوق على أفضل نموذج منفرد.

يحذر المؤلفون أيضاً من أنه مع زيادة ذكاء نماذج الذكاء الاصطناعي وبدء اتفاقها مع بعضها البعض، فإن "ميزة الدمج" هذه قد تتقلص. ولكن في الوقت الحالي، إذا كنت تبني "ذكاءً اصطناعياً للتحديد"، فإن الوصفة بسيطة: لا تعتمد على عقل واحد؛ استخدم لجنة.