Temporal Leakage in Search-Engine Date-Filtered Web Retrieval: A Retrospective Forecasting Case Study
تُثبت هذه الورقة أن مرشحات التاريخ في محركات البحث غير موثوقة لتقييمات التنبؤ الاسترجاعي بسبب التسرب الزمني واسع النطاق، مما يؤدي إلى تضخيم دقة التنبؤ بشكل كبير ويستلزم استخدام ضمانات استرجاع أقوى أو لقطات ثابتة للويب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تخوض امتحاناً في التاريخ، ولكن بدلاً من اختبار ما كنت تعرفه قبل تاريخ معين، يُسمح لك سراً بالنظر إلى نموذج الإجابة المكتوب في المستقبل. ستتفوق في الاختبار بجدارة، لكن هذا لن يثبت أنك تعرف التاريخ حقاً؛ بل سيثبت فقط أن لديك آلة زمن.
هذا هو بالضبط ما اكتشفته دراسة جديدة أجراها باحثون من جامعة كاليفورنيا في سان دييغو وجامعة شيكاغو حول كيفية اختبار "متنبئي الحظ" من الذكاء الاصطناعي.
الإعداد: اختبار "السفر عبر الزمن"
يريد الباحثون معرفة ما إذا كانت نماذج الذكاء الاصطناعي (مثل تلك التي تشغل روبوتات الدردشة) جيدة في التنبؤ بالمستقبل. ولاختبار ذلك بشكل عادل، يستخدمون طريقة تسمى التنبؤ الاسترجاعي (Retrospective Forecasting).
إليك كيف يُفترض أن يعمل الأمر:
- اختر سؤالاً تمت الإجابة عليه بالفعل (مثال: "هل ستندلع حرب معينة في عام 2023؟").
- قل للذكاء الاصطناعي: "يمكنك فقط الاطلاع على المقالات الإخبارية المنشورة قبل اندلاع الحرب".
- اطلب من الذكاء الاصطناعي التنبؤ بالنتيجة بناءً على تلك المعلومات القديمة فقط.
ولفرض هذه القاعدة، يستخدم معظم الباحثين حيلة بسيطة: يخبرون جوجل أو DuckDuckGo: "أظهر لي مقالات من قبل [التاريخ X]". ويفترضون أن محرك البحث يعمل كأمين مكتبة صارم لا يسلمهم إلا الكتب المنشورة قبل ذلك التاريخ.
المشكلة: أمين المكتبة نائم
قرر الباحثون التدقيق في عمل هذا "الأمين" (جوجل وDuckDuckGo) ليروا ما إذا كانوا يقومون بوظيفتهم حقاً. ووجدوا أن الأمناء كانوا غارقين في النوم، مما سمح للمعلومات المستقبلية بالتسلل إلى أيدي الذكاء الاصطناعي.
التشبيه:
تخيل أنك تطلب من أمين مكتبة كتاباً عن "التسعينيات". أنت تحدد: "أريد فقط الكتب المطبوعة قبل عام 1995".
- المثالي: أمين المكتبة يسلمك كتاباً من عام 1992.
- الواقع: أمين المكتبة يسلمك كتاباً من عام 1992، ولكن شخصاً ما قد لصق قصاصة جريدة من عام 2024 على الغلاف الخلفي. أو أن الكتاب يحتوي على قسم "قراءات موصى بها" على الجانب يذكر حدثاً من عام 2023.
ما وجدوه
كانت الدراسة ضخمة، حيث فحصت ما يقرب من 400 سؤال مختلف ونظرت في أكثر من 70,000 صفحة ويب. وكانت النتائج صادمة:
- التسريب في كل مكان: على جوجل، كان 71% من الأسئلة تحتوي على صفحة واحدة على الأقل تكشف بالخطأ الإجابة المستقبلية. وعلى DuckDuckGo، كانت النسبة 81%.
- تأثير "حرق الأحداث" (Spoiler): في ما يقرب من نصف الأسئلة (41% على جوجل، 55% على DuckDuckGo)، لم يكن على الذكاء الاصطناعي حتى أن يخمن؛ فالإجابة كانت مكتوبة حرفياً على الصفحة التي كان من المفترض أن يقرأها.
- مهارة مزيفة: عندما سُمح للذكاء الاصطناعي بقراءة هذه الصفحات "المسربة"، بدا وكأنه عبقري. فقد ارتفعت دقة تنبؤاته بشكل هائل. ولكن عندما أعطاه الباحثون صفحات "نظيفة" فقط (بدون معلومات مستقبلية)، انخفض أداؤه إلى مستوى التخمين العشوائي.
الاستعارة:
الأمر يشبه طالباً يؤدي اختباراً في الرياضيات.
- مع الصفحات المسربة: يرى الطالب الإجابة مكتوبة في هامش الكتاب المدرسي، فيحصل على درجة امتياز.
- بدون الصفحات المسالمة: يضطر الطالب لحل المسألة الرياضية فعلياً، فيحصل على تقدير "جيد".
- الاستنتاج: درجة الامتياز لم تعنِ أن الطالب ذكي؛ بل عنت أن الكتاب المدرسي معيب.
كيف تسلل المستقبل؟
وجد الباحثون أربعة طرق رئيسية لحدوث هذا "السفر عبر الزمن":
- "المقال الحي": كُتب مقال إخباري في عام 2010، لكن الموقع استمر في تحديثه في عام 2024 لإضافة حقائق جديدة. أظهر محرك البحث عنوان عام 2010، لكن المحتوى كان من عام 2024.
- "جاسوس الشريط الجانبي": المقال الرئيسي قديم وآمن، لكن صندوق "المقالات ذات الصلة" على الجانب أدرج قصة جديدة تماماً كشفت الإجابة.
- "دليل القطعة المفقودة": أحياناً، يدرج مقال ما كل ما حدث حتى نقطة معينة، لكنه لا يذكر حدثاً كبيراً وقع لاحقاً. أدرك الذكاء الاصطناعي: "مهلاً، إذا كانت هذه الحرب الكبيرة قد حدثت، فلماذا ليست موجودة في هذه القائمة؟" واستنتج الإجابة.
- "الساعة المعطلة": ادعى الموقع أن المقال يعود لعام 2015، لكن النص بداخله ذكر بوضوح أحداثاً من عام 2023. لقد وثق محرك البحث في الساعة المعطلة، وليس في المحتوى.
لماذا يهم هذا؟
إذا استمررنا في استخدام فلاتر البحث المعيبة هذه، فسنعتقد أن الذكاء الاصطناعي أفضل بكثير في التنبؤ بالمستقبل مما هو عليه في الواقع. قد نثق في هذه الأنظمة لاتخاذ قرارات مهمة في الأعمال أو السياسة أو العلوم، لنكتشف لاحقاً أنها كانت مجرد "تغش" عبر قراءة المستقبل.
الحل
يقترح الباحثون أن نتوقف عن الاعتماد على محركات البحث لتعمل كآلات زمن. بدلاً من ذلك، يجب أن نستخدم "اللقطات المجمدة" (Frozen Snapshots).
التشبيه:
بدلاً من أن تطلب من أمين مكتبة العثور على كتاب قديم (قد يكون قد تم تحديثه)، يجب أن نذهب إلى متحف حيث الكتب موضوعة في صناديق زجاجية مغلقة من سنة معينة. لا يمكن تحديثها، ولا يمكن تسريب ملاحظات مستقبلية إليها. هذا يضمن اختبار الذكاء الاصطناعي بناءً على ما كان يعرفه حقاً في ذلك الوقت، وليس بناءً على ما يمكنه العثود إليه على الإنترنت اليوم.
باختصار: الإنترنت مكان فوضوي ومتغير باستمرار. إذا كنت تريد اختبار قدرة الذكاء الاصطناعي على التنبؤ بالمستقبل، فلا يمكنك السماح له بتصفح الإنترنت اليوم. عليك أن تحبسه في غرفة مع كبسولة زمنية من الماضي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.