DatedGPT: Preventing Lookahead Bias in Large Language Models with Time-Aware Pretraining
تقدم الورقة البحثية DatedGPT، وهي عائلة من اثني عشر نموذجاً لغوياً بـ 1.3 مليار معلمة، تم تدريبها على بيانات مقسمة زمنياً بحدود سنوية صارمة من عام 2013 إلى عام 2024 للقضاء على انحياز الاستشراف في التنبؤ المالي مع الحفاظ على أداء تنافسي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مستشاراً مالياً لمساعدتك في التنبؤ بحالة سوق الأسهم في العام المقبل. أنت تريد أن يكون عبقرياً، ولكنك تريد أيضاً أن يكون صادقاً بشأن ما يعرفه.
المشكلة في معظم نماذج الذكاء الاصطنا මාديثة (نماذج اللغات الكبيرة) هي أنها تشبه الطلاب الذين استرقوا النظر سراً إلى نموذج الإجابة قبل خوض الاختبار. لقد تم تدريبهم على الإنترنت بأكمله، والذي يتضمن أخبار عام 2024. لذا، إذا سألتهم: "ماذا حدث لسوق الأسهم في عام 2024؟" فقد يعطونك إجابة مثالية. لكن هذا ليس لأنهم أذكياء في التنبؤ بالمستقبل؛ بل لأنهم رأوا المستقبل بالفعل في بيانات التدريب الخاصة بهم. في التمويل، يُسمى هذا "انحياز الاستشراف" (Lookahead Bias)، وهو ما يجعل تنبؤاتهم عديمة الفائدة للاستثمار في العالم الحقيقي.
إليك DATEDGPT.
تشبيه "أمين المكتبة المسافر عبر الزمن"
فكر في الباحثين وراء هذه الورقة البحثية كفريق من أمناء المكتبة المسافرين عبر الزمن.
بدلاً من إعطاء نموذج ذكاء اصطناعي واحد تاريخ الإنترنت بأكمله (وهو أمر فوضوي ومليء بـ "الحرق" أو تسريبات الأحداث)، قاموا ببناء 12 مكتبة منفصلة، واحدة لكل عام من عام 2013 إلى عام 2024.
- مكتبة 2013: تحتوي فقط على الكتب والأخبار والمواقع الإلكترونية المتاحة حتى 31 ديسمبر 2013.
- مكتبة 2020: تحتوي على كل شيء حتى عام 2020، ولكن لا شيء من عام 2021 أو 2022 أو 2023.
- مكتبة 2024: تحتوي على أحدث البيانات، ولكنها تتوقف بصرامة عند نهاية عام 2024.
بعد ذلك، قاموا بتدريب "طالب" ذكاء اصطناعي محدد لكل مكتبة. الطالب الذي درس في مكتبة 2013 لم يسمع قط عن ChatGPT، أو جائحة 2020، أو انتخابات 2024. إذا سألتهم عن هذه الأشياء، فهم لا يعرفونها حقاً. هم لا "ينسون"؛ بل لم يتم تعليمهم هذه المعلومات أبداً.
كيف فعلوا ذلك (الوصفة)
- المكونات (البيانات): أخذوا كومة ضخمة من نصوص الإنترنت (حوالي 100 مليار كلمة سنوياً) وقسموها بدقة حسب التاريخ الذي تم فيه سحب (العثور على) البيانات بواسطة محركات البحث. لقد تأكدوا من عدم تسلل أي مكونات "مستقبلية" إلى أواني "الماضي".
- الطهي (التدريب): قاموا بطهي 12 نموذج ذكاء اصطناعي منفصل من الصفر. كل نموذج تناول فقط الطعام المتاح في عامه المحدد.
- الخلطة السرية (ضبط التعليمات): لجعل هذه النماذج روبوتات دردشة مفيدة، علموهم كيفية اتباع التعليمات (مثل "اكتب بريداً إلكترونياً" أو "حلل هذه الأخبار"). لكنهم كانوا حذرين للغاية هنا أيضاً؛ فقد قاموا بتصفية أي تعليمات تذكر أحداثاً مستقبلية. على سبيل المثال، لن يطلبوا من نموذج 2018 "كتابة سيناريو عن أولمبياد 2020" لأن ذلك يعتبر غشاً.
لماذا يهم هذا الأمر: اختبار "الارتباك" (Perplexity)
كيف نعرف أن نموذج 2020 لا يعرف حقاً ما حدث في 2021؟
استخدم الباحثون اختباراً يسمى الارتباك (Perplexity). تخيل أنك تقرأ كتاباً؛ إذا كان الكتاب يتحدث عن أشياء قرأتها من قبل، فسيكون من السهل فهمها (ارتباك منخفض). أما إذا كان يتحدث عن أشياء لم ترها من قبل، فسيكون الأمر مربكاً (ارتباك عالٍ).
لقد غدوا نموذج 2020 بعناوين إخبارية من عام 2013، 2014، وصولاً إلى عام 2024.
- قبل عام 2020: كان النموذج يفهم الأخبار بسهولة (ارتباك منخفض).
- بعد عام 2020: أصبح النموذج فجأة مرتبكاً جداً (ارتباك عالٍ) لأنه لم يرَ هذه الكلمات من قبل.
هذه "القفزة" في الارتباك أثبتت أن النموذج كان أعمى حقاً عن المستقبل. لم يكن يتظاهر فحسب؛ بل كان غير مدرك للأمر فعلياً.
النتيجة: أداة تنبؤ عادلة
تظهر الورقة البحثية أن هذه النماذج "المسافرة عبر الزمن" ذكية حقاً. وعلى الرغم من أنها أصغر من نماذج الذكاء الاصطناعي العملاقة التي يستخدمها الجميع اليوم، إلا أنها تؤدي بشكل جيد في المهام العامة مثل الإجابة على الأسئلة أو كتابة القصص.
لكن قوتها الخارقة هي النزاهة.
- إذا كنت تريد معرفة ما كان مستثمر في عام 2019 سيفكر فيه بشأن سهم ما، فاسأل نموذج 2019.
- إذا كنت تريد معرفة ما يفكر فيه مستثمر في عام 2024، فاسأل نموذج 2024.
لقد وفروا عرضاً تجريبياً للويب (مثل واجهة دردشة لآلة الزمن) حيث يمكنك التنقل بين هذه النماذج لترى كيف تتغير إجاباتهم مع مرور الوقت.
باختدصار
DATEDGPT هي عائلة من نماذج الذكاء الاصطناعي التي تعمل مثل مؤرخين صادقين. إنهم لا يغشون عبر استراق النظر إلى المستقبل. لقد صُمموا خصيصاً لمهام التمويل والتنبؤ حيث يؤدي معرفة الإجابة قبل وقوع الحدث إلى إفساد اللعبة بأكملها. من خلال قطع معرفتهم بصرامة عند تاريخ محدد، يضمنون أن تنبؤاتهم مبنية على ما كان معروفاً بالفعل في ذلك الوقت، وليس على ما حفظوه سراً من الغد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.