ITGPT: Generative Pretraining on Irregular Timeseries
تقدم الورقة البحثية ITGPT، وهي بنية قائمة على آلية الانتباه تستفيد من التدريب المسبق ذاتي الإشراف والتوليدي لتحقيق أداء رائد في السلاسل الزمنية متعددة الوسائط وغير منتظمة العينات دون الحاجة إلى إعادة أخذ العينات، أو دمج الميزات، أو الاستكمال الصريح للبيانات، وتتفوق بشكل خاص في السيناريوهات ذات الملصقات النادرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التنبؤ بموعد تعطل محرك سيارة أو متى قد تسوء حالة مريض صحية. عادةً ما يكون لديك مجموعة من المستشعرات المختلفة التي تراقب هذه الأنظمة. بعض هذه المستشعرات تشبه الكاميرات عالية السرعة، حيث تلتقط 500 صورة في الثانية. والبعض الآخر يشبه الحلزونات بطيئة الحركة، حيث تأخذ قياساً واحداً فقط في اليوم.
المشكلة هي أن هذه المستشعرات لا تتواصل مع بعضها البعض وفق نفس الجدول الزمني؛ فهي ذات عينات غير منتظمة. بعض البيانات مفقودة، وبعضها متأخر، وكلها غير متزامنة. النماذج الحاسوبية التقليدية تشبه المحاسبين الجامدين؛ فهي تكره هذه الفوضى. لكي تجعلها تعمل، يتعين عليك عادةً إجبار جميع البيانات على الدخول في شبكة منتظمة (إعادة أخذ العينات)، أو تخمين الأرقام المفقودة (التعويض)، أو دمجها جميعاً في صورة واحدة ضبابية (دمج الميزات). هذا يشبه محاولة وضع وتد مربع في ثقب مستدير—فهو يهدر المعلومات ويتطلب الكثير من العمل اليدوي.
إليك ITGPT.
قام مؤلفو هذه الورقة البحثية ببناء نوع جديد من الذكاء الاصطناي يسمى ITGPT، وهو نموذج مرتاح للتعامل مع الفوضى. فكر في ITGPT ليس كمحاسب جامد، بل كـ قائد أوركسترا بارع يقود فرقة موسيقية يعزف كل فرد فيها بإيقاعه الخاص ويتوقف متى شاء.
كيف يعمل ITGPT: استعارة "المرساة"
بدلاً من إجبار الموسيقيين على تغيير إيقاعهم، يستخدم ITGPT حيلة ذكية تتضمن "مرساة" (Anchor).
- المشفّر (المترجم): تخيل البيانات غير المنتظمة من جميع مستشعراتك (الموسيقيين) وهي تتدفق إلى مترجم. هذا المترجم يستمع إلى كل آلة، بغض النظر عن سرعة أو بطء عزفها، ويحول إيقاعاتها الفريدة والفوضوية إلى لحن واحد سلس ومتزامن (المرساة). يحدث هذا دون فقدان التفاصيل الفريدة لأي آلة بمفردها.
- فك التشفير (إعادة الإنشاء): بعد ذلك، يأخذ جزء ثانٍ من الذكاء الاصطناعي ذلك اللحن السلس ويحاول إعادة إنشاء الأصوات الفوضوية الأصلية لكل آلة على حدة.
من خلال تدريب الذكاء الاصطناعي على لعبة "الترجمة وإعادة الإنشاء" هذه مراراً وتكراراً، فإنه يتعلم الأنماط العميقة لكيفية سلوك هذه الأنظمة، حتى عندما تكون البيانات مفقودة أو غير منتظمة. الأمر يشبه تعلم لغة من خلال الاستماع إلى قصة ثم إعادة سردها، بدلاً من مجرد حفظ القاموس.
التعلم بدون معلم (التعلم الخاضع للإشراف الذاتي)
عادةً، لتعليم الكمبيوتر التنبؤ بحدوث عطل، تحتاج إلى قائمة ضخمة من الأمثلة حيث حدث العطل بالفعل، ومصنفة من قبل خبير. ولكن في العالم الحقيقي (مثل المستشفيات أو أساطيل الشاحنات)، تكون هذه التصنيفات من الخبراء نادرة ومكلفة.
يحل ITGPT هذه المشكلة من خلال وضعين خاصين للتدريب:
- لعبة "ملء الفراغات" (SSL): يُعرض على الذكاء الاصطناعي قطعة من البيانات ويُطلب منه التنبؤ بالقطعة التالية التي يجب أن تأتي، بناءً على ما رآه للتو. يقوم بذلك لجميع البيانات، سواء كانت مصنفة أم لا. الأمر يشبه قراءة كتاب ومحاولة تخمين الكلمة التالية في كل جملة. هذا يعلم الذكاء الاصطناعي "قواعد" البيانات دون الحاجة إلى معلم يخبره إذا كان صحيحاً أم لا.
- استراتيجية "التدريب المسبق ثم الضبط الدقيق" (GPT): أولاً، يلعب الذكاء الاصطناعي لعبة "ملء الفراغات" على كومة ضخمة من البيانات غير المصنفة ليصبح ذكياً. ثم، يحصل على كمية صغيرة جداً من البيانات المصنفة (ملاحظات الخبير) ليتعلم المهمة المحددة للتنبؤ بالأعطال.
ما الذي وجدوه
اختبر الباحثون ITGPT على فوضى من واقع الحياة الحقيقية:
- الرعاية الصحية (TIHM): مراقبة الأشخاص المصابين بالخرف باستخدام مستشعرات سجلت النوم، معدل ضربات القلب، وضغط الدم في أوقات مختلفة.
- الشاحنات (CompX): التنبؤ بموعد تعطل أجزاء من الشاحنات الثقيلة، باستخدام بيانات من 28,000 مركبة ذات قراءات مستشعرات غير منتظمة.
النتائج:
- لا مزيد من التنظيف: لم يحتاج ITGPT إلى إعادة أخذ العينات، أو ملء القيم المفقودة، أو إجبار البيانات على الدخول في شبكة. لقد تعامل مع البيانات الخام والفوضوية مباشرة.
- الفوز بتصنيفات قليلة: عندما أعطى الباحثون الذكاء الاصطناعي عدداً قلي ضئيلاً جداً من تصنيفات الخبراء (مثل إظهار 0.1% فقط من البيانات له)، حقق ITGPT الذي استخدم تدريب "ملء الفراغات" (SSL) أداءً أفضل بكثير من النماذج التي حاولت فقط حفظ التصنيفات القليلة التي لديها.
- أفضل ما توصل إليه العلم (State-of-the-Art): في مجموعة بيانات الشاحنات، حقق ITGPT أفضل النتائج المسجلة على الإطلاق لهذه المهمة المحددة، مما يثبت أن تعلم "قواعد" البيانات أولاً يساعده على فهم "القصة" لاحقاً.
الخلاًصة
ITGPT هو أداة جديدة تتيح لنا استخدام البيانات الضخمة، الفوضوية، وغير المنتظمة التي نمتلكها بالفعل في العالم الحقيقي دون قضاء أسابيع في تنظيفها. إنه يتعلم من خلال لعب الألعاب بالبيانات نفسها، مما يجعله قوياً للغاية عندما لا نملك الكثير من تصنيفات الخبراء لتوجيهه. إنه خطوة نحو ذكاء اصطناعي يمكنه فهم العالم الحقيقي كما هو تماماً—غير منتظم، غير مكتمل، وفوضوي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.