🤖 machine learning

TSFMAudit: Data Contamination Auditing in Forecasting Time Series Foundation Models

تقدم هذه الورقة البحثية TSFMAudit، وهي الطريقة الأولى المصممة للكشف عن تلوث بيانات ما قبل التدريب في نماذج التأسيس للسلاسل الزمنية من خلال الاستفادة من الحدس القائل بأن مجموعات البيانات الملوثة تُظهر ديناميكيات تكيف فعالة بشكل غير عادي أثناء الضبط الدقيق.

المؤلفون الأصليون: Hongkai Li, Shifeng Xie, Lefei Shen, Zhuo Li, Mouxiang Chen, Xiaobin Zhang, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hongkai Li, Shifeng Xie, Lefei Shen, Zhuo Li, Mouxiang Chen, Xiaobin Zhang, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف طباخاً لإعداد طبق معقد لحفلة عشاء كبيرة. تريد أن تعرف ما إذا كان هذا الطباخ عبقرياً حقاً يستطيع طبخ أي شيء من الصفر، أم أنه مجرد شخص حفظ وصفة الطبق المحدد الذي ستطلب منه إعداده.

هذه هي المشكلة التي يحلها TSFMAudit، ولكن بدلاً من الطهاة والوصفات، الأمر يتعلق بـ نماذج السلاسل الزمنية التأسيسية (وهي نماذج ذكاء اصطناعي فائقة الذكاء تتنبأ بأشياء مثل أسعار الأسهم، أو الطقس، أو حركة المرور) ومشكلة تلوث البيانات.

إليك تفصيل الورقة البحثية بكلمات بسيطة:

المشكلة: "الاختبار المسرب"

في عالم الذكاء الاصطناعي، يقوم الباحثون بتدريب النماذج على كميات هائلة من البيانات (مجموعة بيانات التدريب المسبق)، ثم يختبرونها على مجموعات بيانات محددة ليروا مدى جودتها.

المشكلة هي أنه في بعض الأحيان، تنتهي البيانات المستخدمة في الاختبار بالخطأ داخل كومة التدريب.

التشبيه: تخيل طالباً يذاكر لامتحان رياضيات. إذا وضع المعلم أسئلة الامتحان نفسها بالخطأ في دليل المذاكرة، فسيحصل الطالب على درجة كاملة. لكن هذا لا يعني أنه عبقري في الرياضيات؛ بل يعني أنه حفظ الإجابات فقط.
لما لماذا يصعب ذلك في السلاسل الزمنية؟ في النصوص (مثل الكتب)، يمكنك بسهولة اكتشاف ما إذا كانت جملة ما قد تم نسخها. ولكن بيانات السلاسل الزمنية (مثل رسم بياني لدرجة الحرارة على مدار عام) هي بيانات مستمرة. نفس النمط يمكن أن يبدو مختلفاً إذا غيرت الوحدات (من مئوية إلى فهرنهايت) أو تغير المقياس. لذا، من الصعب جداً معرفة ما إذا كان الذكاء الاصطناعي قد "رأى" هذه البيانات من قبل أم أنه بارع حقاً في التنبؤ بهذا النمط المحدد.

الحل: اختبار "المسبار" (The Probe Test)

ابتكر المؤلفون أداة تسمى TSFMAudit. بدلاً من مجرد النظر إلى النتيجة النهائية (التي يمكن تزييفها عن طريق الحفظ)، فإنهم يراقبون كيف يتعلم الذكاء الاصطناعي عندما تعطيه جزءاً صغيراً من التدريب الجديد.

فكر في الأمر كأنه اختبار لياقة بدنية:

الإعداد: لديك "نموذج مرشح" (الذكاء الاصطناعي الذي تقوم بفحصه) ومجموعة من "النماذج المرجعية" (نماذج جديدة لم ترَ البيانات بعد).
المسبار: تقدم لهم جميعاً "تمريناً" قصيراً جداً (بضع دقائق من الضبط الدقيق/Fine-tuning) على مجموعة البيانات المحددة التي تشتبه بها.
الملاحظة:
- النموذج النظيف: إذا لم يسبق للذكاء الاصطناعي رؤية هذه البيانات، فسيتعين عليه بذل جهد كبير. سيعرق كثيراً (تتغير إعداداته الداخلية كثيراً) ويتحسن أداؤه ببطء.
- النموذج الملوث: إذا كان هذا الذكاء الاصطناعي قد رأى هذه البيانات بالفعل خلال مرحلة تدريبه الكبرى، فإنه سيتعرف على النمط فوراً. لن يبذل جهداً يُذكر (تتغير إعداداته الداخلية بالكاد) وسيقفز أداؤه للأعلى بشكل فوري.

الرؤية الجوهرية: التلوث يظهر في شكل تكيف غير عادي في الكفاءة. "الغشاش" يتعلم بشكل أسرع وبجهد أقل.

كيف يجعلون الأمر عادلاً (مجموعة المراجع - The Reference Suite)

قد تقول: "ولكن ماذا لو كانت البيانات سهلة التنبؤ حقاً؟ حينها حتى النموذج النظيف سيتعلم بسرعة".

لحل هذه المشكلة، يستخدم المؤلفون مجموعة مراجع (Reference Suite). يقومون بتشغيل نفس الاختبار على أربعة نماذج أخرى مشابهة في الحجم ولكنها بالتأكيد لم ترَ البيانات من قبل.

التشبيه: تخيل أنك تحكم على عداء. إذا ركض مسافة 100 متر في 10 ثوانٍ، فهذا أمر مذهل. ولكن إذا كان المضمار عبارة عن منحدر للأسفل، فربما هو ليس سريعاً جداً. لذا، تجعل عدائين آخرين يركضون على نفس المضمار السهل. إذا كان عداؤك أسرع بكثير من الجميع على نفس المضمار السهل، فأنت تعلم أن لديه ميزة غير عادلة (مثل محرك مخفي).
يقوم TSFMAudit بمقارنة سرعة "النموذج المرشح" مقابل "النماذج المرجعية". إذا كان النموذج المرشح أكثر كفاءة بشكل مبالغ فيه مقارنة بالمراجع، فسيتم وسمه بأنه ملوث.

ماذا وجدوا؟

اختبر الفريق أداتهم على 6 نماذج مختلفة للذكاء الاصطناعي الخاص بالسلاسل الزمنية و 187 مجموعة بيانات مختلفة.

الأساليب القديمة فشلت: جربوا حِيلاً قديمة تُستخدم لنماذج النصوص (مثل التحقق مما إذا كانت درجة الخسارة/Loss منخفضة جداً)، لكنها لم تعمل جيداً مع السلالس الزمنية لأن بعض البيانات تكون بطبيعتها سهلة التنبؤ.
نجح TSFMAudit: من خلال مراقبة "العرق" (مقدار التغيير في النموذج) و"السرعة" (مدى سرعة تحسن النتيجة) أثناء عملية المسبار، استطاعوا رصد "الغشاشين" بشكل أفضل بكثير من أي طريقة أخرى.
التحقق من الواقع: اختبروا أداتهم على معيار جديد يسمى TIME. بما أن هذا المعيار تم بناؤه بعد تدريب النماذج، فمن المفترض أن يكون نظيفاً. أكد TSFMAudit أن هذه النماذج لم ترَ بيانات TIME، مما يثبت أن الأداة تعمل في الواقع.

الملخص

TSFMAudit هو "جهاز كشف الكذب" للذكاء الاصطناعي المتنبئ بالزمن. هو لا يسأل فقط: "هل حصلت على نتيجة جيدة؟" بل يسأل: "كم بذلت من الجهد للحصول على تلك النتيجة؟". إذا تعلم الذكاء الاصطناعي بسهولة مفرطة مقارنة بنظرائه، فمن المرجح أنه يعرف الإجابات مسبقاً. هذا يساعد الباحثين على التأكد من أنهم عندما يقولون إن الذكاء الاصطناعي ذكي، فهو ذكي حقاً، وليس مجرد غشاش حفظ الاختبار.

ملخص تقني: TSFMAudit – تدقيق تلوث البيانات في نماذج التأسيس للسلاسل الزمنية التنبؤية

1. صياغة المشكلة

تتعرض نماذج التأسيس للسلاسل الزمنية (TSFMs) بشكل متزايد للتدريب المسبق على مجموعات بيانات ضخمة وغير متجانسة مستمدة من مصادر متنوعة، سواء كانت واقعية أو اصطناعية. وبالتزامن مع ذلك، غالبًا ما يتم تجميع معايير التقييم المستخدمة على نطاق واسع (مثل GIFT-Eval وTIME) من نفس المصادر العامة. يخلق هذا التداخل خطرًا كبيرًا يتمثل في تلوث التدريب المسبق (pretraining contamination)، حيث تتعرض بيانات التقييم خلال مرحلة التدريب المسبق للنموذج. هذا التعرض يمكن أن يؤدي إلى تضخيم تقديرات الأداء اللاحقة بشكل مصطنع، مما يؤدي إلى تقييمات متفائلة للغاية لقدرات التعميم الخاصة بالنموذج.

إن تدقيق هذا التلوث في السلاسل الزمنية يمثل تحديًا فريدًا مقارنة بالنماذج اللغوية الكبيرة (LLMs) بسبب طبيعة البيانات:

الاستمرارية وعدم التجانس: السلاسل الزمنية هي قيم مستمرة، مما يجعل مطابقة النصوص أو الرموز (المستخدمة في كشف التداخل في النماذج اللغوية الكبيرة) غير قابلة للتطبيق.
الحساسية لمعالجة البيانات مسبقًا: يمكن أن تظهر نفس الإشارة الأساسية مرة أخرى بعد إعادة تغيير المقياس (rescaling)، أو إعادة التسمية، أو إعادة تقسيم النوافذ الزمنية (rewindowing)، أو غيرها من التحويلات، مما يجعل الكشف البسيط عن التكرار هشًا.
نقص التوثيق: غالبًا ما يكون توثيق مستوى المجموعة (corpus-level) غير مكتمل، مما يجعل من الصعب التحقق من التعرض عبر البيانات الوصفية (metadata) وحدها.
عدم موثوقية المقاييس الثابتة: تعتبر درجات الخسارة (loss) أو الارتياب (perplexity) الثابتة غير موثوقة كمؤشرات، لأن الاتجاهات الموسمية السلسة أو مجموعات البيانات السهلة يمكن أن تؤدي إلى خسارة منخفضة حتى بالنسبة للنماذج التي لم ترَ هذه البيانات من قبل.

تقوم الورقة بصياغة هدف تدقيق التلوث: بمعلومية نموذج مرشح $f_\theta$ ومجموعة بيانات مدققة $D$ ، يكون الهدف هو تقدير درجة $S(f_\theta, D)$ التي تقيس خطر تلوث التدريب المسبق، والتمييز بين الأزواج "النظيفة" و"الملوثة" دون الوصول إلى مجموعة بيانات التدريب المسبق الكاملة.

2. المنهجية: TSFMAudit

يقترح المؤلفون إطار عمل TSFMAudit القائم على ديناميكيات تكيف المسبار (probe adaptation dynamics). الحدس الجوهري هو أن التلوث يتجلى في شكل تكيف فعال بشكل غير عادي أثناء عملية الضبط الدقيق للمسبار.

ملاحظات رئيسية:

التكيف الفعال: إذا كان النموذج قد قام بالفعل بترميز هياكل تنبؤية محددة لمجموعة بيانات ما أثناء التدريب المسبق، فإنه سيتطلب قدرًا أقل من التكيف عند إجراء الضبط الدقيق لاحقًا على نفس مجموعة البيانات. ينتج عن ذلك انخفاض أسرع في الخسارة مع حركة ضئيلة في معاملات النموذج الأساسي (backbone parameters).
انحياز صعوبة مجموعة البيانات: التكيف السريع ليس حكرًا على النماذج الملوثة؛ فقد تتكيف النماذج "النظيفة" أيضًا بسرعة إذا كانت مجموعة البيانات سهلة بطبيعتها. وللتخفيف من ذلك، تقارن الطريقة النموذج المرشح بمجموعة مرجعية (Reference Suite) من النماذج ذات البنية المماثلة ولكنها لم تتعرض لمجموعة البيانات المستهدفة.

خط سير عمل TSFMAudit:

مرحلة المسبار (Probing Phase): يتم ضبط كل من النموذج المرشح ومجموعة من النماذج المرجعية ( $\mathcal{R}$ ) على مجموعة البيانات المدققة $D$ لعدد ثابت من العصور (epochs) ( $T_{probe}$ ).
استخراج الأثر (Trace Extraction): لكل عصر $t$ $t$ ، يقوم النظام بتسجيل:
- $\ell_t$ : خسارة التنبؤ.
- $w_t$ : الإزاحة التراكمية لـ $\ell_2$ لمعاملات النموذج الأساسي عن حالتها الأولية.
- المقاييس المشتقة: انخفاض الخسارة النسبي ( $d_t$ ) وكفاءة التكيف ( $a_t = d_t / w_t$ ).
إزالة الانحياز عبر المقارنة المرجعية: لإزالة انحياز صعوبة مجموعة البيانات، تتم مقارنة سمات أثر المرشح عنصرًا بعنصر مع أثر كل نموذج مرجعي. وهذا يولد سمات الفرق ( $\Delta$ ) والنسبة ( $\rho$ ).
التسجيل والمعايرة: يتم تدريب مقيّم خفيف الوزن (انحدار لوجستي) على مجموعة تدريب تدقيق باستخدام هذه السمات منزوعة الانحياز للتنبؤ باحتمالية التلوث.
- وضع العتبة (Thresholding): يتبنى النظام مبدأ "عدم اتهام الأبرياء" المحافظ (FP-0 calibration). يتم ضبط عتبة القرار $\tau$ لتكون أقصى درجة تم ملاحظتها في مجموعات التحقق المعروفة بأنها نظيفة، مما يضمن عدم تصنيف أي مجموعة بيانات نظيفة خطأً على أنها ملوثة.

3. المساهمات الرئيسية

أول دراسة منهجية: حسب علم المؤلفين، يعد هذا أول عمل يدرس ويقترح رسميًا طريقة لتدقيق تلوث التدريب المسبق خصيصًا لنماذج التأسيس للسلاسل الزمنية (TSFMs).
منهجية مبتكرة: تقديم TSFMAudit، الذي يستفيد من ديناميكيات التكيف أثناء وقت المسبار (الخسارة مقابل حركة المعاملات) بدلاً من الخسارة الثابتة أو استخراج الذاكرة.
إزالة الانحياز القائمة على المرجع: آلية للتحكم في صعوبة مجموعة البيانات من خلال مقارنة كفاءة تكيف المرشح مع مجموعة من النماذج المرجعية المدربة من الصفر أو على بيانات غير ذات صلة.
تقييم شامل: تم تقييم الطريقة على 6 نماذج TSFM (Chronos, TiRex, Moirai1/2, TimesFM2.0, Kairos) و 187 مجموعة بيانات (تجمع بين معايير GIFT-Eval وTIME)، مع مقارنتها بـ 10 نماذج أساسية مستمدة من أدبيات النماذج اللغوية الكبيرة.

4. النتائج التجريبية

تعالج التجارب أربعة أسئلة رئيسية تتعلق بفعالية الطريقة:

أداء الكشف (Q1): يتفوق TSFMAudit بشكل كبير على النماذج الأساسية ذات الخسارة الثابتة (الخسارة الخام، معدل انخفاض الخسارة)، ونماذج النسب المستوحاة من LiRA، والنماذج الأساسية في المجال الترددي. بينما تحقق المقاييس الثابتة معاملات ارتباط ماتيوس (MCC) قريبة من الصفر، يحقق TSFMAudit معامل MCC قدره 0.125 (في تكوين All Ref) و F1-Macro قدره 0.521. يشير المؤلفون إلى أن قيم MCC المطلقة تظل متواضعة، مما يعكس الصعوبة المتأصلة في المشكلة تحت معايرة FP-0 المحافظة والملصقات التقريبية (proxy labels) المشوشة.
تأثير إزالة الانحياز (Q2): إزالة الانحياز القائمة على المرجع أمر بالغ الأهمية. تفوقت جميع المتغيرات القائمة على المرجع على نموذج ديناميكيات المرشح وحده. حقق تكوين "All Ref" (باستخدام النماذج المرجعية الأربعة: ScratchCNN, ScratchTransformer, Stat, VisionTS) أفضل أداء إجمالي، مما يؤكد أن إشارات التكيف النسبية أكثر إفادة من الإشارات المطلقة.
فائدة السمات (Q3): يظهر تحليل استبعاد السمات (ablation) أنه لا توجد سمة واحدة كافية. كفاءة التكيف ( $a_t$ ) هي أقوى سمة فردية، مما يدعم الفرضية القائلة بأن التلوث يتميز بكفاءة عالية (انخفاض سريع في الخسارة، وحركة ضئيلة في المعاملات). ومع ذلك، فإن الجمع بين جميع سمات الديناميكيات (الخسارة، الإزاحة، الكفاءة) يعطي أفضل النتائج.
الانتشار العملي (Q4): تم اختبار الطريقة على معيار TIME، وهو معيار خارجي جديد لا يحتوي على تسميات تلوث. باستخدام مدقق ثابت تم تدريبه على بيانات سابقة، حدد TSFMAudit بشكل صحيح مجموعات بيانات TIME على أنها "نظيفة" (غير مسربة) بثقة عالية (معدل عدم التسريب المجمع > 95%)، مما يثبت فائدته في سيناريوهات النشر في العالم الحقيقي دون الحاجة لإعادة التدريب.

5. الأهمية والادعاءات

تدعي الورقة أن TSFMAudit يرسخ ديناميكيات وقت المسبر كأساس واعد لتدقيق تلوث البيانات الموثوق في السلاسل الزمنية.

تحول في النموذج (Paradigm Shift): ينتقل من المقاييس السابقة للمسبر (غير الموثوقة في السلاسل الزمنية) نحو التحليل الديناميكي للسلوك أثناء الضبط الدقيق.
الجدوى: يثبت أن تدقيق التلوث أمر ممكن حتى بدون الوصول إلى مجموعة بيانات التدريب المسبق أو القدرة على إعادة إنتاج التدريب المسبق على نطاق واسع، بشرط القدرة على سبر سلوك تكيف النموذج.
القيود: ظل المؤلفون متواضعين بشأن النتائج، معترفين بأن مشكلة الكشف صعبة. تشير درجات MCC المتواضعة إلى أنه على الرغم من تفوق الطريقة على النماذج الأساسية، إلا أنها ليست كاشفًا مثاليًا، خاصة تحت قيود الخطأ الإيجابي الصارمة وعند التعامل مع ملصقات تقريبية قد لا تلتقط جميع أشكال التسرب (مثل النسخ المكررة المحولة).

في الختام، يوفر TSFMAudit أول إطار عمل مخصص لتدقيق نماذج TSFM، مما يقدم نهجًا ديناميكيًا قويًا لتحديد تلوث البيانات الذي يأخذ في الاعتبار الطبيعة المستمرة وغير المتجانسة لبيانات السلاسل الزمنية.