In-Context Density Estimation for Tabular Data

تخيل أنك تحاول فهم مدينة جديدة. في الأيام الخوالي، إذا أردت معرفة أين تتجمع الحشود عادةً، أو أين تقع المتنزهات الهادئة، أو أين تختبئ الأزقة الخطرة، كان عليك استئجار فريق مختلف من رسامي الخرائط لكل حي على حدة. كان كل فريق يقضي أسابيع في دراسة كتلة واحدة فقط، ويرسم خريطته الخاصة، ثم يحزم أمتعته لينتقل إلى التالي. كان الأمر بطيئاً، ومكلفاً، ويتطلب مجموعة مختلفة من الأدوات لكل مهمة.

في عالم علوم الحاسوب، وتحديداً في مجال يُسمى تعلم الآلة، كان هذا هو بالضبط كيف نتعامل مع البيانات الجدولية (Tabular Data) — ذلك النوع من البيانات الذي يشبه جداول البيانات المكونة من صفوف وأعمدة. الهدف هو تقدير الكثافة (Density Estimation): أي معرفة أين تتركز "كتلة الاحتمالية". فكر في هذا كخريطة توضح مدى ازدحام المناطق المختلفة. إذا عرفت أين تكون البيانات مزدحمة، يمكنك رصد الشواذ الغريبة (Anomalies)، أو اكتشاف الأشياء التي لا تنتمي للمكان (Out-of-distribution detection)، أو حتى ابتكار بيانات وهمية جديدة وواقعية للمساعدة في تدريب حواسيب أخرى (Data Augmentation). لسنوات طويلة، كانت القاعدة هي: "مجموعة بيانات واحدة، نموذج واحد مخصص لها". ولكن ماذا لو كان بإمكانك بناء دليل ذكي للغاية يتعلم "مهارة" رسم الخرائط، بدلاً من مجرد حفظ خريطة محددة؟

هنا يأض ببحث جديد يقدم ICED (مُقدّر كثافة يعتمد على الطاقة في سياق واحد - In-Context Energy-based Density estimator). لقد بنى الباحثون، من جامعة ياغيلونيان في بولندا، نموذج ذكاء اصطناعي واحداً ثابتاً يعمل كدليل عالمي للمدن. فبدلاً من إعادة تدريب نموذج جديد لكل جدول بيانات جديد، يقرأ ICED البيانات التي تقدمها له كـ "سياق" (Context) ويخبرك فوراً بمدى "كثافة" أو ازدحام أي نقطة معينة. وهو يفعل ذلك دون الحاجة إلى التعلم أو الضبط أو التعديل لأي شيء بالنسبة للبيانات الجديدة. إنه يشبه امتلاك دليل درس ملايين المدن المختلفة أثناء تدريبه، ويمكنه الآن الدخول إلى مدينة جديدة تماماً، والنظر في شوارعها، والإشارة فوراً إلى الميادين المزدحمة والزوايا الفارغة والمريبة بنظرة واحدة.

المشكلة: نهج "الواحد لا يناسب الجميع"

لفترة طويلة، إذا أردت العثور على إبرة في كومة قش (شذوذ)، أو توليد قش جديد (تعزيز البيانات)، كان عليك بناء آلة مخصصة لتلك الكومة تحديداً. كنت تغذيها بالبيانات، وتضبط أزرارها (المعلمات الفائقة)، وتأمل أن تتعلم شكل تلك الكومة المعينة. وإذا حصلت على كومة قش جديدة ذات شكل مختلف، كان عليك البدء من الصفر مرة أخرى.

يجادل البحث بأن هذا النهج غير فعال. فبينما انتقلت مجالات أخرى مثل معالجة اللغات نحو "نماذج التأسيس" (Foundation Models) — وهي عقول ذكاء اصطناعي ضخمة تتعلم القواعد العامة ويمكن تطبيقها على مهام جديدة فوراً — ظل تقدير الكثافة للبيانات الجدولية عالقاً في الطريقة القديمة. حتى نماذج التأسيس الموجودة حالياً للجداول عادة ما تحل مشكلة واحدة محددة فقط، مثل تصنيف ما إذا كان البريد الإلكتروني مزعجاً أو التنبؤ بسعر منزل؛ فهي لا تمنحك الخريطة الأساسية لـ أين تعيش البيانات.

الحل: صانع خرائط عالمي

ابتكر المؤلفون ICED، وهو نموذج يعتمد على تقنية المحول (Transformer) (وهي نفس البنية التي تقف وراء العديد من برامج الدردشة الآلية الحديثة). إليك كيف يعمل، باستخدام تشبيه مرح:

تخيل أنك تقوم بتدريب محقق. بدلاً من إظهار مسرح جريمة واحد له وطلب حل القضية، تعرض عليه ملايين مسارح الجريمة المختلفة، مع كتابة الإجابات في الهوامش. أنت تعلمه التعرف على الأنماط: "آه، عندما تكون النوافذ مكسورة والأرضية مبتلة، فمن المرجح أن يكون المشتبه به هنا".

تم تدريب ICED على أولوية اصطناعية (Synthetic Prior). وهذا يعني أن الباحثين لم يكتفوا بتغذيته ببيانات من العالم الحقيقي فحسب؛ بل بنوا كوناً اصطناعياً هائلاً من البيانات. لقد أنشأوا ملايين مجموعات البيانات الوهمية بأشكال غريبة متنوعة: بعضها كان ناعماً ومستديراً (Gaussian)، وبعضها له أذيال طويلة وثقيلة (Heavy-tailed)، وبعضها ملتوٍ في منحنيات معقدة (Flows)، وبعضها يحتوي على أنواع مختلطة من المعلومات (مثل الأرقام والفئات). والأهم من ذلك، ولأنهم هم من صنعوا هذه البيانات، فقد عرفوا "الكثافة الحقيقية" لكل نقطة بدقة.

تعلم النموذج كيفية النظر إلى مجموعة بيانات (السياق) ونقطة معينة (الاستعلام) والتنبؤ بـ الطاقة (Energy). في هذا البحث، "الطاقة" هي مجرد كلمة منمقة لـ "الكثافة غير المعيرة". فكر في الأمر كخريطة ارتفاعات: الطاقة العالية تعني منطقة مزدحمة وآمنة ونمطية؛ والطاقة المنخفضة تعني منطقة منعزلة أو مريبة أو فارغة. لا يحتاج النموذج إلى حساب المساحة الإجمالية للمدينة (وهو أمر مستحيل رياضياً القيام به بشكل مثالي)؛ بل يحتاج فقط إلى معرفة أي المواقع أعلى من غيرها.

ما يمكن لـ ICED فعله (دون بذل مجهود شاق)

بمجرد تدريب ICED، يصبح ثابتاً. لا يتغير أبداً. يمكنك بعد ذلك استخدام هذا النموذج الواحد والثابت للقيام بأربع وظائف مختلفة تماماً، في آن واحد، دون إعادة تدريب:

1. تقدير الكثافة: يخبرك بمدى نمطية نقطة بيانات معينة.
2. كشف الشذوذ: يرصد الغرباء. إذا كانت النقطة ذات طاقة منخفضة جداً (أي أنها في "وادي" بعيد عن الزحام)، فإن ICED يصنفها كشذوذ.
3. كشف التوزيع الخارج عن النطاق (OOD): يخبرك ما إذا كانت قطعة بيانات جديدة لا تنتمي للمجموعة على الإطلاق.
4. تعزيز البيانات: يمكنه إنشاء نقاط بيانات وهمية جديدة تبدو حقيقية. يقوم بذلك عبر اتباع "تدرج الطاقة" (مثل متسلق يسير صعوداً نحو المناطق الأكثر ازدحاماً) لإنشاء عينات تتناسب مع النمط.

النتائج: سريع، دقيق، وعالمي

اختبر الباحثون ICED مقابل قائمة كبيرة من الأساليب الأخرى، من الإحصاء التقليدي إلى نماذج التعلم العميق الحديثة.

• السرعة: نظرًا لأن ICED لا يحتاج إلى التدريب على البيانات الجديدة، فهو سريع للغاية. يشير البحث إلى أنه أسرع بنحو 50 مرة من بعض النماذج المتقدمة الأخرى (مثل TabPFN) لأنه يقوم بكل شيء في تمريرة أمامية واحدة. إنه يشبه التقاط صورة للمدينة مقابل قضاء أسابيع في رسمها يدوياً.
• الدقة: في الاختبارات الاصطناعية حيث عرفوا الحقيقة الأرضية، كان ICED باستمرار الأفضل أو الثاني الأفضل في ترتيب النقاط بشكل صحيح. لم يكن يخمن فحسب؛ بل فهم شكل البيانات.
• المتانة: هذا هو الجزء الأكثر إثارة للإعجاب. عندما كانت بيانات "السياق" ملوثة بالضجيج (بمعنى أن بيانات التدريب نفسها كانت تحتوي على بعض النقاط السيئة المختلطة)، انهارت العديد من النماذج الأخرى. انخفض أداؤها بشكل كبير، بينما ظل ICED ضمن أفضل ثلاثة نماذج. لقد بُني للتعامل مع البيانات الفوضوية، والثقيلة، والمشوشة أثناء تدريبه، لذا لم يصاب بالذعر عندما أصبح العالم الحقيقي فوضوياً.
• توليد البيانات: عندما استُخدم لإنشاء بيانات وهمية لتدريب مصنفات أخرى، كان أداء ICED يضاهي أفضل الأدوات المتخصصة (مثل TabEBM)، بل وتفوق عليها في كثير من الأحيان.

العقبة (والمستقبل)

يعترف البحث بحدوده. يوفر لك ICED خريطة "نسبية". يمكنه إخبارك أن النقطة (أ) أكثر ازدحاماً من النقطة (ب)، لكنه لا يعطيك رقماً احتمالياً معايراً مثالياً (مثل "هناك احتمال 45.2% أن يحدث هذا") دون خطوة إضافية. أيضاً، بما أنه ينظر إلى مجموعة البيانات بأكملها، فإذا كانت مجموعة بياناتك ضخمة جداً، فقد يصبح بطيئاً قليلاً، رغم أن المؤلفين يشيرون إلى إمكانية إدارة ذلك.

لا يدعي المؤلفون أنهم حلوا كل مشكلات الكون. هم يقترحون أن ICED خطوة قوية نحو التعامل مع تقدير الكثافة كـ أداة أولية قابلة لإعادة الاستخدام. وكما أننا لم نعد نبني محركاً جديداً لكل سيارة، قد نتوقف قريباً عن بناء نموذج كثافة جديد لكل جدول بيانات. يمكننا ببساطة استخدام الدليل العالمي الواحد، ICED، للتنقل في أي مشهد بيانات نلقي به إليه.

باخت-ة، ICED هو أداة "تعلم لمرة واحدة، واستخدم للأبد" تحول العملية المعقدة والبطيئة لرسم خرائط البيانات إلى نظرة خاطفة وآنية. وهو يثبت أنك لست بحاجة إلى إعادة اختراع العجلة لكل مجموعة بيانات جديدة؛ بل تحتاج فقط إلى عجلة تعرف كيف تتدحرج على أي تضاريس.