Contextual Token Rotation Ensembles for Tabular Learning
تقدم هذه الورقة البحثية "مجموعات تدوير الرموز السياقية" (CTRE)، وهو إطار عمل جديد للتعلم الجدولي يعزز تنوع المجموعات وقوتها من خلال دمج تمثيلات الرموز السياقية القائمة على نماذج المحولات (Transformer) مع تدويرات الميزات التكيفية مع البيانات والمدركة للتفاعلات، متفوقاً بذلك على الطرق الكلاسيكية لا سيما في مجموعات البيانات عالية الأبعاد وغير المتوازنة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم علوم البيانات، تُحل بعض المشكلات من خلال النظر إلى الصور أو الاستماع إلى الأصوات، لكن العديد من القرارات الأكثر أهمية في مجالات التمويل والطب والهندسة تعتمد على جداول من الأرقام. هذه الجداول، المعروفة بالبيانات الجدولية، هي مزيج من أنواع مختلفة من المعلومات: فبعض الأعمدة تحتوي على قياسات مستمرة مثل درجة الحرارة أو الدخل، بينما تحتوي أعمدة أخرى على فئات مثل اللون أو المسمى الوظيفي. التحدي الذي يواجه الحواسيب هو أن هذه الأنواع المختلفة من البيانات لا تتناسب مع بعضها البعض بشكل طبيعي؛ إذ تجد الحاسوب يجد صعوبة في فهم كيفية ارتباط قيمة عددية معينة بفئة معينة ما لم يتم تعليمه رؤية الروابط الخفية بينهما. ولعقود من الزمن، حاول الباحثون بناء طرق أفضل لقراءة هذه الجداول، وغالبًا ما كان ذلك عبر دمج العديد من نماذج التنبؤ البسيطة في فريق واحد أكثر ذكاءً. هذا النهج، المسمى "تعلم المجموعات" (Ensemble Learning)، يعمل من خلال ضمان أن ينظر كل عضو في الفريق إلى البيانات بطريقة مختلفة قليلاً، بحيث تلغي أخطاؤهم الفردية بعضها البعض. ومع ذلك، فقد اعتمدت طريقة طويلة الأمد لإنشاء هذا التنوع على استراتيجية غير منظمة نوعًا ما: وهي تقسيم أعمدة البيانات عشوائيًا إلى مجموعات وخلطها. وبينما يخلق هذا التنوع، إلا أنه غالبًا ما يتجاهل حقيقة أن بعض الأعمدة مرتبطة ببعضها بشكل طبيعي، بينما تكون أعمدة أخرى غير مرتبطة تمامًا.
لقد طور فريق من الباحثين في جامعة نيو ساوث ويلز طريقة جديدة تسمى "مجموعات تدوير الرموز السياقية" (Contextual Token Rotation Ensembles - CTRE)، والتي تستبدل هذا الخلط العشوائي بعملية أكثر ذكاءً وإدراكًا للسياق. فبدلاً من معاملة كل عمود من البيانات كحقيقة معزولة، يتعلم نظامهم أولاً كيف تتحدث الأعمدة مع بعضها البعض. تخيل غرفة مليئة بالناس حيث يتحدث الجميع في وقت واحد؛ قد تختار الطريقة التقليدية مجرد مجموعة عشوائية من الناس للاستماع إليهم، آملةً في التقاط محادثة مفيدة. أما الطريقة الجديدة، فهي تستمع أولاً إلى الغرفة بأكملها لفهم من يتحدث بالفعل مع من، ثم تشكل مجموعات بناءً على تلك المحادثات الحقيقية. وقد حقق الباحثون ذلك باستخدام نوع من الذكاء الاصطناعي يُعرف باسم "المحول" (Transformer)، وهو مشهور بقدرته على فهم اللغة. لقد قاموا بتكييف هذه التكنولوجيا لتنظر إلى أعمدة جدول البيانات كما لو كانت كلمات في جملة. ومن خلال تدريب النظام على تخمين الأجزاء المفقودة من البيانات بناءً على الأعمدة المحيطة، يتعلم الحاسوب خريطة توضح أي الميزات تعتمد على بعضها البعض.
بمجرد تعلم خريطة العلاقات هذه، يستخدمها النظام لبناء فريقه من نماذج التنبؤ. في الطريقة العشوائية القديمة، قد يتم فصل عمودين مرتبطين بعمق في مجموعات مختلفة، بينما يتم دمج عمودين غير مرتبطين معًا قسرًا. أما في نهج CTRE الجديد، فيستخدم النظام هذه الخريطة المتعلمة لتوجيه عملية التجميع. فهو يجعل من المرجح وضع الأعمدة ذات الروابط القوية في نفس المجموعة، لكنه لا يزال يحتفظ بعنصر من العشوائية لضمان بقاء الفريق متنوعًا. وداخل كل من هذه المجموعات الأكثر ذكاءً، يقوم النظام بعملية تحويل رياضية تسلط الضوء على الأنماط الأكثر أهمية مع تصفية الضجيج. والأهم من ذلك، أضاف الباحثون خطوة لضمان عدم تسرب المعلومات المتعلمة في مجموعة واحدة إلى مجموعة أخرى عن طريق الخطأ؛ حيث يعيدون معالجة البيانات لكل مجموعة بشكل منعزل، بحيث يعتمد التنبؤ النهائي لكل مجموعة فقط على المتغيرات المخصصة لها، مما يحافظ على المنظور الفريد لكل عضو في الفريق.
تم اختبار نتائج هذا النهج الجديد على مجموعة واسعة من مجموعات البيانات الواقعية، بدءًا من السجلات الطبية وصولاً إلى أسعار المنازل وقراءات المستشعرات الصناعية. وفي المشكلات المعقدة وعالية الأبعاد حيث يوجد مئات الميزات المختلفة والعديد من أنواع البيانات المختلطة، تفوقت الطريقة الجديدة على أفضل التقنيات الموجودة. فعلى سبيل المثال، في مجموعة بيانات تتضمن شرائح من الأشعة المقطعية تحتوي على 384 ميزة مختلفة، قللت الطريقة الجديدة من خطأ التنبؤ بشكل كبير أكثر من أفضل المتفوقين السابقين. كما أظهرت قوة ملحوحة في التعامل مع البيانات غير المتوازنة بشدة، مثل مجموعة بيانات تمثل فيها نسبة ضئيلة جدًا من المدخلات فشلًا نادرًا أو مرضًا معينًا. في هذه الحالات الصعبة، كانت النماذج القديمة تتجاهل الأحداث النادرة تمامًا، لكن الطريقة الجديدة نجحت في تحديد الأنماط الدقيقة المرتبطة بها. ومع ذلك، وجد الباحثون أن هذه الطريقة المتقدمة ليست علاجًا شاملًا لكل شيء؛ ففي مجموعات البيانات الأبسط التي تحتوي على ميزات أقل أو بيانات متجانسة للغاية، أدى التعقيد الإضافي لتعلم العلاقات بين الأعمدة أحيانًا إلى إدخال المزيد من الضجيج بدلاً من القيمة، حيث كانت النماذج الأبسط تؤدي بشكل جيد أو أفضل.
تشير الدراسة إلى أن مستقبل التعلم الجدولي يكمن في الطرق التي تحترم البنية الأساسية للبيانات بدلاً من معاملتها كمجموعة عشوائية من الأرقام. ومن خلال تعليم الحاسوب كيفية تفاعل الميزات قبل أن يحاول إجراء التنبؤ، خلق الباحثون أداة قوية بشكل خاص للبيانات الفوضوية والمعقدة وغير المتجانسة الموجودة في العالم الحقيقي. لا يدعي هذا العمل حل كل مشكلات البيانات، لكنه يوضح أنه عندما تكون البيانات غنية ومعقدة، فإن الطريقة التي تنصت إلى الروابط بين المتغيرات يمكنها بناء فريق تنبؤ أكثر دقة وموثوقية. إن هذا التحول من التجميع العشوائي إلى التجميع الموجه والمدرك للسياق يمثل خطوة مهمة للأمام في كيفية تعلم الآلات من الجداول المهيكلة التي تقود الكثير من قراراتنا الحديثة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.