Optimal or Greedy Decision Trees? Revisiting their Objectives, Tuning, and Performance
تحل هذه الدراسة التجريبية واسعة النطاق الأدلة المتضاربة حول أشجار القرار المثلى من خلال إثبات تفوقها في تحسين الأهداف المستهدفة بشكل مباشر وإنتاج نماذج أصغر وأكثر دقة، مع دحض الفرضيات التي تشير إلى أن مزاياها تتضاءل مع زيادة البيانات أو أنها أكثر عرضة للإفراط في التخصيص.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم كمبيوتر كيفية اتخاذ القرارات، مثل طبيب يشخص مريضاً أو بنك يقرر منح قرض. الأداة التي تختارها غالباً ما تكون "شجرة القرار". فكر في هذا كأنه مخطط انسيابي عملاق: "إذا كان المريض يعاني من حمى، اذهب يساراً؛ إذا لم يكن كذلك، اذهب يميناً". في النهاية، ستصل إلى ورقة في الأسفل تعطيك الإجابة. هذه الأشجار مشهورة لأنها سهلة القراءة والفهم بالنسبة للبشر، وهو أمر بالغ الأهمية عندما نحتاج إلى معرفة لماذا اتخذت الآلة قراراً معيناً.
لعقود من الزمن، كانت الطريقة القياسية لبناء هذه الأشجار "جشعة". تخيل أنك تتسلق جبلاً في ضباب كثيف. المتسلق الجشع ينظر فقط إلى الخطوة التي أمامه مباشرة ويتخذ المسار الأكثر انحداراً للأعلى، آملاً أن يؤدي به ذلك إلى القمة. هو لا ينظر للأمام ليرى ما إذا كان هذا المسار المنحدر سيؤدي إلى طريق مسدود لاحقاً. هذه الطريقة سريعة وعادة ما توصلك إلى مكان مرتفع. ومع ذلك، هناك نهج أحدث وأكثر طموحاً يسمى أشجار القرار "المثالية". بدلاً من النظر خطوة واحدة للأمام فقط، يحاول هذا النهج رسم خريطة للجبل بأسره دفعة واحدة لإيجاد أفضل مسار للوص la القمة تماماً. الأمر يشبه امتلاك خريطة عبر الأقمار الصناعية بينما يتعثر الجميع في الضباب. السؤال الكبير هو: هل هذا النهج البطيء القائم على صنع الخرائط أفضل حقاً من التسلق السريع وسط الضباب، أم أنه مجرد إضاعة للوقت؟
هذه الورقة البحثية، التي كتبها باحثون من جامعة دلفت للتكنولوجيا، تتعمق في هذا الجدل. لقد أجروا أكبر تجربة من نوعها، حيث اختبروا هذين النهجين على 109 مجموعات بيانات من العالم الحقيقي وآلاف المجموعات الاصطناعية. ووجدت نتائجهم تحولاً غير متوقع في عالم تعلم الآلة. فقد اكتشفوا أن النهج "المثالي" هو بالفعل متفوق، ولكن فقط إذا التزمت بالقواعد الصحيحة.
أولاً، وجدوا أن الأشجار "المثالية" مرنة للغاية. فبينما يظل النهج الجشع عالقاً باستخدام قاعدة محددة وصارمة (مثل استخدام "شوائب جيني" - Gini impurity، وهو مصطلح رياضي معقد لوصف الفوضى - لتحديد أي خطوة يتخذها)، يمكن للنهج المثالي أن يستهدف الهدف مباشرة: الدقة الصافية. الأمر يشبه كون المتسلق الجشع مجبراً على البحث فقط عن أكثر الصخور انحداراً، بينما يمكن للمتسلق المثالي ببساطة البحث عن أعلى نقطة، بغض النظر عن شكل التضاريس. وتظهر الورقة أنه عندما تسمح للنهج المثالي بالاستهداف المباشر للدقة، فإنه يبني أشجاراً أصغر حجماً وأكثر دقة من الأشجار الجشعة.
ومع ذلك، فقد فند الباحثون أسطورتين شائعتين. كانت إحدى الأساطير هي أنه كلما أعطيت الكمبيوتر المزيد من البيانات، فإن النهج الجشع يلحق بالركب ويختفي الفرق. لكن الورقة تظهر العكس: مع المزيد من البيانات، يتخلف النهج الجشع في الواقع، ويبني أشجاراً ضخمة وفوضوية يصعب قراءتها، بينما يظل النهج المثالي مدمجاً وحاداً. أما الأسطورة الثانية فكانت أن الأشجار المثالية تعاني من "الفرط في التخصيص" (overfitting) — أي أنها تحفظ بيانات التدريب جيداً جداً وتفشل عند مواجهة بيانات جديدة. وجدت الدراسة أنه عند ضبطها بشكل صحيح، تكون الأشجار المثالية في الواقع أقل عرضة للفرط في التخصيص من الأشجار الجشعة.
ولكن هناك عقبة. النهج المثالي ثقيل حسابياً. إنه يشبه محاولة حل لغز ضخم حيث تتحقق من كل مجموعة تركيبات ممكنة؛ إنه يستغرق الكثير من الوقت والطاقة. تؤكد الورقة أنه بينما يمكن لهذه الأشجار التعامل مع مجموعات بيانات ضخمة (تصل إلى 100,000 حالة)، إلا أنها تعاني إذا ارتفع عدد الميزات (قطع اللغز) بشكل كبير. لذا، خلص الباحثون إلى أن أشجار القرار المثالية هي الخيار الأفضل عندما تحتاج إلى نموذج صغير، عالي الدقة، وسهل الفهم، خاصة إذا كانت بياناتك مشوشة أو معقدة. ولكن إذا كنت تحتاج فقط إلى إجابة سريعة ولا تهتم بحجم الشجرة، فإن النهج الجشع القديم لا يزال صديقاً موثوقاً وسريعاً. الفكرة الأساسية هي: إذا كنت تريد أفضل ما في العالمين، يجب عليك ضبط شجرتك المثالية بعناية، وإلا فلن ترتقي إلى اسمها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.