LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers
تقدم هذه الورقة LLM-FE، وهو إطار عمل مبتكر يجمع بين البحث التطوري والنماذج اللغوية الكبيرة لاكتشاف برامج تحويل الميزات الفعالة للبيانات الجدولية بشكل تكراري، متفوقاً بذلك على أساليب هندسة الميزات المؤتمتة الحالية من خلال الاستفادة بشكل أفضل من المعرفة بالمجال والتغذية الراجعة المستندة إلى البيانات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز باستخدام كومة من الأدلة (البيانات). عادةً، يتعين عليك فحص هذه الأدلة يدويًا، ودمجها بطرق ذكية، وإنشاء "أدلة فائقة" جديدة لمساعدتك في حل القضية بشكل أسرع. تسمى هذه العملية هندسة الميزات (Feature Engineering). وفي عالم تعلم الآلة، يكون القيام بذلك يدويًا بطيئًا ومملًا ويتطلب خبيرًا بشريًا يعرف بالضبط أي مجموعات من الأدلة قد تنجح.
تقدم الورقة البحثية أداة جديدة تسمى LLM-FE تعمل على أتمتة هذا العمل التحقيقي باستخدام ذكاء اصطناعي "فائق الذكاء" (نموذج لغوي كبير) يعمل كشريك إبداعي.
إليك كيف يعمل الأمر، مقسمًا إلى مفاهيم بسيية:
1. المشكلة: "لعبة التخمين"
تحاول الأدوات الآلية التقليدية حل هذه المشكلة عن طريق خلط ومطابقة الأرقام بشكل عشوائي (مثل جمع العمود أ مع العمود ب) بناءً على قائمة ثابتة من القواعد. إنها تشبه الروبوت الذي يعرف فقط كيف ينعطف يسارًا أو يمينًا، ولا يدرك أبدًا أنه في بعض الأحيان قد تحتاج إلى القفز فوق سياج. غالبًا ما تفوت هذه الأدوات "لحظات الإدراك" التي تأتي من فهم القصة الكامنة وراء البيانات (مثل معرفة أن "الأنسولين" و"الجلوكوز" مرتبطان بمرض السكري).
2. الحل: "الطاهي التطوري"
يقترح المؤلفون LLM-FE، الذي يعامل هندسة الميزات مثل مسابقة طبخ يكون فيها الذكاء الاصطناعي هو الطاهي. بدلًا من مجرد اتباع وصفة، يتم تزويد الذكاء الاصطناعي بـ:
- المكونات: البيانات الخام (مثل عمر المريض، مستويات السكر في الدم).
- قائمة الطعام: المشكلة المحددة المراد حلها (مثل "التنبؤ بما إذا كان المريض مصابًا بالسكري").
- كتاب الطبخ: معرفة الذكاء الاصطناعي الداخلية بالعالم (مثل "أنا أعلم أن السكر المرتفع والأنسولين المنخفض أمر سيء للصحة").
3. كيف يعمل: الحلقة ذات الخطوات الأربع
تصف الورقة البحثية دورة تتكرر مرارًا وتكرارًا، بشكل يشبه كيفية تطور الأنواع في الطبيعة للبقاء على قيد الحياة بشكل أفضل:
الخطوة أ: الشرارة الإبداعية (التوليد)
الذكاء الاصطناائي ينظر إلى البيانات والمشكلة. يقول: "همم، إذا قسمت مستوى الأنسولين على مستوى الجلوكوز، فقد يخبرنا ذلك شيئًا عن كيفية معالجة الجسم للسكر". يقوم بكتابة برنامج كمبيوتر صغير (وصفة) لإنشاء هذا "الدليل الفائق" الجديد.- تشبيه: الطاهي يخترع صلصة جديدة بناءً على المكونات والطبق الذي يحاول إعداده.
الخطوة ب: اختبار المذاق (التقييم)
يتم تطبيق الوصفة الجديدة على البيانات. ثم يحاول نموذج تنبؤ (اختبار بسيط) حل المشكلة باستخدام هذه البيانات الجديدة.- تشبيه: الطاهي يقدم الصلصة الجديدة للقاضي. إذا أعجب القاضي بها (ارتفعت الدرجة)، فإن الوصفة جيدة. وإذا لم تعجبه، يتم التخلص منها.
الخطوة ج: بنك الذاكرة (إدارة الخبرة)
هذا هو السر وراء LLM-FE. النظام لا ينسى الوصفات الفاشلة فحسب؛ بل يحتفظ بـ "قاعة مشاهير" لأفضل الوصفات التي صنعها على الإطلاق.- تشبيه: تخيل طاهيًا يحتفظ بدفتر لأفضل 10 أطباق صنعها. عندما يحتاج لابتكار طبق جديد، لا يبدأ من الصفر؛ بل ينظر إلى أفضل أطباقه الماضية ويقول: "ماذا لو أخذت أفضل جزء من الطبق رقم 3 وخلطته مع أفضل جزء من الطبق رقم 7؟"
الخطوة د: التطور (التحسين)
يستخدم الذكاء الاصطناعي "قاعة المشاهير" لإنشاء نسخ أفضل من الوصفات. يحاول "طفرة" (تغيير طفيف) أفضل الوصفات ليرى ما إذا كان بإمكانه جعلها أفضل.- تشبيه: هذا يشبه الانتقاء الطبيعي. الوصفات الأقوى والألذ هي التي تبقى وتتطور، بينما تموت الوصفات الضعيفة.
4. لماذا هو أفضل من غيره؟
تقارن الورقة البحثية بين LLM-FE والطرق الأخرى وتجد أنه يتفوق عليها لثلاثة أسباب رئيسية:
- يعرف السياق: على عكس الروبوتات الأخرى التي تقوم فقط بعمليات حسابية، يفهم هذا الذكاء الاصطناعي معنى البيانات. فهو يعرف أن "العمر" و"مؤشر كتلة الجسم" مرتبطان بالصحة، لذا فهو ينشئ ميزات منطقية للبشر، وليس مجرد أرقام.
- لا يعلق في مكان واحد: غالبًا ما تعجز الطرق الأخرى عن التحسن لأنها تحاول تطوير فكرة واحدة فقط. يعمل LLM-FE على عدة "جزر" من الأفكار في وقت واحد. إذا علقت إحدى الجزر في طريق مسدود، فقد تجد جزيرة أخرى طريقًا مختصرًا.
- يتعلم من أخطائه: من خلال الاحتفاظ بذاكرة لما نجح سابقًا، يصبح أكثر ذكاءً مع كل محاولة، بدلاً من التخمين العشوائي.
5. النتائج
اختبر الباحثون هذا النظام على العديد من مجموعات البيانات المختلفة (مثل التنبؤ بأمراض القلب، أسعار المنازل، ومبيعات السيارات). وجدوا أن LLM-FE يجعل نماذج التنبؤ أكثر دقة باستمرار من الطرق القديمة. لم يعمل فقط مع نوع واحد من الذكاء الاصطناعي، بل ساعد أنواعًا مختلفة من النماذج على تحسين أدائها.
باختصار: LLM-FE هو نظام يستخدم ذكاءً اصطناعيًا ذكيًا لابتكار طرق جديدة وذات مغزى للنظر في البيانات. إنه يعمل مثل طاهٍ مبدع يتعلم من أفضل أطباقه الماضية، ويستخدم معرفته بالعالم، ويستمر في التجربة حتى يجد الوصفة المثالية لحل المشكلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.