Information-Theoretic Foundations for Machine Learning
تقترح هذه الورقة إطاراً نظرياً للمعلومات، رصيناً من الناحية الرياضية ومتجذراً في الإحصاء البايزي، يوحد تحليل نماذج متنوعة من تعلم الآلة — بدءاً من البيانات المستقلة والمتماثلة والموزعة (i.i.d.) وصولاً إلى الأطر التسلسلية، والهرمية، والخاطئة (misspecified) — ليوفر عمقاً نظرياً للباحثين وحدساً عملياً للممارسين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز ما، ولكن بدلاً من الأدلة، لديك تدفق من البيانات. على مدار العقد الماضي، كان التعلم الآلي يشبه المحقق الذي يحل القضايا عبر الحدس المحض وكميات هائلة من التجربة والخطأ. إنهم ينظرون إلى جبل من الأدلة، ويخمنون الجاني، وإذا أصابوا، ينتقلون إلى المهمة التالية. هذا الأسلوب يعمل بشكل رائع للغاية — إذ يمكن للذكاء الاصطناعي الآن هزيمة أساتذة الشطران وكتابة قصص متماسكة — ولكن لا أحد يملك حقاً كتاب قواعد صلب يشرح لماذا يعمل هذا الأمر، أو كيف نتنبأ بالضبط بمقدار البيانات الإضافية المطلوبة لحل القضية التالية الأكثر صعوبة. إنه يشبه إلى حد كبير "أمثولة الكهف" الشهيرة، حيث يرى الناس فقط ظلالاً على الجدار ويعتقدون أن هذا هو العالم بأكم له، دون أن يدركوا أن الأشياء الحقيقية التي تلقي تلك الظلال موجودة في الخارج.
لفهم هذه الورقة البحثية، تحتاج لمعرفة شيئين بسيطين. أولاً، الإحصاء البايزي (Bayesian statistics) هو مجرد طريقة منمقة لقول "تحديث معتقداتك". تخيل أنك تعتقد أن العملة عادلة، ولكن بعد رميها عشر مرات ورؤية عشر صور، تقوم بتحديث معتقدك لتظن أنها قد تكون موزونة. ثانياً، نظرية المعلومات (Information Theory)، التي اخترعها كلود شانون، هي علم قياس مقدار "المفاجأة" أو "المعلومات الجديدة" في الرسالة. إذا أخبرت شخصاً ما أن "الشمس أشرقت اليوم"، فهذه معلومة قيمتها صفر لأنها ليست مفاجئة. أما إذا أخبرتهم أن "الشمس لم تشرق"، فهذه كمية هائلة من المعلومات. تسأل هذه الورقة: هل يمكننا استخدام رياضيات "المفاجأة" لبناء كتاب قواعد لكيفية تعلم الذكاء الاصطناعي، حتى عندما يكون العالم فوضوياً ومعقداً؟
يقترح المؤلفان، هونغ جون جيون وبنجامين فان روي، إطاراً نظرياً جديداً يعمل مثل كشاف ضوئي لرؤية ما يوجد خارج الكهف. هما يجادلان بأن "الخطأ" الذي يرتكبه الذكاء الاصطناعي — أي مدى خطأ توقعاته — يرتبط ارتباطاً مباشراً بمقدار المعلومات التي يحتاجها للتعلم عن القواعد الخفية للعالم. هما لا يخمنان فحسب؛ بل يستخدمان رياضيات صارمة لإثبات أن كمية البيانات التي يحتاجها الذكاء الاصطناعي للتعلم تتحدد من خلال "تعقيد" البنية الخفية للبيانات، مقاسة بوحدات المعلومات.
إليك جوهر اكتشافهما: لقد وجدا أنه بالنسبة لمتعلم مثالي (واحد يستخدم الاستدلال البايزي المثالي)، فإن متوسط الخطأ الذي يرتكبه يساوي تماماً إجمالي المعلومات التي جمعها عن الحقيقة الخفية، مقسوماً على عدد نقاط البيانات التي رآها. الأمر يشبه القول إن كل مرة تتعلم فيها حقيقة جديدة، فإنك تقلل من ارتباكك بمقدار محدد وقابل للقياس.
تتحدى الورقة الفكرة القائلة بأننا بحاجة إلى سيناريوهات "الحالة الأسوأ" الصارمة لفهم التعلم. بدلاً من ذلك، تقترح أنه من خلال النظر إلى "الحالة المتوسطة" من منظور المعلومات، يمكننا الحصول على إجابات أكثر وضوحاً. لقد اختبرا هذه الفكرة على عدة "عوالم" أو أنواع مختلفة من البيانات. نظرا في بيانات عشوائية بسيطة (مثل رمي النرد)، وبيانات متسلسلة (مثل قراءة جملة حيث تعتمد الكلمة التالية على السابقة)، وحتى بيانات هرمية معقدة (مثل تعلم كتابة أساليب مختلفة من المقالات).
في كل حالة، قدم إطارهما طريقة دقيقة لحساب حدود التعلم. على سبيل المثال، عندما نظرا في الشبكات العصبية العميقة (من النوع المستخدم في النماذج اللغوية الكبيرة)، أظهرا أنه حتى لو كانت الشبكة واسعة ومعقدة بشكل لا نهائي، فإن كمية البيانات اللازمة لتعلمها تعتمد على مدى "تركيز" عملية التعلم. كما تناولا مشكلة "سوء التوصيف" (misspecification)، والتي تحدث عندما يكون نموذج الذكاء الاصطناعي خاطئاً قليلاً بشأن كيفية عمل العالم (مثل محاولة وضع وتد مربع في ثقب مستدير). لقد أثبتا أنه حتى مع وجود نموذج خاطئ، لا يزال بإمكان الذكاء الاصطناعي التعلم، ولكن هناك "أرضية" دائمة لأقصى جودة يمكن أن يصل إليها، وتتحدد بمدى خطأ النموذج.
أحد الاكتشافات الأكثر إثارة يتعلق بـ "قوانين القياس العصبية" (neural scaling laws) التي تستخدمها شركات التكنولوجيا اليوم. تصف هذه القوانين كيف يتحسن الأداء مع زيادة القدرة الحوسبية. تكشف رياضيات المؤلفين عن توازن أمثل محدد: للحصول على أفضل النتائج مع قدرة حوسبية ثابتة (FLOPs)، يجب عليك موازنة حجم النموذج وحجم البيانات بحيث ينمو عدد المعلمات (parameters) مع الجذر التربيعي لميزانية الحوسبة الإجمالية الخاصة بك. بما أن إجمالي القدرة الحوسبية هو حاصل ضرب حجم النموذج وحجم مجموعة البيانات، فهذا يعني أنه لا ينبغي لك جعل نموذجك ضخماً بشكل لا نهائي أو مجموعة بياناتك ضخمة بشكل لا نهائي بمعزل عن الآخر. بدلاً من ذلك، الاستراتيجية المثلى هي تنمية كليهما جنباً إلى جنب، ولكن مع نمو حجم النموذج كجذر تربيعي لمواردك. على سبيل المثال، إذا ضاعفت ميزانية الحوسبة أربع مرات، فإن حجم النموذج الأمثل يتضاعف مرتين فقط، بينما تتضاعف مجموعة البيانات أيضاً، مما يجعل حاصل ضربهما يساوي ميزانيتك الجديدة.
لا تدعي الورقة أنها حلت كل مشاكل الذكاء الاصطناعي، ولا تقول إن الذكاء الاصطناعي الحالي مثالي. بدلاً من ذلك، فهي توفر خريطة جديدة سليمة رياضياً. إنها توضح أن العلاقة بين البيانات، وتعقيد النموذج، وخطأ التعلم ليست لغزاً، بل هي مقايضة قابلة للحساب. من خلال معاملة التعلم كلعبة معلومات، يعطينا المؤلفون طريقة للتنبؤ بكمية البيانات التي نحتاجها ولحجم نماذجنا، محولين "الظلال على الجدار" إلى صورة واضحة لما هو ممكن. وسواء كنت تدرب روبوتاً على المشي أو حاسوباً على كتابة الشعر، فإن هذا الإطار يشير إلى أن المفتاح للنجاح ليس مجرد إلقاء المزيد من البيانات على المشكلة، بل فهم البنية المعلوماتية المحددة للمشكلة نفسها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.