A Structural Characterization of Entropy Functionals

تخيل أنك محقق يحاول حل لغز "المعلومات". في عالم الإحصاء وعلوم البيانات، ليست المعلومات مجرد فكرة غامضة؛ بل هي كمية قابلة للقياس، تماماً مثل الوزن أو درجة الحرارة. ولقياسها، يستخدم العلماء صيغاً رياضية تسمى الإنتروبي (Entropy). فكر في الإنتروبي كأنه "مقياس للمفاجأة". إذا قلبت عملة معدنية واستقرت على الوجه (Heads)، فهذا ليس مفاجئاً جداً، لذا فإن الإنتروبي منخفض. ولكن إذا قلبت عملة معدنية مُتلاعب بها لتسقط على الوجه بنسبة 99% من الوقت، وفجأة استقرت على الوجه الآخر (Tails)، فهذه مفاجأة هائلة، والإنتروبي هنا مرتفع.

لعقود من الزمن، امتلك العلماء صندوق أدوات مليئاً بـ "مقاييس مفاجأة" مختلفة. وأشهرها هو إنتروبي شانون (Shannon entropy)، وهو بمثابة المسطرة القياسية المستخدمة في معظم دروس الرياضيات المدرسية. ولكن هناك مساطر أخرى أيضاً، مثل إنتروبي ريني (Rényi entropy) وإنتروبي تساليس (Tsallis entropy). هذه ليست مجرد مساطر بأحجام مختلفة لنفس الشيء، بل هي تقيس المفاجأة بطرق مختلفة قليلاً، وأحياناً تعطي إجابات مختلفة لنفس السؤال. المشكلة الكبرى هي أن اختيار أي مسطرة نستخدمها كان غالباً مسألة عادة أو ملاءمة، مثل اختيار علامة تجارية معينة للقلم لمجرد أن معلمك يستخدمها. لم يكن هناك سبب هيكلي واضح للقول: "يجب عليك استخدام هذا النوع تحديداً لهذه المهمة المحددة".

هنا يأتي دور ورقة دانيال لازاريف البحثية. فهي تطرح سؤالاً جوهرياً: هل توجد مجموعة من القواعد الأساسية التي تخبرنا أي مقاييس المفاجأة هذه صالحة لقياس المعلومات، وأيها مجرد حيل رياضية؟ الورقة لا تكتفي بسرد المساطر فحسب؛ بل تبني إطاراً جديداً لاختبارها، كاشفةً عن تسلسل هرمي خفي يوضح لماذا تعمل الصيغ الشهيرة وكيف يمكن ابتكار صيغ جديدة وصالحة.

كتاب قواعد المحقق الجديد

تعمل ورقة دانيال لازاريف، بعنوان "التوصيف الهيكلي لدوال الإنتروبي" (A Structural Characterization of Entropy Functionals)، كمفتاح رئيسي لعالم نظرية المعلومات. فبدلاً من التخمين حول أي صيغة إنتروبي هي "الأفضل"، يضع المؤلف مجموعة صارمة من القواعد — مثل دستور للبيانات — ليرى أي الصيغ ستجتاز الاختبار.

القاعدة الأولى والأهم في هذا الدستور هي الرتابة الهيكلية (Structural Monotonicity). تخيل أن لديك خريطة لمدينة (المقياس المرجعي) ومساراً محدداً تقود فيه سيارتك (مقياس المدخلات). إذا كان مسارك يقع بالكامل داخل حدود المدينة، فإن "مفاجأتك" بشأن المسار لا ينبغي أبداً أن تكون أعلى من مفاجأتك بالمدينة نفسها. بعبارات أبسط: إذا كنت تنظر إلى جزء من صورة، فلا ينبغي أن تكون أكثر ارتباكاً مما لو كنت تنظر إلى الصورة بأكملها. إذا خالفت صيغة ما هذه القاعدة، يتم استبعادها. الأمر يشبه ميزان حرارة يقول إن الحرارة داخل كوب شاي أعلى مما هي عليه في القدر المغلي الذي جاء منه؛ هذا الميزان معطل.

بمجرد أن تجتاز الصيغة اختبار "الجزء من الكل" هذا، تقدم الورقة طبقة ثانية من الاختبار: المتوسطات المعممة (Generalized Means). عندما تدمج قطعتين من المعلومات (مثل دمج مجموعتين من البيانات)، كيف تحسب متوسط مستويات "المفاجأة" لديهما؟ معظم الناس يستخدمون المتوسط الحسابي (المتوسط القياسي: نجمعهم ونقسم على اثنين). لكن ريني، وهو عالم رياضيات شهير، تساءل: "ماذا لو استخدمنا نوعاً آخر من المتوسطات، مثل المتوسط الهندسي أو متوسط القوة؟"

تثبت ورقة لازاريف أنه يمكنك استخدام هذه المتوسطات الأخرى، ولكن فقط إذا كان "المولد" (المحرك الرياضي الذي يقود المتوسط) يتبع شكلاً محدداً للغاية. فكر في المولد كالقالب المستخدم لخبز الكعكة. توضح الورقة أنه لكي ترتفع الكعكة بشكل صحيح (لتكون إنتروبي صالحاً)، يجب أن يكون شكل القالب بطريقة تكون إما "محدبة" تماماً (منحنية للخارج مثل الوعاء) أو "مقعرة" تماماً (منحنية للداخل مثل القبة)، اعتماداً على ما إذا كان المولد متزايداً أو متناقصاً. إذا كان القالب متذبذباً أو مسطحاً، ستنهار الكعكة، وتصبح صيغة الإنتروبي غير صالحة.

التسلسل الهرمي ذو المستويات الأربعة

الاكتشاف الأكثر إثارة في الورقة هو أن هذه القواعد تخلق تسلسلاً هرمياً من أربعة مستويات، يشبه السلم المتدرج في الصرامة. كلما صعدت في السلم، تصبح الصيغ أكثر تحديداً وأكثر صلابة.

1. المستوى 1: الفئة العامة. في الأسفل، لديك الصيغ الأكثر مرونة. وهي تحقق قاعدة "الجزء من الكل" الأساسية وتستخدم متوسطاً معمماً. يتضمن هذا المستوى عائلة واسعة من صيغ الإنتروبي الجديدة والصالحة التي لم يصنفها أحد بشكل كامل من قبل. توضح لك الورقة كيفية بنائها باستخدام حيل رياضية بسيطة، مثل التحويلات التكاملية (التي تشبه مزج نكهات مختلفة من المعلومات معاً).
2. المستوى 2: إصلاح المقياس. إذا أضفت قاعدة تنص على أن "وحدات" المفاجأة يجب أن تُجمع بطريقة بسيطة (مثل كيف أن 1 متر + 1 متر = 2 متر)، فإنك تضيق المجال. هذه الخطوة تحدد "مقياس" الإنتروبي، مما يجعله يتصرف مثل مسطرة قياسية.
3. المستوى 3: عائلة ريني. إذا أضفت قاعدة حول كيفية سلوك المعلومات عند دمج نظامين مستقلين (مثل رمي عملتين منفصلتين)، فستصل إلى عائلة إنتروبي ريني. هذه هي العائلة الشهيرة التي تتضمن إنتروبي شانون كحالة خاصة. تثبت الورقة أن إنتروبي ريني هو العائلة الوحيدة التي تناسب هذا النوع المحدد من قواعد الدمج.
4. المستوى 4: ذروة شانون. في المستوى الأعلى والأكثر صرامة، يوجد إنتروبي شانون. هذا هو "المعيار الذهبي" الذي نستخدمه في كل شيء تقريباً اليوم. توضح الورقة أن إنتروبي شانون هو الصيغة الوحيدة التي تستوفي قاعدة أقوى: وهي أن المعلومات يجب أن تندمج بشكل مثالي حتى داخل نظام واحد، وليس فقط بين الأنظمة المنفصلة. إنه الأكثر تقييداً، ولكنه أيضاً الأكثر متانة.

لماذا يهم هذا الأمر؟

هذا ليس مجرد لعبة تصنيف رياضي. من خلال رسم هذا التسلسل الهرمي، تحل الورقة لغزاً طرحه ريني نفسه في عام 1961. لقد تساءل: "أي من هذه المتوسطات الغريبة يمكن أن يحل محل المتوسط القياسي في صيغ الإنتروبي الخاصة بنا؟" إجابة لازاريف كانت "نعم، ولكن هذه الأنواع المحددة فقط، وإليكم السبب بالضبط".

تربط الورقة أيضاً بين صيغ الإنتروبي هذه وبين تباعدات Csiszár f-divergences، وهي أدوات تُستخدم لقياس مدى اختلاف توزيعين احتماليين. وتثبت الورقة أنه إذا اجتازت صيغة الإنتروبي الخاصة بك الاختبارات الهيكلية، فإنها تضمن تلقائياً خاصية تسمى عدم تزايد معالجة البيانات (Data Processing Inequality). وباللغة البسيطة، هذا يعني أنه إذا قمت بمعالجة بياناتك (مثل تصفية إشارة مشوشة أو ضغط ملف)، فلا يمكنك أبداً خلق معلومات أو مفاجأة جديدة؛ يمكنك فقط فقدانها أو الإبقاء عليها كما هي. هذا قانون أساسي للمعلومات، وتظهر الورقة أنه ينطبق على فئة كبيرة وجديدة من الصيغ، وليس فقط الصيغ القديمة.

أدوات جديدة لصندوق الأدوات

ربما يكون الجزء الأكثر مرحاً في الورقة هو أنها لا تكتفي بشرح الصيغ القديمة، بل تبني صيغاً جديدة. يقدم المؤلف "مجموعة بناء" لإنشاء صيغ إنتروبي جديدة وصالحة. على سبيل المثال، يوضح كيف يمكن استخدام تحويلات لابلاس (نوع من المتوسطات الرياضية) لإنشاء عائلة لانهائية من الإنتروبيات الجديدة. حتى أنه يقدم أمثلة مثل "إنتروبي الظل" (Arctangent entropy) و"إنتروبي الجذر التربيعي"، والتي تتصرف بشكل مختلف عن الصيغ القياسية ولكنها سليمة رياضياً بنفس القدر.

يمكن أن تكون هذه الصيغ الجديدة مفيدة لأنواع معينة من البيانات حيث لا يكون "مقياس المفاجأة" القياسي مناسباً تماماً. على سبيل المثال، في الإحصاء القوي (حيث تريد تجاهل القيم المتطرفة أو نقاط البيانات الغريبة)، قد توفر هذه الصيغ الجديدة طريقة أفضل لتقدير الحقيقة دون أن يتم حرفك عن المسار بسبب نقطة بيانات واحدة سيئة.

الخلاصة

لا تعلن ورقة دانيال لازاريف عن وجود صيغة إنتروبي واحدة "فائزة" لكل العصور. بدلاً من ذلك، توفر خريطة هيكلية. إنها تخبرنا أن اختيار الإنتروبي ليس عشوائياً؛ بل هو اختيار لأي قواعد هيكلية تريد اتباعها. إذا كنت تريد الأداة الأكثر مرونة، يمكنك الاختيار من العائلة الواسعة في الأسفل. وإذا كنت بحاجة إلى المسطرة الصارمة والموثوقة المستخدمة في معظم خوارزميات الكمبيوتر، فاصعد إلى القمة لتجد إنتروبي شانون.

تثبت الورقة أن الصيغ الشهيرة التي نستخدمها اليوم ليست مجرد حوادث سعيدة أو أعراف تاريخية. إنها النتيجة الحتمية لاتباع مجموعة محددة من القواعد المنطقية. والأفضل من ذلك كله، أنها تمنحنا المخطط لبناء صيغ جديدة وصالحة كلما احتجنا إلى نوع مختلف من المساطر لبيانات من نوع جديد. إنها تحول لغز "أي إنتروبي نستخدم" إلى رحلة منطقية واضحة.