On Dependence Measures Based on $\Phi$-Divergence, $\Phi$-Entropy, and Their Matrix Forms

في دراسة المعلومات، اعتمد العلماء لفترة طويلة على أداة واحدة قوية لقياس مدى اعتماد شيئين على بعضهما البعض. هذه الأداة، المعروفة باسم "المعلومات المتبادلة" (mutual information)، تعمل كمترجم عالمي، حيث تقيس الروابط الخفية بين المتغيرات، سواء كانت إشارات في قناة اتصال، أو جينات في خلية، أو أنماط طقس عبر قارة ما. وهي تعمل من خلال مقارنة واقع حدوث شيئين معاً مقابل توقع حدوثهما بشكل منفصل. ولعقود من الزمن، كانت هذه الطريقة المحددة هي المعيار الذهبي لأنها تتبع مجموعة من القواعد الموثوقة، تماماً مثل قوانين الفيزياء، مما يسمح للباحثين ببناء حجج معقدة حول كيفية تدفق المعلومات وتحولها. ومع ذلك، يبرز سؤال طبيعي: ماذا يحدث إذا استبدلنا هذه الأداة القياسية بمقياس مختلف وأكثر مرونة؟ لقد عرف العلماء منذ زمن طويل أن هناك طرقاً عديدة لقياس المسافة بين توزيعين احتماليين، ولكن ظل من غير الواضح ما إذا كانت هذه المقاييس البديلة يمكن أن تحافظ على نفس القواعد الأنيقة التي تجعل الأداة الأصلية مفيدة للغاية.

هذا عدم اليقين هو نقطة الانطلاق لبحث جديد أجراه الباحثان تشينيوي وانغ وأمين غوهاري. لقد شرعا في استكشاف عائلة من مقاييس المعلومات القائمة على مفهوم رياضي يسمى "الدالة المحدبة" (convex function)، والتي تصف جوهرياً شكلاً ينحني للأعلى مثل الوعاء. ومن خلال استخدام هذا الشكل لتحديد نوع جديد من المسافة بين التوزيعات، ابتكرا مقياساً جديداً للاعتماد. ووجدا أنه بينما يعد هذا المقياس الجديد سليماً من الناحية الرياضية ويتبع بعض القواعد الأساسية، فإنه يفشل في الحفاظ على أهم الخصائص الهيكلية للأداة الأصلية. وتحديداً، فإنه لا يتصرف بشكل متماثل عند تبديل ترتيب المتغيرات، كما أنه لا يتعامل مع العلاقات الشرطية — حيث تعرف بعض المعلومات مسبقاً — بالطريقة التي يتوقعها المرء. هذا النقص في التماثل والقدرة على التنبؤ يعني أن المقياس الجديد لا يمكن استخدامه لحل نفس المشكلات المعقدة التي تحلها الأداة الأصلية، مما ترك فجوة في مجموعة الأدوات النظرية.

ولسد هذه الفجوة، قدم الباحثان نسخة منقحة من مقياسهما الجديد، أطلقا عليها اسم "معلومات ماكس-فاي المتبادلة" (max-Φ-mutual information). فبدلاً من أخذ لقطة واحدة للعلاقة بين متغيرين، يبحث هذا النهج الجديد عن أقوى صلة يمكن الكشف عنها من خلال إدخال متغير ثالث خفي. تخيل محاولة فهم العلاقة بين شخصين ليس فقط من خلال مراقبتهما مباشرة، ولكن من خلال رؤية كيفية تفاعلهما مع سلسلة من الأسئلة أو السيناريوهات المختلفة. ومن خلال التحسين عبر جميع السيناريوهات الممكنة، يستعيد هذا المقياس الجديد التماثل المفقود والخصائص الحرجة الأخرى. وقد أثبت البوداث أن هذا المقياس المنقح يتصرف بشكل يشبه إلى حد كبير الأداة القياسية الأصلية، حيث يلتزم بالقواعد التي تسمح بتفكيكه إلى أجزاء أصغر وإعادة تجميعه دون فقدان المعنى. كما اكتشفا قيداً مفاجئاً: لكي يعمل هذا المقياس بشكل مثالي، يجب أن يكون الشكل الرياضي الأساسي محدداً للغاية. فإذا كان الشكل واسعاً جداً، فإن المقياس لا يلتقط الاتصال بين المتغيرين فحسب، بل يلتقط أيضاً القدر الهائل من العشوائية أو الضجيج المتأصل في كل منهما بشكل فردي.

ثم ذهب الفريق بهذه الأفكار إلى أبعد من ذلك، منتقلين من الأرقام البسيطة إلى المصفوفات المعقدة، وهي شبكات من الأرقام تُستخدم لوصف الأنظمة ذات الأجزاء المتعددة المتفاعلة، مثل الحالات الكمومية أو البيانات عالية الأبعاد. لقد عرّفا "شريطاً" (ribbon) جديداً لهذه الأنظمة المصفوفية، وهو مفهوم يصف حدود كيفية ضغط المعلومات أو معالجتها. وأظهرا أن هذا الشريط المصفوفي يتصرف باتساق، محافظاً على خصائصه حتى عند دمج الأنظمة أو عند مرور المعلومات عبر سلسلة من المرشحات. وهذا العمل له تطبيقات فورية في دراسة "صناديق عدم الإرسال" (no-signaling boxes)، وهي أجهزة نظرية تُستخدم لاستكشاف حدود الفيزياء ونظرية المعلومات. وقد أثبت الباحثون أن أشرطتهم المصفوفية الجديدة يمكنها تتبع كيفية سلوك هذه الأجهزة عندما يتم توصيلها معاً في شبكات معقدة، مما يوفر طريقة جديدة لفهم تدفق المعلومات في الأنظمة التي تتحدى الحدس الكلاسيكي.

ولعل الاكتشاف الأكثر أهمية هو أن سلوك هذه المقاييس الجديدة يعتمد بشدة على الشكل الرياضي المختار. فبالنسبة لبعض الأشكال، يكون المقياس الجديد مجرد نسخة مُدرجة من الأداة القديمة المألوفة. وبالنسبة لأشكال أخرى، يصبح لانهائياً أو يتصرف بطرق يستحيل حصرها. لقد حدد الباحثون بالضبط أي الأشكال تؤدي إلى أي نتائج، مما أثبت أن المقياس القياسي الأصلي فريد في قدرته على الحفاظ على توازن مثالي بين التقاط الاعتماد وتجاهل العشوائية الفردية. كما أظهرا أنه عندما تكون المتغيرات مستقلة، فإن المقياس الجديد يحدد ذلك بشكل صحيح، ولكن تحت شروط صارمة فقط. إن هذا العمل لا يقدم مجرد صيغة جديدة؛ بل يرسم الخريطة الكاملة لكيفية قياسنا للاعتماد، كاشفاً عن أي الأدوات الرياضية قوية بما يكفي للتعامل مع تعقيدات العالم الحقيقي وأيها ينهار تحت الضغط.

تمتد آثار هذا البحث إلى أسس نظرية المعلومات نفسها. فمن خلال توضيح العلاقة بين الطرق المختلفة لقياس الاعتماد، يوفر المؤلفون مساراً أوضح للاكتشافات المستقبلية في مجالات الاتصالات، والتشفير، ودراسة الأنظمة المعقدة. لقد أظهروا أنه بينما توجد طرق عديدة لقياس المسافة بين شيئين، فإن عدداً قليلاً فقط من هذه الطرق يحافظ على القواعد الهيكلية العميقة التي تسمح لنا ببناء فهم متماسك للمعلومات. ويختتم البحث بتقديم مجموعة من المتباينات والحدود الجديدة التي يمكن للباحثين استخدامها لاختبار حدود تدفق المعلومات في الأنظمة التي كانت في السابق شديدة التعقيد بحيث يصعب تحليلها. وبذلك، لم يحلوا لغزاً رياضياً محدداً فحسب، بل قدموا أيضاً صورة أكثر اكتمالاً لكيفية ربط المعلومات للكون معاً.