On Universality of Non-Separable Approximate Message Passing Algorithms

في عالم علوم البيانات الحديث، تحاول الحواسيب باستمرار العثور على أنماط خفية داخل محيطات شاسعة من المعلومات. وسواء كان الأمر يتعلق بإعادة بناء صورة ضبابية، أو التنبؤ بالكلمة التالية في جملة ما، أو تحديد إشارة باهتة في بث راديوي مليء بالضجيج، فإن هذه المهام غالبًا ما تعتمد على خوارزميات تكرارية. وهذه الخواروات هي إجراءات خطوة بخطوة تبدأ بتخمين، ثم تتحقق من مدى خطأ ذلك التخمين، ومن ثم تقوم بتحسينه، وتكرر العملية حتى تصبح الإجابة جيدة بما يكفي. لعقود من الزمن، اعتمد العلماء على إطار رياضي قوي للتنبؤ بدقة بكيفية سلوك هذه الخوارزميات عندما تكون البيانات عشوائية وعالية الأبعاد. هذا الإطار، المعروف باسم "تطور الحالة" (state evolution)، يعمل مثل توقعات الطقس لتقدم الخوارزمية، حيث يخبر الباحثين كيف سيتقلص الخطأ وكيف سيتحسن الحل مع كل خطوة. ومع ذلك، لم يكن هذا التوقع موثوقًا تاريخيًا إلا في ظل ظروف محددة للغاية: عندما تكون البيانات عشوائية تمامًا وتعامل الخوارزمية كل قطعة من المعلومات بشكل مستقل، مثل فحص بكسل واحد في كل مرة دون النظر إلى جيرانه.

نادراً ما تتوافق البيانات في العالم الحقيقي مع هذه الصورة المثالية والمعزولة. فالصور لها أنسجة حيث ترتبط البكسلات المتقاربة ببعضها البعض؛ والإشارات غالبًا ما تمتلك هياكل معقدة حيث يؤثر جزء منها على الآخر؛ والمصفوفات المستخدمة لالتقاط هذه الإشارات غالبًا ما تأتي من عمليات فيزيائية ليست عشوائية تمامًا. وعندما يتم تصميم الخواروات للتعامل مع هذه الهياكل المعقدة والمترابطة، فإن التوقعات الرياضية القديمة تنهار. ولفترة طويلة، لم يكن من الواضح ما إذا كانت التنبؤات الأنيقة لـ "تطور الحالة" ستظل صالحة عندما تنظر الخوارزمية إلى الصورة الكاملة دفعة واحدة بدلاً من مجرد أجزاء معزولة، وعندما تأتي البيانات من توزيعات أخرى غير منحنى الجرس القياسي.

لقد اتخذ فريق من الباحثين الآن خطوة مهمة نحو حل حالة عدم اليقين هذه. فقد طوروا مجموعة جديدة من القواعد لتحديد متى تظل هذه التنبؤات القوية صالحة، حتى بالنسبة لأكثر الخوارمايات تعقيدًا وترابطًا والبيانات غير القياسية. يركز عملهم على فئة محددة من الخوارزميات تسمى "تمرير الرسائل التقريبي" (Approximate Message Passing)، وهي مستخدمة على نطاق واسع في الإحصاء والتعلم الآلي. واكتشف الباحثون أن المفتاح لجعل هذه التنبؤات عالمية يكمن في طبيعة الدوال الرياضية التي تستخدمها الخوارزمية لمعالجة البيانات. ووجدوا أنه إذا كانت هذه الدوال "جيدة السلوك" من منظور هيكلي محدد — بمعنى أنها لا تضخم التقلبات العشوائية الصغيرة في البيانات إلى أخطاء هائلة — فإن سلوك الخوارزمية يمكن التنبؤ به بدقة عالية، بغض النظر عما إذا كانت البيانات الأساسية تتبع منحنى الجرس المثالي أو توزيعًا أكثر تذبذبًا وعدم انتظام.

لفهم ما قام به الباحثون بالفعل، تخيل خوارزمية تحاول تنظيف صورة مشوشة. في أبسط السيناريوهات، قد تنظر الخوارزمية إلى كل بكسل بشكل مستقل، وتقرر ما إذا كان ساطعًا جدًا أو مظلمًا جدًا بناءً على قيمته الخاصة فقط. هذا أمر سهل التنبؤ به رياضيًا. ولكن في سيناريو أكثر تقدمًا، قد تنظر الخوارزمية إلى جوار صغير من البكسلات، وتقوم بتنعيمها معًا لإزالة الضجيج مع الحفاظ على حدة الحواف. هذه عملية "غير قابلة للفصل" (non-separable) لأن قيمة البكسل الواحد تعتمد على جيرانه. وقد أظهر الباحثون أنه بالنسبة لهذه العمليات القائمة على الجوار، تفشل التوقعات القديمة إذا كانت الخوارزمية حساسة جدًا للتقلبات الإحصائية المحددة للضجيج. ومع ذلك، فقد حددوا شرطًا دقيقًا، أطلقوا عليه اسم "خاصية التركيب المحدود" (Bounded Composition Property)، والذي يعمل كفحص سلامة. إذا استوفت قواعد التنعيم في الخوارزمية هذا الشرط، فإن التفاعلات المعقدة بين البكسلات لن تؤدي إلى اختلال النظام، ويظل التوقع الرياضي القياسي دقيقًا.

أثبت الفريق ذلك من خلال تحليل الخوارزميات التي تستخدم الدوال متعددة الحدود أولاً — وهي قواعد رياضية مبنية من عمليات الجمع والضرب البسيطة. وأوضحوا أنه إذا كانت معاملات هذه الدوال متعددة الحدود تستوفي شرط السلامة الجديد الخاص بهم، فإن أداء الخوارزمية يكون عالميًا. وهذا يعني أن الخوارزمية التي تعمل على بيانات ذات توزيع ضجيج "غاوسي" (جرس مثالي) ستتصرف بشكل متطابق تقريبًا مع خوارزمية تعمل على توزيع مختلف تمامًا وغير غاوسي، مثل البيانات التي تكون موجبة تمامًا أو تتبع نمطًا موحدًا. ثم وسعوا هذا الاكتشاف ليشمل خوارزميات أكثر تعقيدًا من الواقع تستخدم دوال "ليبتشيتز" (Lipschitz functions)، وهي قواعد تتغير بسلاسة ولا تحتوي على قفزات مفاجئة ولا نهائية. وأظهروا أنه طالما يمكن تقريب هذه القواعد المعقدة عن كثب بواسطة قواعد الدوال متعددة الحدود "جيدة السلوك" التي حللوها مسبقًا، فإن التنبؤ العالمي يظل قائمًا.

اختبر الباحثون نظريتهم بأمثلة ملموسة تحاكي التطبيقات الواقعية. في حالة واحدة، قاموا بمحاكاة خوارزمية مصممة لإعادة بناء صورة باستخدام مرشح تنعيم محلي، حيث يتم تعديل كل بكسل بناءً على جيرانه المباشرين. وشغلوا هذه الخوارزمية على نوعين مختلفين من البيانات العشوائية: أحدهما بتوزيع غاوسي قياسي، والآخر بتوزيع "راديماخر" (Rademacher)، حيث تكون القيم إما موجبة أو سالبة تمامًا. وأظهرت النتائج أن معدلات الخطأ في الخوارزمية وجودة الصور المعاد بناؤها كانت متطابقة تقريبًا في كلتا الحالتين، مما طابق التوقع النظري تمامًا. وفي مثال آخر، نظروا في "استشعار المصفوفة" (matrix sensing)، وهي تقنية تستخدم لاستعادة المصفوفات منخفضة الرتبة، وهو أمر شائع في أنظمة التوصية والتصوير الطبي. هنا، استخدمت الخوارزمية "مزيل ضجيج طيفي" (spectral denoiser)، والذي يعدل المصفوفة بناءً على هيكلها العام بدلاً من المدخلات الفردية. ومرة أخرى، أدت الخوارزمية أداءً ثابتًا عبر توزيعات البيانات المختلفة، وكان التوقع النظري يتنبأ بدقة بمتوسط مربع الخطأ في إعادة البناء.

ومن الأهمية بمكان أن الورقة البحثية توضح أيضًا أين لا ينطبق هذا التعميم. فقد قدم الباحثون مثالاً مضادًا لإظهار أنه إذا كانت قواعد الخوارزمية حساسة جدًا للقيم المحددة للبيانات، فإن التوقعات تفشل. لقد وصفوا سيناريو حيث تنتج الخوارزمية، عند تطبيقها على نوع معين من البيانات غير الغاوسية، نتائج تعتمد بشدة على سمات توزيع تلك البيانات، مما يجعل التوقع القياسي عديم الفائدة. هذا التمييز حيوي لأنه يمنع سوء تطبيق هذه الأدوات القوية. العمل لا يدعي أن جميع الخوارزميات المعقدة هي عالمية؛ بل يوفر معيارًا واضحًا وقابلًا للاختبار لتحديد أي منها هو كذلك.

تقدم النتائج أساسًا قويًا لتصميم أدوات التعلم الإحصائي المستقبلية. ومن خلال إثبات أن سلوك هذه الخوارزميات المتطورة غالبًا ما يكون مستقلًا عن توزيع الضجيج المحدد، فقد أثبت الباحثون إمكانية استخدام النماذج الرياضية المبسطة لمجموعة أوسع بكثير من المشكلات الواقعية. وهذا يعني أن المهندسين والعلماء يمكنهم الاعتماد على هذه التوقعات النظرية لضبط خوارماياتهم وتوقع أدائها، حتى عندما تكون البيانات التي يعملون معها فوضوية، أو مترابطة، أو تتبع نمطًا إحصائيًا غير معتاد. إن هذا العمل يسد الفجوة بين العالم المثالي للنظرية الرياضية والواقع المعقد والمترابط للبيانات الحديثة، مما يضمن أن الأدوات التي نبنيها لفهم العالم هي بنفس موثوقية الرياضيات التي تدعمها.