Doubly robust nearest neighbors in factor models

في المشهد الشاسع للبيانات الحديثة، نادراً ما تكون المعلومات كاملة. وسواء كان الأمر يتعلق بتتبع الحالة الصحية لمريض على مدار أشهر، أو التنبؤ بما قد يشتريه العميل تالياً، أو فهم كيفية أداء منتج ما عبر مناطق مختلفة، فإن الباحثين غالباً ما يواجهون مصفوفة من الأرقام ذات فجوات كبيرة. بعض المدخلات مفقودة لأن مستشعراً قد تعطل، أو لأن مستخدماً تخطى استطلاعاً، أو لأن علاجاً لم يُطبق. ويكمن التحدي في ملء هذه الفراغات بدقة كافية لاتخاذ قرارات موثوقة. وللقيام بذلك، يعتمد الإحصائيون غالباً على فكرة أن العالم محكوم بأنماط خفية؛ حيث يفترضون أن البيانات التي نراها تشكلها قوى كامنة قليلة — مثل تفضيل عام لمستخدم ما أو وقت محدد من اليوم — تتكرر عبر مجموعة البيانات. وإذا تمكنا من إيجاد هذه الأنماط الخفية، يمكننا تخمين ما يجب أن تكون عليه الأرقام المفقودة.

لعقود من الزمن، كانت الطريقة الشائعة لتقديم هذه التخمينات هي البحث عن "الجيران". إذا كنت تريد معرفة رأي مستخدم معين في منتج ما، فإنك تنظر إلى المستخدمين الآخرين الذين يشبهونه تماماً وترى ما أعجب هؤلاء الجيران. هذا هو منطق "الجيران الأقرب". ومع ذلك، فإن هذه الطريقة تعاني من عيب قاتل: فهي لا تعمل إلا إذا استطعت بالفعل العثجوليد جاراً جيداً. فإذا كان المستخدم المعني فريداً من نوعه، أو إذا كانت الفترة الزمنية غير معتادة، تفشل الطريقة لأنه لا يوجد أحد مشابه بما يكفي للتقليد. إن العمل الجديد الذي قام به راز دويفيدي وزملاؤه يعالج هذه الثغرة من خلال ابتكار طريقة أكثر ذكاءً لدمج نوعين مختلفين من عمليات البحث عن الجيران. فبدلاً من الاعتماد على نوع واحد فقط من التشابه، تنجح طريقتهم الجديدة، التي تسمى "الجيران الأقرب ذوو المتانة المزدوجة" (Doubly Robust Nearest Neighbors)، طالما توفر إما مستخدم مشابه أو فترة زمنية مشابهة. وإذا وجد كلاهما، تصبح الطقة أكثر دقة، مما يوفر مستوى من الدقة لم يكن ممكناً الوصول إليه سابقاً.

كان الباحثون يعملون على لغز رياضي محدد يُعرف باسم "إكمال المصفوفة" (matrix completion)، حيث الهدف هو إعادة بناء شبكة كاملة من البيانات من مجموعة متفرقة من النقاط المرصودة. وقد ركزوا على سيناريو يتم فيه توليد البيانات بواسطة دالة خفية تمزج بين مجموعتين من العوامل: مجموعة تمثل "الوحدات" (مثل الأشخاص أو المنتجات) ومجموعة أخرى تمثل "الزمن" (مثل الأيام أو الساعات). وفي هذا الإعداد، يتم تحديد القيمة عند أي تقاطع محدد من خلال كيفية تفاعل السمات الخفية للوحدة مع السمات الخفية للزمن. وتتضمن الطريقة القياسية استراتيجيتين منفصلتين؛ الأولى، تسمى "الجيران الأقرب للوحدات"، وتبحث عن صفوف أخرى في البيانات تشبه الصف المستهدف. والثانية، تسمى "الجيران الأقرب للزمن"، وتبحث عن أعمدة أخرى تشبه العمود المستهدف. وتعمل كلتا الاستراتيجيتين بشكل جيد عندما تكون البيانات كثيفة بالأنماط المتشابهة، لكنهما تعانيان عندما تكون البيانات شحيحة أو عندما يكون الهدف حالة استثنائية.

أدرك الفريق أن هاتين الاستراتيجيتين ليستا متنافيتين، بل يمكن دمجهما لتغطية نقاط ضعف كل منهما. فقد طوروا مقدِّراً جديداً يسأل سؤالين في آن واحد: "هل لدي مستخدم مشابه؟" و"هل لدي زمن مشابه؟". إذا كانت الإجابة على أي من السؤالين بنعم، فإن الطريقة الجديدة تقدم تقديراً موثوقاً. وهذا ما يقصدونه بـ "المتانة المزدوجة"؛ فهي متينة تجاه فشل الاستراتيجية الأولى طالما أن الثانية تعمل، والعكس صحيح. وقد أثبت الباحثون رياضياً أنه إذا وجدت كلتا الاستراتيجيتين جيراناً جيدين، فإن الطريقة الجديدة لا تكتفي بمجرد متوسط نتائجهما، بل تضاعف نقاط قوتهما. ويؤدي هذا إلى تحسن هائل في الدقة، حيث يقلل معدل الخطأ بشكل كبير أكثر مما يمكن لأي من الطريقتين تحقيقه بمفرده. ومن الناحية التقنية، يترجم هذا التحسن إلى تقليل شبه تربيعي في الخطأ، مما يعني أن التقدير يصبح أكثر حدة ودقة مع القليل جداً من البيانات الإضافية.

للتحقق من نظريتهم، أجرى الباحثون عمليات محاكاة مكثفة باستخدام بيانات اصطناعية تحاكي سيناريوهات العالم الحقيقي، بما في ذلك العلاقات الخطية البسيطة والعلاقات الأكثر تعقيداً وغير الخطية. وقد اختبروا طريقتهم الجديدة مقابل "الجيران الأقرب للوحدات"، و"الجيران الأقرب للزمن"، وخوارزميات إكمال المصفوفة القياسية الأخرى. وكانت النتائج واضحة: تفوقت الطريقة الجديدة باستمرار على غيرها. وفي الحالات التي تم فيها توليد البيانات بواسطة قاعدة خطية بسيطة، قللت الطريقة الجديدة الخطأ بمعامل ينمو مع حجم مجموعة البيانات، متجاوزة أداء الطرق القديمة بكثير. وحتى في السيناريوهات الأكثر تعقيداً حيث تكون العلاقات بين العوامل غير خطية، حافظ النهج الجديد على ميزة كبيرة، وغالباً ما طابق أو تفوق على أفضل الطرق التقليدية مع تجنب أسوأ حالات فشلها.

كما طبق الفريق طريقتهم على مجموعة بيانات من العالم الحقيقي من تجربة سريرية للصحة المتنقلة تسمى "HeartSteps". في هذه الدراسة، ارتدى المشاركون أجهزة تتبع النشاط وتلقوا إشعارات عشوائية لتشجيع النشاط البدني. وكان الهدف هو تقدير عدد الخطوات التي سيتخذها المشارك في ساعة معينة إذا تلقى إشعاراً مقابل ما إذا لم يتلقَّ إشعاراً، حتى للأوقات التي لم تُلاحظ فيها تلك الحالة المحددة. كانت البيانات شحيحة بطبيعتها لأن الإشعارات أُرسلت عشوائياً. وعندما استخدم الباحثون طريقة "الجيران الأقرب ذوي المتانة المزدوجة" لملء هذه الفجوات، كانت التقديرات أكثر دقة مما أنتجته الطرق القياسية. كما كان توزيع الخطأ أكثر إحكاماً، مما يعني أن التخمينات كانت أقرب باستمرار إلى القيم الحقيقية. وقد أثبت ذلك أن الطريقة لا تعمل في النظرية أو في الأرقام المولدة حاسوبياً فحسب، بل تعمل أيضاً على بيانات العالم الحقيقي الفوضوية حيث تكون المعلومات المفقودة هي القاعدة.

كانت الرؤية الأساسية من الدراسة هي المقايضة (trade-off) المتضمنة في كيفية معالجة البيانات. لإثبات ضماناتهم الرياضية، قام الباحثون في البداية بتقسيم البيانات إلى أجزاء منفصلة لتجنب نوع معين من الانحياز الإحصائي. ومع ذلك، في تجاربهم العملية، وجدوا أن استخدام مجموعة البيانات بأكملها دون تقسيمها يؤدي في الواقع إلى نتائج أفضل. فبينما ساعد تقسيم البيانات في الإثبات النظري، إلا أنه قلل من كمية المعلومات المتاحة لإيجاد الجيران، مما زاد من الضجيج في التقدير. وفي الممارسة العملية، فاق نفع الحصول على مزيد من البيانات لإيجاد أوجه التشابه خطر الانحياز النظري، مما يشير إلى أن استخدام جميع المعلومات المتاحة هو الخيار الأفضل غالباً للتطبيقات الواقعية.

تمتد آثار هذا العمل إلى ما هو أبعد من مجرد ملء الأرقام المفقودة. فالقدرة على تقديم تقديرات موثوقة حتى عندما تكون البيانات شحيحة أو متباينة هي أمر بالغ الأهمية في مجالات مثل الطب الشخصي والإعلانات المستهدفة. في هذه المجالات، تُتخذ القرارات غالباً لأفراد فريدين أو لحالات لم يسبق رؤيتها من قبل. وإذا فشلت طريقة ما بسبب عدم قدرتها على إيجاد تطابق مثالي، فقد تكون العواقب توصيات سيئة أو علاجات غير فعالة. ومن خلال ضمان بقاء عملية التقدير متينة حتى عند فقدان أحد أنواع التشابه، يوفر هذا النهج الجديد شبكة أمان لاتخاذ القرار. فهو يسمح للأنظمة بالتعلم من البيانات المتاحة بالفعل، بدلاً من الفشل لأن البيانات ليست مهيكلة بشكل مثالي.

أشار الباحثون أيضاً إلى إمكانية توسيع نهجهم ليشمل هياكل بيانات أكثر تعقيداً، مثل الموترات ثلاثية الأبعاد (three-dimensional tensors)، والتي قد تتضمن وحدات، وزمن، وعاملاً ثالثاً مثل تدخل معين أو موقع. ويمكن تطبيق منطق دمج مصادر متعددة للتشابه لإنشاء تقدير متين هناك أيضاً، مما قد يؤدي إلى طرق "ثلاثية المتانة" (triply robust). وهذا يشير إلى مسار أوسع نحو الاستدلال الإحصائي، حيث ينتقل التركيز من البحث عن تطابق مثالي واحد إلى الجمع الذكي بين مصادر متعددة غير مثالية للمعلومات. ويقف هذا العمل كدليل على أنه من خلال إعادة التفكير في كيفية دمج الأفكار البسيطة والبديهية مثل "البحث عن جار"، يمكننا بناء أدوات أكثر مرونة ودقة مما هي عليه في مجموع أجزائها.

في نهاية المطاف، تقدم هذه الورقة حلاً عملياً لمشكلة شائعة: كيفية فهم المعلومات غير الكاملة. وهي تظهر أننا لسنا بحاجة لانتظار بيانات مثالية أو تطابق مثالي لتقديم تخمين جيد. ومن خلال الاعتراف بأن أنواعاً مختلفة من التشابه موجودة والتعلم من استخدامها معاً، يمكننا بناء نماذج أكثر موثوقية في مواجهة عدم اليقين. إن الطريقة بسيطة في منطقها ولكنها قوية في تنفيذها، مما يوفر معياراً جديداً لكيفية التعامل مع البيانات المفقودة في عالم مدفوع بشكل متزايد بمجموعات بيانات ضخمة ومعقدة.