Do not log(x+1) transform: the bias and alternatives

في العالم الطبيعي، غالبًا ما تتصرف القياسات بطرق تتحدى الخطوط المستقيمة البسيطة. فعندما يعد العلماء عدد الأسماك في بركة، أو يقيسون ارتفاع غطاء غابوي، أو يتتبعون درجة حرارة المحيط، نادرًا ما تنتشر البيانات بشكل متساوٍ. وبدلاً من ذلك، تكون القيم الصغيرة شائعة، بينما تكون القيم الكبيرة نادرة، مما يخلق شكلاً غير متماثل يجعل الأدوات الرياضية القياسية تجد صعوبة في إيجية الأنماط. ولإصلاح ذلك، اعتمد الباحثون لفترة طويلة على خدعة رياضية تسمى التحويل اللوغاريتمي. هذه العملية تعيد تشكيل البيانات، حيث تضغط الأرقام الضخمة وتمدد الأرقام الضئيلة، محولةً المشهد المتعرج وغير المنتظم إلى سهل مستوٍ وناعم تصبح فيه العلاقات واضحة وسهلة الدراسة. ومع ذلك، يصطدم هذا التكتيك بحائط صلب عندما تحتوي البيانات على أصفار. وبما أن العملية الرياضية لا يمكنها التعامل مع الصفر، فقد لجأ العلماء تقليديًا إلى إضافة رقم صغير وعشوائي إلى كل قياس قبل تطبيق الخدعة. ولعقود من الزمن، كان الخيار الأكثر شيوعًا هو ببساطة إضافة واحد إلى كل قيمة، وهي طريقة تُعرف باسم تحويل (log(x+1. لقد بدا هذا الحل كأنه وسيلة عملية وغير ضارة، مما سمح للباحثين بتضمين أعداد الأصفار في دراساتهم دون التخلص من معلومات قيمة.

وقد أظهر فريق من الباحثين من البرتغال وجامعة ألغارفي الآن أن هذه العادة طويلة الأمد معيبة بشكل جوهري. فمن خلال اختبار الطريقة باستخدام أرقام مولدة حاسوبيًا وبيانات بيئية من العالم الحقيقي، أثبتوا أن إضافة رقم ثابت إلى البيانات لا يحل مشكلة الصفر فحسب، بل يشوه الحقيقة فعليًا. وتكشف الدراسة أن هذه الإضافة البسيطة تسبب انحيازًا هائلاً، مما يحرف العلاقات بين المتغيرات ويؤدي بالعلماء إلى استخلاص استنتاجات خاطئة حول كيفية عمل الطبيعة. ووجد الباحثون أن هذا التشوه ليس مجرد خلل طفيف، بل هو خطأ جسيم يغير ميل العلاقات، ويخفي الانتشار الحقيقي للبيانات، ويمكن أن يغير حتى اتجاه الاتجاه العام. ويشير عملهم إلى أن المجتمع العلمي بحاجة إلى التوقف عن استخدام هذا الإصلاح المحدد فورًا والبحث عن طرق أكثر قوة لا تعتمد على إضافة أرقام عشوائية إلى البيانات.

ولإثبات وجهة نظرهم، أنشأ الباحثون أولاً مجموعة بيانات اصطناعية مثالية حيث كانت العلاقة بين متغيرين معروفة بدقة. لقد صمموا سيناريو ينمو فيه أحد المتغيرات بشكل أسي بناءً على الآخر، وهو نمط شائع في الطبيعة، لكنهم ضمنوا بعض قيم الصفر لمحاكاة ظروف العالم الحقيقي. وعندما طبقوا تحويل (log(x+1 القياسي على هذه البيانات المثالية، كان النموذج الناتج غير دقيق بشكل صارخ. فالمنحنى الذي كان ينبغي أن يكون سلسًا ومتوقعًا أصبح منحنياً ومكسوراً. ووجد الباحثون أن اختيار الرقم واحد هو الجاني؛ لأن الواحد رقم كبير مقارنة بالقيم الضئيلة التي توجد غالبًا في الطبيعة، مما جعل إضافة الواحد تطغى تمامًا على البيانات الفعلية. فبالنسبة للقياسات الصغيرة جدًا، أصبح الرقم المضاف (واحد) هو العامل المهيمن، مما جعل الفروق الضئيلة بينها تختفي. أما بالنسبة للقياسات الأكبر، فقد كان للإضافة تأثير مختلف، مما خلق عدم تطابق لم يستطع النموذج الرياضي تصحيحه. وحتى عندما حاول الباحثون استخدام أرقام أصغر بكثير بدلًا من الواحد، استمرت المشكلة. فإذا اختاروا رقمًا صغيرًا جدًا، فإن الأصفار في البيانات تتحول إلى قيم بعيدة جدًا عن بقية البيانات، مما يخلق نوعًا جديدًا من التشوه يسحب التحليل عن مساره الصحيح.

ثم انتقل الفريق إلى ما وراء الأرقام الاصطناعية لفحص دراسات بيئية حقيقية، بما في ذلك دراسة عن إزهار الأعشاب البحرية وأخرى عن جودة المياه في مصبات الأنهار البرتغالية. في دراسة الأعشاب البحرية، كان الباحثون يحاولون فهم كيف يؤدي ارتفاع درجات حرارة المحيط إلى ازدهار هائل للأزهار. كانت العلاقة بين الحرارة والإزهار غير خطية بوضوح، حيث تنمو بشكل أسرع مع زيادة الحرارة. وعندما استخدم الباحثون الأصليون طريقة (log(x+1 لتحليل هذه البيانات، فشل المنحنى الناتج في التقاط الكثافة الحقيقية للاستجابة، حيث أدى إلى تسطيح الذروة وفشل في رصد التسارع السريع للازدهار. وفي المقابل، عندما أعاد الفريق الجديد تحليل نفس البيانات باستخدام طرق مختلفة لا تتضمن إضافة ثابت، ظهرت العلاقة الحادة والحقيقية بين الحرارة والإزهار بوضوح. وبالمثل، في دراسة المصب، كان العلماء يبحثون في نسبة الكتلة الحيوية للنباتات فوق الأرض إلى الكتل الحيوية تحت الأرض لتحديد صحة الأعشاب البحرية. ولأن بعض النباتات كانت تنمو بينما كانت أخرى تتقلص، احتوت البيانات على قيم فوق وتحت الواحد. وقد عاملت طريقة (log(x+1 هذه القيم بشكل غير متساوٍ، حيث ضغطت النباتات الصحية والنامية وضخمت النباتات المتعثرة، مما أدى إلى رؤية مشوهة لصحة النظام البيئي. وأظهر الباحثون أن هذا التشوه لم يكن مجرد فضول إحصائي، بل غير التفسير حول ما إذا كانت الأعشاب البحرية مزدهرة أم تحتضر.

كما اختبرت الدراسة ما إذا كانت حيل رياضية أخرى يمكنها حل المشكلة. فقد جربوا استخدام الجذور التربيعية، والجذور التكعيبية، وتعديلات معقدة أخرى تُستخدم غالبًا لتسوية البيانات غير المنتظمة. وبينما نجحت بعض هذه البدائل بشكل أفضل من طريقة (log(x+1 في حالات معينة، إلا أن أيًا منها لم يستطع حل المشكلة بالكامل عندما تحتوي البيانات على أصفار وتتبع نمطًا أسيًا. ووجد الباحثون أنه عندما تسلك البيانات سلوكًا أسيًا، لا يمكن لأي قدر من إعادة تشكيل الأرقام باستخدام صيغة بسيطة أن يجعلها تتناسب مع النماذج الخطية القياسية دون إدخال خطأ. ومع ذلك، أوضحوا أن هذا لا يعني أن كل عملية تحويل محكوم عليها بالفشل؛ فبالنسبة لمجموعات البيانات التي لا تتبع نموذجًا أسيًا صارمًا، يمكن لطرق أخرى مثل تحويل (Box-Cox) أن تكون ناجحة. وفي هذه الحالات الأسية المحددة، خلصت الورقة إلى أن الحل الأفضل ليس إجبار البيانات على أن تصبح خطًا مستقيمًا على الإطلاق، بل يجب على العلماء استخدام نماذج إحصائية مصممة خصيصًا للبيانات غير الخطية، مثل النماذج الخطية المعممة، والتي يمكنها التعامل مع الأصفار والنمو الأسي مباشرة دون الحاجة إلى إضافة أرقام عشوائية.

إن تداعيات هذا الاكتشاف كبيرة في العلوم البيئية، حيث تتضمن البيانات غالبًا أصفارًا بسبب غياب نوع ما من الأنواع في موقع معين أو لعدم إمكانية اكتشاف ملوث ما. ولسنوات، كان تحويل (log(x+1 هو الأداة الافتراضية للتعامل مع هذه الأصفار، واستُخدم في دراسات لا حصر لها حول التنوع البيولوجي، وتغير المناخ، والتلوث. ويرى الباحثون أن هذا الاستخدام الواسع النطاق قد أدى على الأرج likely إلى إنتاج عدد هائل من الدراسات لنتائج منحازة، حيث يتم تقدير قوة العلاقة بأقل أو أكثر من قيمتها الحقيقية، أو حيث يُفهم اتجاه الاتجاه العام بشكل خاطئ. والتحيز هنا ليس طفيفًا، بل هو كبير بما يكفي لتغيير نتيجة الدراسة. ويؤكد المؤلفون أنه بينما تعد طريقة (log(x+1 سهلة الاستخدام، إلا أنها ليست حلاً علميًا صالحًا. وهم يحثون المجتمع العلمي على التخلي عن هذه الممارسة واعتماد طرق أكثر صرامة تحترم الطبيعة الحقيقية للبيانات. ومن خلال القيام بذلك، يمكن للباحثين ضمان أن استنتاجاتهم حول العالم الطبيعي مبنية على الواقع، وليس على الآثار الرياضية لعملية مختصرة مريحة ولكنها معيبة.