💻 computer science

Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation

تقترح هذه الورقة البحثية "إنتروبيا تاليس التكيفية لإزالة الانحياز" (ADTE)، وهي طريقة جديدة للتكيف في وقت الاختبار تستبدل إنتروبيا شانون المنحازة بإنتروبيا تاليس المصححة للانحياز والمخصصة لكل فئة للتعامل بفعالية مع عدم توازن توزيع ما قبل التدريب في نماذج الرؤية واللغة، محققةً أداءً هو الأفضل في فئته عبر مختلف المعايير دون الحاجة إلى ضبط المعلمات الفائقة.

المؤلفون الأصليون: Xiangyu Wu, Dongming Jiang, Feng Yu, Yueying Tian, Jiaqi Tang, Qing-Guo Chen, Yang Yang, Jianfeng Lu

نُشر 2026-02-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiangyu Wu, Dongming Jiang, Feng Yu, Yueying Tian, Jiaqi Tang, Qing-Guo Chen, Yang Yang, Jianfeng Lu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعد روبوت فائق الذكاء (مثل نموذج الرؤية واللغة - Vision-Language Model) قد قرأ الإنترنت بأكمله ليتعلم كيفية التعرف على الأشياء. إنه موهوب للغاية، ولكن نظرًا لأنه تعلم من إنترنت فوضوي وغير متوازن، فقد اكتسب عادة سيئة: وهو الهوس بالأشياء الشائعة (مثل كلاب "الجولدن ريتريفر") وتجاهل أو إساءة فهم الأشياء النادرة تمامًا (مثل كلاب "اللاسا أبسو").

عندما تعرض على هذا الروبوت صورة جديدة، قد يقول بثقة: "هذا كلب جولدن ريتريفر!" حتى لو كان في الواقع كلب "لاسا أبسو"، لمجرد أنه رأى الملايين من كلاب الجولدن ريتريفر بينما لم يرَ سوى القليل من كلاب اللاسا أبسو.

تقدم هذه الورقة البحثية حيلة جديدة تسمى ADTE (إنتروبيا تساليس لإزالة الانحياز التكيفي) لإصلاح عادات الروبوت السيئة هذه أثناء نظره إلى الصورة، دون الحاجة إلى إعادة تدريبه من الصစွာ.

إليك تفصيل ذلك باستخدام تشبيهات بسيطة:

1. المشكلة: انحياز "تصويت الأغلبية"

تحاول معظم الطرق الحالية إصلاح الروبوت عبر سؤاله: "ما مدى عدم تأكدك؟" إنهم يستخدمون أداة رياضية تسمى إنتروبيا شانون (لنسمِّها "مقياس عدم اليقين القياسي").

العيب: المقياس القياسي يفترض أن الروبوت عادل. لكن الروبوت ليس كذلك؛ إنه منحاز.
التشبيه: تخيل فصلًا دراسيًا حيث 90% من الطلاب خبراء في الرياضيات، و10% فقط خبراء في الفن. إذا سألت الفصل: "من منكم غير متأكد بشأن سؤال الفن هذا؟"، فقد يقول المقياس القياسي: "الجميع واثق!" لأن خبراء الرياضيات يخمنون بشكل عشوائي لكنهم يشعرون بالثقة. يفشل المقياس في إدراك أن خبراء الفن هم في الواقع من يجب الاستماع إليهم، لأن النظام منحاز نحو الأغلبية.

2. الأداة الجديدة: "العدسة القابلة للضبط" (إنتروبيا تساليس)

أدرك المؤلفون أن المقياس القياسي جامد للغاية. لذا قدموا إنتروبيا تساليس، وهي تشبه عدسة الزووم لعدم اليقين.

كيف تعمل: تمتلك هذه العدسة قرص ضبط (يسمى المعامل $q$ $q$ ).
- إذا أدرت القرص في اتجاه واحد، فإنها تعمل تمامًا مثل المقياس القياسي القديم.
- إذا أدرت القرص في الاتجاه الآخر، فإنها تصبح شديدة الحساسية للعناصر النادرة ذات الثقة المنخفضة. ستقول: "مهلاً، الروبوت واثق جدًا من الجولدن ريتريفر، وغير متأكد جدًا من اللاسا أبسو. دعونا نثق في اللاسا أبسو أكثر!"
السحر: تثبت الورقة البحثية رياضيًا أنه من خلال ضبط هذا القرص، يمكنك دائمًا العثور على إعداد يكون أفضل من المقياس القياسي القديم.

3. الابتكار: "الترموستات الذكي" (ADTE)

كانت هناك عقبة واحدة: كان عليك ضبط ذلك القرص ( $q$ ) يدويًا للعثور على الإعداد المثالي لكل موقف جديد. هذا يشبه محاولة تخمين درجة الحرارة المثالية لغرفة دون وجود ترموستات.

ابتكر المؤلفون ADTE (إنتروبيا تساليس لإزالة الانحياز التكيفي).

التشبيه: فكر في ADTE كـ ترموستات ذكي يتعلم درجة حرارة الغرفة أثناء العمل.
- بينما ينظر الروبوت إلى تدفق من الصور الجديدة، يقوم ADTE بهدوء بالعد: "حسنًا، إنه منحاز حقًا ضد فئات 'الذيل' (الأشياء النادرة) ومنحاز نحو فئات 'الرأس' (الأشياء الشائعة)."
- ثم يضبط القرص تلقائيًا لكل فئة محددة.
- بالنسبة لـ "الجولدن ريتريفر" (الفئة الشائعة/الرأس)، فإنه يضيق العدسة ليكون متشككًا في ثقته العالية.
- بالنسبة لـ "اللاسا أبسو" (الفئة النادرة/الذيل)، فإنه يوسع العدسة لمنحه فرصة عادلة.

4. النتيجة: روبوت أكثر عدلاً وذكاءً

باستخدام هذه العدسة التكيفية، يتوقف الروبوت عن اتباع الحشد بشكل أعمى.

قبل: كان يتجاهل الحيوانات النادرة ويصنفها خطأً كحيوانات شائعة.
بعد (مع ADTE): يدرك: "آه، أنا عادة ما أخطئ بشأن الأشياء النادرة. دعني أنظر بتمعن أكبر إلى هذا الحيوان النادر."
النتيجة: في اختباراتهم، تفوقت هذه الطريقة على جميع الطرق الرائدة الأخرى في ImageNet (قاعدة بيانات صور ضخمة) والعديد من مجموعات البيانات الصعبة الأخرى. لقد حسنت دقة الروبوت في العناصر النادرة بشكل كبير، حيث حولت معدل نجاحه من 0% في بعض الفئات النادرة إلى 3% - 50%.

الملخص

الطريقة القديمة: استخدمت مسطرة جامدة لقياس عدم اليقين، والتي فشلت لأن الروبوت كان منحازًا.
الطريقة الجديدة (ADTE): تستخدم عدسة مرنة ذاتية الضبط تتعلم بالضبط مدى انحياز الروبوت لكل عنصر وتصححه في الوقت الفعلي.

الأمر يشبه منح الروبوت نظارات تصحح عمى الألوان لديه تلقائيًا، مما يسمح له برؤية العالم تمامًا كما هو، وليس فقط كما تدرب على رؤيته.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation".

1. بيان المشكلة

تُظهر نماذج الرؤية واللغة (VLMs)، مثل CLIP، قدرة مذهلة على التعميم في حالة "الصفر-خطوة" (zero-shot)، ولكنها تعاني من تدهور الأداء عند اختبارها على توزيعات بيانات مختلفة عن بيانات التدريب (خارج التوزيع أو OOD). ويظهر هذا بوضوح نتيجة تحيزات التنبؤ المتأصلة الناتجة عن التدريب المسبق على مجموعات بيانات غير متوازنة للغاية تم جمعها من الويب.

المشكلة الجوهرية: تعتمد طرق "التكيف وقت الاختبار" (TTA) القياسية على إنتروبيا شانون (Shannon Entropy - SE) لقياس عدم اليقين في التنبؤ واختيار المشاهد المعززة ذات الثقة العالية. ومع ذلك، تفترض إنتروبيا شانون معاملة موحدة لجميع الفئات.
آلية التحيز: في نماذج الرؤية واللغة، غالبًا ما تمتلك فئات "الرأس" (الأكثر تكرارًا في التدريب) تنبؤات مفرطة في الثقة، بينما تمتلك فئات "الذيل" (الأقل تكرارًا) تنبؤات ناقصة في الثقة. تحسب إنتروبيا شانون الإنتروبيا باستخدام الصيغة $H = -\sum p \log p$ . ولأن إنتروبيا شاناون تطبق هذه الصيغة الموحدة بغض النظر عن تحيز الفئة، فإن تقديرات الإنتروبيا الناتجة تكون متحيزة هي الأخرى. يؤدي هذا إلى الاختيار الخاطئ للمشاهد "عالية الثقة" أثناء عملية الـ TTA، مما يفشل في تكييف النموذج بفعالية مع توزيع الاختبار.

2. المنهجية

يقترح المؤلفون إنتروبيا تساليس التكيفية لإزالة التحيز (Adaptive Debiasing Tsallis Entropy - ADTE)، وهو إطار عمل مبتكر يعمم إنتروبيا شانون للتعامل مع التوزيعات المتحيزة ديناميكيًا.

أ. الأساس النظري: إنتروبيا تساليس (Tsallis Entropy - TE)

تقدم الورقة إنتروبيا تساليس (TE) كتعميم لإنتروبيا شانون، ويتم التحكم فيها بواسطة معامل غير ممتد $q$ :
$H_{TE}(P) = \frac{1}{1-q} \left( \sum_{l=1}^{L} P_l^q - 1 \right)$

التكافؤ: عندما تقترب $q$ من $1$، تتقارب إنتروبيا تساليس مع إنتروبيا شانون.
تصحيح التحيز: يثبت المؤلفون نظريًا وتجريبيًا أنه عندما تكون $q < 1$ ، تعمل إنتروبيا تساليس بشكل طبيعي على تخفيف تأثير التحيز. وتحديدًا، بالنسبة لفئات "الذيل" حيث يكون الاحتمال المتوقع $p$ صغيرًا ومتحيزًا (ناقص التقدير)، فإن إنتروبيا تساليس مع $q < 1$ تعطي قيمة إنتروبيا أعلى من إنتروبيا شانون، مما يؤدي فعليًا إلى "معاقبة" عدم اليقين بشكل أكثر دقة ويسمح للنموذج باختيار مشاهد أفضل.
الحد الأدنى: ثبت أن إنتروبيا شانون هي حد أدنى لأداء إنتروبيا تساليس؛ حيث يوجد $q$ أمثل يتفوق فيه TE على SE في اختيار المشاهد عالية الثقة (مقاسة بـ Top-K Cumulative Reliability, $Tcr_K$ ).

ب. إنتروبيا تساليس التكيفية لإزالة التحيز (ADTE)

تتطلب إنتروبيا تساليس القياسية ضبط معلمة $q$ عالمية واحدة يدويًا، وهو أمر غير عملي لبيانات الاختبار المتدفقة حيث يختلف التحيز عبر الفئات. يحل ADTE هذه المشكلة من خلال:

معلمات خاصة بكل فئة: بدلاً من $q$ واحدة، يخصص ADTE معلمة فريدة $q_l$ لكل فئة $l$ .
تقدير التحيز: يقدر النموذج تحيز التنبؤ لكل فئة باستخدام بنك ذاكرة (memory bank) من حالات الاختبار الواردة. يقوم بحساب الاحتمال القبلي $\tilde{p}_l$ عن طريق حل معادلة خطية تتضمن الملصقات الزائفة للنموذج (اتباعًا لمنهج Frolic).
التطبيع الديناميكي: يتم تطبيع التحيز المقدر لاشتقاق $q_l$ $q_{l}$ .
- المنطق: الفئات ذات التحيز الأعلى (عادةً فئات الذيل ذات الاحتمالات الناقصة التقدير) يتم تخصيص $q_l$ أصغر لها (أقرب إلى 0) لتعظيم تأثير إزالة التحيز.
- الصيغة: $q_l = \alpha + (\beta - \alpha) \frac{-\log \tilde{p}_l - \min(\tilde{p})}{\max(\tilde{p}) - \min(\tilde{p})}$ .
سلسلة العمل (Pipeline):
- تعزيز صور الاختبار.
- تقدير تحيزات الفئات وحساب $q_l$ .
- حساب $H_{ADTE}$ لكل مشهد.
- اختيار المشاهد ذات أقل $H_{ADTE}$ (الأعلى ثقة).
- تجميع التنبؤات من المشاهد المختارة.

3. المساهمات الرئيسية

تحديد قيود إنتروبيا شانون: تثبت الورقة بصرامة أن إنتروبيا شانون متحيزة بطبيعتها لنماذج الرؤية واللغة بسبب التدريب المسبق غير المتوازن، مما يؤدي إلى اختيار غير مثالي للمشاهد في TTA.
التعميم النظري: تؤسس لإنتروبيا تساليس كبديل متفوق، وتثبت أن إنتروبيا شانون هي حالة حدية ( $q=1$ ) وأن $q < 1$ يوفر حدًا أدنى نظريًا لتحسين الأداء في الإعدادات المتحيزة.
الآلية التكيفية (ADTE): يقترح المؤلفون أول طريقة لضبط معلمة تساليس $q$ بشكل تكيفي لكل فئة أثناء الاختبار، مما يلغي الحاجة إلى الضبط اليدوي للمعلمات أو التعديلات الخاصة بالتوزيع.
التكامل: تم تصميم ADTE ليكون بديلاً جاهز الاستخدام (drop-in replacement) لإنتروبيا شانون في مسارات TTA الحالية (مثل Zero أو TPT) ويتكامل بسلاسة مع استراتيجيات تعديل اللوجيت (Logit Adjustment).

4. النتائج التجريبية

تم تقييم الطريقة على ImageNet، ونسخها الخمس (A, V2, R, K, إلخ)، و 10 معايير اختبار عبر المجالات (بما في ذلك Caltech, SUN, DTD, EuroSAT, إلخ) باستخدام CLIP (ViT-B/16 و ViT-L/14).

أداء الحالة الراهنة (SOTA): تفوق ADTE باستمرار على طرق SOTA (بما في ذلك Zero, TPT, Frolic, و BCA) عبر جميع المعايير.
- في ImageNet-1k، حقق ADTE نسبة 71.8% (ViT-B/16) و 77.8% (ViT-L/14)، متجاوزًا أفضل النتائج السابقة (Zero) بفوارق كبيرة.
- في معايير OOD، حقق ADTE أعلى متوسط دقة (على سبيل المثال، 67.5% متوسط لنسخ ImageNet لنموذج ViT-B/16).
- في المعايير عبر المجالات، حقق ADTE أعلى متوسط أداء (71.8% لـ ViT-B/16 و 77.7% لـ ViT-L/14).
تحسين فئات الذيل: أظهر التحليل الكمي أن ADTE حسن دقة فئات الذيل بشكل كبير (على سبيل المثال، رفع الدقة من 0% إلى ~30-50% لفئات ذيل محددة) وقلل من إنتروبيا التنبؤ، مما يشير إلى تقدير أكثر موثوقية لعدم اليقين.
المتانة: ظلت الطريقة فعالة تحت ضجيج الملصقات الزائفة الشديد (حتى 80% ضجيج) وفي مجموعات البيانات التالفة (ImageNet-C)، حيث غالبًا ما يتدهور أداء الطرق القائمة على إنتروبيا شانون.
الكفاءة: يضيف ADTE عبئًا حسابيًا ضئيلًا مقارنة بـ SE القياسية في TTA، مع استهلاك ذاكرة مماثل للطرق الموجودة.

5. الأهمية

يعالج هذا العمل خللاً جوهريًا في استراتيجيات TTA الحالية لنماذج الرؤية واللغة: الاعتماد على إنتروبيا شانون في ظل وجود تحيز متأصل في النموذج. من خلال تقديم إنتروبيا تساليس التكيفية لإزالة التحيز، يقدم المؤلفون حلاً مدعومًا نظريًا، ولا يتطلب ضبطًا يدويًا للمعلمات، وفعالًا للغاية.

الأثر النظري: يجسد الفجوة بين الميكانيكا الإحصائية غير الممتدة (تساليس) والتعلم العميق التكيفي، موضحًا أن $q < 1$ أمر بالغ الأهمية للتعامل مع التوزيعات طويلة الذيل والمتحيزة.
الأثر العملي: يوفر ADTE وحدة قوية وقابلة للتركيب والتشغيل (plug-and-play) تعزز بشكل كبير موثوقية نماذج الرؤية واللغة في السيناريوهات الواقعية حيث تتغير توزيعات البيانات وتنتشر عدم التوازنات في الفئات. إنه يضع معيارًا جديدًا للتكيف في وقت الاختبار دون الحاجة إلى إعادة تدريب أو هندسة معقدة للأوامر (prompt engineering).