ملخص تقني: DeCoDrift: تثبيت اقتران فك التشفير في التجزئة التأسيسية ذات الحلقة المغلقة

بيان المشكلة

يتم نشر نماذج التجزئة التأسيسية، مثل نموذج "Segment Anything" (SAM)، بشكل متزايد في مسارات تكرارية حيث تعمل الأقنعة المتوقعة من تكرار واحد كـ "محفزات" (prompts) للتكرار التالي. وهذا يخلق نظامًا ديناميكيًا ذا حلقة مغلقة. وبينما ركزت الأبحاث السابقة على متانة المدخلات (مثل حساسية المحفز، والمتانة تجاه الفساد)، ظل السلوك الداخلي لفك التشفير (decoder) أثناء حلقات التغذية الراجعة التكرارية هذه غير مدروس.

تحدد الورقة نمط فشل تم التغاضي عنه سابقًا يسمى "انزياح اقتران فك التشفير" (decoder coupling drift). في هذه الظاهرة، يفقد انتباه التقاطع (cross-attention) الخاص بفك تشفير القناع محاذاة الهدف تدريجيًا عبر التكرارات. يتسبب هذا عدم المحاذاة في تراكم الأخطاء: حيث تؤدي عدم الدقة الطفيفة في القناع المتوقع ($M_t$) إلى توليد محفزات مزاحة ($p_{t+1}$)، مما يغير انتباه التقاطع لفك التشفير، ويؤدي بدوره إلى مزيد من التدهور في القناع اللاحق. السؤال المركزي الذي تعالجه الورقة هو: ماذا يحدث داخل فك تشفير SAM أثناء هذا الانزياح التكراري، وهل يمكننا التدخل في وقت الاستنتاج دون إعادة تدريب؟

المنهجية

1. الأدوات والمقاييس

قام المؤلفون بتجهيز فك تشفير القناع المكون من طبقتين في SAM عند أربعة مواقع انتباه محددة: الانتباه الذاتي النهائي، وانتباه التقاطع بين الرمز والصورة (token-to-image)، وانتباه التقاطع بين الصورة والرمز (image-to-token)، والانتباه النهائي بين الرمز والصورة. وبناءً على هذه الإشارات الداخلية، استخلصوا عشرة مقاييس لقياس الاقتران بين انتباه فك التشفير والهدف دون الاعتماد على الحقيقة الأرضية (ground truth) للمراقبة:

• إشارات خالية من الحقيقة الأرضية: انزياح مرساة الانتباه (AAD)، استقرار الاقتران الزمني (TCS)، طاقة انزياح المحفز (PDE)، إنتروبيا الانتباه (AE)، والارتباط الذاتي المتقاطع (SCA).
• إشارات تعتمد على الحقيقة الأرضية (للتحليل): محاذاة قناع انتباه التقاطع (CAMA)، نسبة تسرب التشتت (DLR)، هبوط الاقتران السببي (CCD)، ودرجة اقتران المحفز بالصورة المركبة (PICS).

2. تحليل الأنظمة الديناميكية

يتم صياغة عملية التحفيز التكرارية كمنظومة ديناميكية منفصلة الزمن: $p_{t+1} = \Phi_\theta(I_t, p_t)$.

• تحليل الاستقرار: يثبت المؤلفون أن حلقة التغذية الراجعة تكون مستقرة تقاربيًا فقط إذا كان نصف قطر الطيف لمصفوفة جاكوبي، $\rho(J_t)$، أقل من 1. عندما يكون $\rho(J_t) \geq 1$، تنمو الأخطاء هندسيًا، وتظهر في شكل الانزياح الملحوظ.
• التثبيت القريب (Proximal Stabilization): لمواجهة ذلك، يقترحون استبدال التحديث القياسي بتحديث منتظم مشتق من مؤثرات قريبة (proximal operators). يقوم هذا التحديث بدمج التنبؤ الحالي مع مرساة أولية ($p_0$) والمحفز السابق ($p_{t-1}$)، مما يقلل فعليًا من نصف قطر الطيف للنظام ويحد من تضخم الخطأ.

3. إطار عمل DeCoDrift

بناءً على التحليل، قدم المؤلفون DeCoDrift، وهو إطار عمل للتثبيت في وقت الاستنتاج بدون إعادة تدريب، ويتكون من أربعة مكونات:

1. استخراج المحفز الموجه بالانتباه: بدلاً من استخدام العزوم الخام للقناع، يتم استخراج المحفزات (المراكز/صناديق الإحاطة) باستخدام خريطة انتباه فك التشفير كأولوية مكانية لتحيز الاستخراج نحو المناطق المنتبه إليها.
2. تنظيم المرساة القريبة: يتم تنظيم المحفز المستخرج باستخدام الحل المغلق المشتق، حيث يمزج المحفز الجديد مع مرساة ثابتة والمحفز السابق لمنع الانزياح غير المحدود والتذبذب.
3. اختيار المرشح المدرك لفك التشفير: عندما يتم إنشاء أقنعة مرشحة متعددة، يتم تعديل معايير الاختيار للموازنة بين الثقة، والاستمرارية، وعدم اليقين، والتباعد، والتسرب، بدلاً من مجرد تعظيم IoU.
4. استمرارية الكائن الناعمة (Soft Object Persistence): آلية للاحتفاظ بالكائنات التي تكون محجوبة مؤقتًا أو غير مستقرة، باستخدام عتبات AAD/TCS والاسترداد القائم على المرساة، بدلاً من التصفية الصارمة.

المساهمات الرئيسية

1. إطار اقتران فك التشفير: أول تجهيز منهجي لفك تشفير نموذج تأسيسي لتحديد مقاييس تقيس اقتران الانتباه بالهدف دون الحاجة للحقيقة الأرضية.
2. التوصيف التجريبي: إثبات على بيانات المجهر الإلكتروني الحجمي (MitoEM) أن التحفيز التكراري القياسي يعاني من انزياح انتباه منهجي، وارتفاع في طاقة المحفز، وتدهور في الاستقرار الزمني مقارنة بالحد الأعلى المرتكز على "الأوراكل" (oracle).
3. التحليل الديناميكي: صياغة حلقة التغذية الراجعة للمحفز كنظام ديناميكي، وإثبات أن تنظيم المرساة القريبة يحد من مصفوفة جاكوبي الفعالة ويثبت النظام.
4. التثبيت بدون إعادة تدريب: تقديم DeCoDrift، الذي يحسن جودة التجزئة واستقرارها دون الحاجة لإعادة تدريب، أو تعديل الأوزان، أو بيانات إضافية.

النتائج التجريبية

أُجريت التجارب على مجموعة بيانات MitoEM (ميتوكوندريا القشرة الفأرية) باستخدام 10 شرائح حجمية و133,452 استدعاء لفك التشفير.

• مقاييس الاقتران: أظهر التحفيز التكراري القياسي (الطريقة A) انزياحًا أعلى بكثير في مرساة الانتباه (AAD) واستقرارًا أقل في الاقتران الزمني (TCS) مقارنة بالأوراكل (الطريقة B). تحديدًا، انخفضت TCS من 0.995 (الأوراكل) إلى 0.847 (التكراري)، مما يشير إلى انزياح بنسبة 15% في الانتباه لكل خطوة.
• أداء التثبيت: سد DeCoDrift (A-Stab) 76.4% من فجوة TCS و 27.9% من فجوة AAD مقارنة بالأوراكل.
• جودة التجزئة: حسن DeCoDrift من تقاطع الاتحاد فوق الاتحاد (IoU) النهائي بنسبة 37.7% (نسبية) مقارنة بالخط المرجعي التكراري القياسي عند المسافات القصيرة (≤10 شرائح).
• الدراسة الاستقصائية (Ablation): تم تحديد مكون التنظيم القريب كمساهم رئيسي في الاستقرار، حيث قلل AAD بنسبة 18% وزاد TCS بمقدار 12.2 نقطة مئوية بمفرده.
• وقت التشغيل: يضيف الإطار حوالي 4.1 مللي ثانية (4.9%) من العبء الإضافي لكل كائن في كل تكرار على وحدة معالجة رسومات A5000.

الأهمية والادعاءات

تدعي الورقة أن الديناميكيات الداخلية لفك التشفير ليست مجرد أدوات تشخيصية بل هي إشارات قابلة للتنفيذ لتثبيت النماذج التأسيسية في الحلقات المغلقة. النتائج الرئيسية هي:

• الاقترن هو أمر منهجي: يؤدي التحفيز التكراري إلى نمط فشل منهجي حيث ينزاح الانتباه بعيدًا عن الهدف، وهو أمر غير مرئي من خلال قناع المخرجات وحده حتى تتراكم الأخطاء.
• الإشارات الداخلية تتنبأ بالجودة: مقاييس مثل AAD و TCS تتنبأ بقوة بجودة التجزئة (ارتباط بيرسون/سبيرمان $|r| > 0.95$) عندما يتم التحكم في الاقتران.
• الاستقرار مقابل القدرة على التكيف: يحقق DeCoDrift "نقطة مثالية" من خلال الحد من الانزياح عبر التنظيم القريب مع الحفاظ على قدر كافٍ من المرونة للتكيف من شريحة إلى أخرى، دون الحاجة إلى مراسي الحقيقة الأرضية أثناء الاستنتاج.
• القدرة على التعميم: يشير المؤلفون إلى أن أي نظام يستعلم تكراريًا من نموذج تأسيسي (مثل سلسلة الأفكال - chain-of-thought، أو الانتشار التكراري - iterative diffusion) قد يظهر انزياحًا مماثلًا، وأن إطار عملهم مستقل عن البنية المعمارية.

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن التقييم يقتصر حاليًا على مجموعة بيانات أساسية واحدة (MitoEM) وأن طريقة المرساة (الأوراكل) تعمل فقط كحد أعلى. كما يقرون بأن DeCoDrift يثبت الجزء الديناميكي من الحلقة، بينما يصعب تغيير الاقتران الساكن (الاعتماد السببي) دون تعديل الأوزان.