The Loss Floor of Denoising Score Matching: Fisher Geometry from Schrödinger Bridges

في السنوات القليية الماضية، ظهر نوع جديد من الذكاء الاصطناعي يمكنه إنشاء صور ومقاطع فيديو وأصوات واقعية مذهلة من مجرد أوصاف نصية بسيطة. هذه الأنظمة، المعروفة بنماذج الانتشار (diffusion models)، تعمل من خلال تعلم عكس عملية تدمير تدريجي. تخيل أخذ صورة فوتوغرافية واضحة وإضافة ضجيج استاتيكي إليها ببطء حتى تصبح مجرد كتلة محببة وغير قابلة للتمييز. يتعلم نموذج الانتشار العكس: بدءاً من الضجيج الصافي، يتعلم كيفية إزالة الاستاتيكية تدريجياً، خطوة بخطوة، حتى تظهر صورة واضحة مرة أخرى. وللقيام بذلك، يتم تدريب النموذج على التنبؤ بكيفية دفع صورة مشوشة للعودة نحو الوضوح. تعتمد عملية التدريب هذه على هدف رياضي يسمى "الدرجة" (score)، والذي يشير أساساً إلى الاتجاه نحو البيانات النظيفة. لسنوات، استخدم الباحثون طريقة قياسية لتعليم النموذج هذه المهارة، بافتراض أنه إذا تعلم النموذج التنبؤ بالاتجاه بشكل صحيح في المتوسط، فإنه سيتمرس في النهاية على مهمة توليد صور جديدة.

ومع ذلك، تكشف دراسة جديدة أن طريقة التدريب القياسية هذه تحتوي على تكلفة خفية لا يمكن تجنبها تم التغاضي عنها. وجد الباحثون أن الهدف الذي يحاول النموذج تعلمه ليس اتجاهاً واحداً ثابتاً، بل هو متغير عشوائي يتغير في كل مرة ينظر فيها النموذج إلى صورة مشوشة. ولأن النموذج مُجبر على تخمين هذا الهدف المتغير، فإن عملية التدريب تتضمن دائماً قدراً أساسياً من الخطأ الذي لا يمكن لأي تحسين في التعلم أو قوة في الأجهزة أن يقضي عليه. هذا الخطأ ليس خللاً في تصميم النموذج؛ بل هو خاصية جوهرية في الرياضيات المستخدمة لتعليمه. وتحدد الدراسة هذا الخطأ الذي لا مفر منه باعتباره "أثر متري فيشر-راو" (trace of the Fisher–Rao metric) للبيانات، وهو يقيس مقدار المعلومات التي تُفقد عن الصورة الأصلية مع إضافة الضجيج. ومن خلال عزل هذه التكلفة الخفية، أظهر الباحثون أن مقارنة درجات التدريب الخام لنماذج مختلفة قد يكون مضللاً، لأن الدرجة تعتمد بشدة على كيفية إضافة الضجيج، وليس فقط على مدى جودة النموذج.

يكمن جوهر هذا الاكتشاف في فهم الفرق بين ما يحتاج النموذج لمعرفته وما يُطلب منه فعلياً تعلمه. الهدف المثالي للنموذج هو تعلم متوسط الاتجاه الذي يشير نحو جميع الصور النظيفة الممكنة التي يمكن أن تكون قد أنتجت حالة مشوشة معينة. هذا الاتجاه المتوسط هو "الدرجة" الحقيقية لتوزيع البيانات. ومع ذلك، في الممارسة العملية، يعد حساب هذا المتوسط أمراً مستحيلاً. بدلاً من ذلك، تطلب عملية التدريب من النموذج تخمين الاتجاه بناءً على صورة نظيفة واحدة عشوائية استُخدمت لإنشاء الضجيج. وبينما يكون هذا التخمين صحيحاً في المتوسط عبر محاولات عديدة، إلا أن أي تخمين منفرد يكون مشوباً بالضوضاء وعدم اليقين. وتثبت الدراسة أن الخطأ الإضافي الناتج عن استخدام هذه التخمينات العشوائية يساوي تماماً أثر متري فيشر-راو لعائلة النهايات الطرفية الشرطية. وبعبارة أبسط، هذا مقيما لمدى إخبار الصورة المشوشة لنا عن الصورة النظيفة المحددة التي جاءت منها. ومع زيادة الضجيج، تتلاشى هذه المعلومات، وتظهر الدراسة أن إجمالي خطأ التدريب يتراكم تماماً بالمعدل الذي تُفقد به هذه المعلومات.

يغير هذا الاكتشاف كيفية رؤيتنا لتدريب هذه الأنظمة القوية للذكاء الاصطناعي. فقد أظهر الباحثون أن إجمالي الخطأ المسجل أثناء التدريب هو في الواقع مجموع جزأين متمايزين: الخطأ الذي يمكن للنموذج إصلاحه بالفعل من خلال التعلم بشكل أفضل، والخطأ غير القابل للتقليل الناتج عن عشوائية هدف التدريب. هذا الجزء غير القابل للتقليل، والذي يسمونه "أرضية الفقد" (loss floor)، يعتمد كلياً على البيانات وجدول الضجيج المستخدم أثناء التدريب، وليس على النموذج نفسه. وبناءً على ذلك، إذا تم تدريب نموذجين بجداول ضجيج مختلفة أو نطاقات ضجيج مختلفة، فلا يمكن مقارنة درجات تدريبهما الخام مباشرة. فقد يبدو النموذج الذي تم تدريبه بنطاق أوسع من الضجيج وكأنه يمتلك خطأً أعلى ببساطة لأنه يتعين عليه دفع تكلفة "أرضية" أكبر، حتى لو كان في الواقع نموذجاً أفضل. توفر الدراسة طريقة لطرح هذه التكلفة الخفية، مما يكشف عن الأداء الحقيقي للنموذج. وفي الاختبارات، أدى حذف هذه الأرضية إلى تصحيح ترتيب النماذج، مما أظهر أن النموذج الأفضل كان هو الأفضل بالفعل، وهو أمر كان محجوباً سابقاً بفعل الضجيج الرياضي لعملية التدريب.

كما تربط هذه الدراسة خطأ التدريب بالهندسة الأساسية للبيانات. وتظهر الدراسة أن الخطأ غير القابل للتقليل مرتبط بشكل البيانات التي تعيش فيها. على سبيل المثال، إذا كانت البيانات تتكون من صور تقع على سطح ذي أبعاد أقل ضمن فضاء ذي أبعاد عالية، فإن معدل نمو الخطأ مع إضافة الضجيح يكشف عن أبعاد ذلك السطح. وهذا يعني أن عملية التدريب نفسها تحتوي على قياس مدمج لتعقيد البيانات. علاوة على ذلك، توضح الدراسة أن الطريقة التي نجدول بها الضجيج —أي مدى سرعة إضافته ووزن مراحل العملية المختلفة— لا تغير إجمالي مقدار هذا الخطأ غير القابل للتقليل، بل تغير فقط مكان حدوث الخطأ على طول المسار. وهذا يشير إلى أنه بينما يمكننا إعادة تنظيم عملية التدريب لجعلها أكثر كفاءة، لا يمكننا القضاء على التكلفة الجوهرية للتعلم من البيانات المشوشة.

أحد التطبيقات الأكثر عملية لهذا العمل هو وجود طريقة جديدة لتقييم ومقارنة نماذج الذكاء الاصطناعي المختلفة. يوضح المؤلفون أنه من خلال حساب وطرح هذه الأرضية الخفية، يمكن للباحثين الحصول على مقياس حقيقي لمدى جودة تعلم النموذج. لقد اختبروا ذلك على بيانات اصطناعية حيث كانت جودة النماذج معروفة مسبقاً. وعند النظر إلى أرقام التدريب الخام، كان ترتيب النماذج ينعكس أحياناً، مما يجعل نموذجاً أسوأ يبدو أفضل من نموذج جيد لمجرد اختلاف جدول الضجيج المستخدم. وبمجرد طرح "الأرضية"، استُعيد الترتب الصحيح. يشير هذا إلى أن المعيار الحالي للإبلاغ عن تقدم التدريب غير مكتمل، وأن المقارنات المستقبلية يجب أن تأخذ في الاعتبار هذه التكلفة الهندسية. لا تقترح الدراسة خوارزمية تدريب جديدة أو طريقة جديدة لتوليد الصور، بل تقدم فهماً أوضح للأنظمة الموجودة؛ فهي تكشف عن طبقة خفية من عملية التدريب كانت موجودة دائماً، تنتظر من يقيسها.

استكشف الباحثون أيضاً كيف ينطبق هذا المفهوم على أنواع أخرى من البيانات، مثل النصوص، حيث تتضمن العملية حجب الكلمات بدلاً من إضافة ضجيج غاوسي. ووجدوا أن تكلفة خفية مماثلة موجودة هناك أيضاً، مرتبطة بالاعتلاج (entropy) أو عدم اليقين في البيانات. ويشير هذا إلى أن المبدأ عالمي عبر مختلف أنواع النماذج التوليدية. وتخلص الدراسة إلى أن هندسة البيانات، وتدفق المعلومات، وهدف التدريب، كلها أوصاف مختلفة لنفس الواقع الأساسي. إن "أرضية الفقد" ليست خللاً يجب إصلاحه، بل هي سمة من سمات عالم المعلومات التي يجب الاعتراف بها. ومن خلال فصل قدرة النموذج على التعلم عن التكلفة التي لا يمكن تجنبها لطريقة التدريب، نحصل على صورة أكثر صدقاً ودقة لما يمكن لهذه الأنظمة من ذكاء اصطناعي تحقيقه حقاً.