🤖 machine learning

Scaling Pretrained Representations Enables Label-Free Out-of-Distribution Detection Without Fine-Tuning

تُثبت هذه الورقة أن توسيع نطاق التمثيلات سابقة التدريب يُمكّن من الكشف الدقيق عن البيانات خارج التوزيع دون الحاجة إلى تصنيف أو ضبط دقيق، وذلك عبر الكشف عن أن النماذج المجمدة تتضمن بطبيعتها بنية هندسية كافية، مما يؤدي إلى تلاشي فجوات الأداء بين الكواشف المحلية والعالمية مع تحسن جودة التمثيل.

المؤلفون الأصليون: Brett Barkley, Preston Culbertson, David Fridovich-Keil

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Brett Barkley, Preston Culbertson, David Fridovich-Keil

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة الكبيرة: "الخبير المفرط في الثقة"

تخيل أن لديك خبيراً عبقرياً درس آلاف الصور للقطط والكلاب. إذا أريته صورة قطة، سيقول لك: "هذه قطة!" بثقة بنسبة 100%. ولكن إذا أريته صورة محمصة خبز، فقد يظل يقول: "هذه قطة غريبة جداً!" بنفس القدر من الثقة.

في عالم الذكاء الاصطناي، يُطلق على هذا اسم مشكلة "خارج التوزيع" (Out-of-Distribution - OOD). نماذج التعلم العميق بارعة في التعرف على ما رأته من قبل، لكنها سيئة جداً في إدراك متى يكون الشيء جديداً تماماً أو غريباً. هي لا تملك زر "توقف وفكر"؛ بل تكتفي بالتخمين، وغالباً ما يكون تخميناً خاطئاً.

الطريقة القديمة: توظيف متخصص جديد

سابقاً، ولحل هذه المشكلة، اعتقد الباحثون أنك بحاجة للقيام بشيئين:

إعطاء النموذج تسميات (Labels): إخباره بدقة ماهية كل صورة (مثلاً: "هذه قطة"، "هذا كلب").
ضبط النموذج (Fine-tuning): تدريب النموذج خصيصاً لتمييز الأشياء الغريبة، وهو ما يعني فعلياً توظيف متخصص جديد لكل مهمة جديدة.

هذه العملية بطيئة، ومكلفة، وتتطلب الكثير من البيانات التي غالباً ما تكون غير موجودة (مثل الأمثلة المصنفة للمدخلات "الغريبة").

الاكتشاف الجديد: النموذج "المجمد" ذكي بالفعل

يطرح هذا البحث سؤالاً بسيطاً: هل نحتاج حقاً لإعادة تدريب النموذج؟

اختبر المؤلفون نماذج ذكاء اصطناعي حديثة ومُدربة مسبقاً (مثل DINO للصور وQwen للنصوص) وهي "مجمدة". وهذا يعني أنها مدربة بالفعل ولا يُسمح لنا بتغيير "دماغها" الداخلي. هم فقط يستخدمون "الأفكار" (التمثيلات - representations) التي يولدها النموذج عندما ينظر إلى البيانات.

وقد وجدوا أن هذه النماذج المجمدة تمتلك بالفعل "خريطة هندسية" مخفية بداخلها. فحتى دون أن يتم تعليمها ما هو "غريب"، فإن الطريقة التي ينظم بها النموذج أفكاره تفصل طبيعياً بين الأشياء العادية والأشياء الغريبة.

كاشفا التمييز: "الخريطة العالمية" مقابل "الكشاف المحلي"

لاختبار ذلك، استخدم المؤلفون أداتين مختلفتين للنظر في أفكار النموذج:

الخريطة العالمية (Mahalanobis): تخيل أنك تنظر إلى حشد من الناس من طائرة بدون طيار (درون). أنت ترسم دائرة كبيرة حول الأشخاص "العاديين". إذا كان شخص ما بعيداً جداً خارج تلك الدائرة، فهو غريب. هذه الطريقة تنظر إلى الصورة الكبيرة والشكل العام للبيانات.
الكشاف المحلي (ReSCOPED): تخيل كشافاً يسير عبر الحشد، يفحص ملمس الأرض وتفاصيل وجوه كل شخص بدقة. تستخدم هذه الطريقة عملية "انتشار" (تخيل الأمر كأنك تنظف نافذة متسخة ببطء) لترى ما إذا كانت التفاصيل تبدو "نمطية" أو "غير نمطية".

النتيجة الرئيسية: الأكبر هو الأفضل، والبساطة تكفي

اختبر المؤلفون هذه الأدوات على 5�_9 مجموعة مختلفة من المهام (رؤية ولغة) وأحجام النماذج. وإليكم ما وجدوه:

النماذج الصغيرة متطلبة: عندما يكون نموذج الذكاء الاصطناي صغيراً أو غير ذكي جداً، يختلف رأي "الخريطة العالمية" و"الكشاف المحلي". أحياناً تكون الخريطة على حق، وأحياناً يكون الكشاف على حق. عليك أن تخمن أي أداة تستخدم للمهمة المحددة.
النماذج الكبيرة متسقة: مع زيادة حجم النماذج وذكائها (التوسع - scaling up)، تصبح كلتا الأداتين بارعتين للغاية في رصد الأشياء الغريبة.
الفجوة تتلاشى: في أكبر النماذج وأكثرها تقدماً، لا يهم أي أداة تستخدم. فكلتا الأداتين، "الخريطة العالمية" و"الكشاف المحلي"، تعملان بشكل مثالي تقريباً. "الغرابة" تصبح واضحة جداً في أفكار النموذج لدرجة أن أبسط أداة يمكنها العثور عليها.

تشبيه "النقطة المثالية"

اكتشف البحث أيضاً "النقطة المثالية" لكيفية عمل "الكشاف المحلي" (ReSCOPED).
تخيل أنك تحاول سماع صوت محدد في غرفة صاخبة.

إذا رفعت مستوى الصوت عالياً جداً (ضجيج كثير)، ستسمع كل شيء ولن تستطيع تمييز المهم منه.
إذا خفضت مستوى الصوت كثيراً (ضجيج قليل جداً)، ستفقد التفاصيل.
وجد المؤلفون أن هناك مستوى صوت متوسط مثالي حيث تصبح الإشارات "الغريبة" واضحة. ومن المثير للدهشة أن هذا "المستوى المثالي" هو نفسه سواء كنت تنظر إلى صور أو تقرأ نصوصاً. إنه إعداد عالمي للذكاء الاصطناي الحديث.

الاستخدام الواقعي: "حارس البوابة"

بما أن هذه النماذج ذكية بما يكفي لرصد الأشياء الغريبة دون إعادة تدريب، فقد أظهر المؤلفون كيفية استخدامها كـ "حارس بوابة".

تخيل روبوت دردشة (Chatbot). قبل أن يبدأ الروبوت في كتابة إجابة طويلة، يقوم هذا "الحارس" بفحص سؤال المستخدم.

إذا بدا السؤال طبيعياً، يقول الحارس: "تفضل بالاستمرار".
إذا بدا السؤال غريباً أو خطيراً، يقول الحارس: "توقف! لا تجب على هذا".

الجزء المذهل هو أن هذا الحارس سريع للغاية. فهو لا يضيف سوى حوالي 5 مللي ثانية (0.005 ثانية) من التأخير. هو لا يحتاج لإعادة تدريب الروبوت أو طلب تسميات؛ بل يستخدم فقط "أفكار" الروبوت نفسه لاتخاذ القرار.

الملخص

الاعتقاد القديم: تحتاج لإعادة تدريب النماذج واستخدام أدوات معقدة للإمساك بالمدخلات الغريبة.
الاكتشاف الجديد: النماذج الحديثة والكبيرة والمجمدة تمتلك بالفعل "الغرابة" مدمجة في هيكلها.
النتيجة: يمكنك اكتشاف المدخلات الغريبة باستخدام أدوات بسيطة دون أي تدريب إضافي. ومع كبر حجم النماذج، يصبح اختيار الأداة أقل أهمية لأن الإشارة تصبح واضحة جداً.
الفائدة: يتيح هذا إجراء فحوصات سلامة سريعة وفعالة لنماذج الذكاء الاصطناي مباشرة وبسهولة.

ملخص تقني: توسيع نطاق التمثيلات المدربة مسبقاً يُمكّن من الكشف عن البيانات خارج التوزيع بدون تسميات وبدون ضبط دقيق

بيان المشكلة

غالًا ما تفشل نماذج التعلم العميق في الإشارة إلى متى تقع المدخلات خارج نطاق بيانات التدريب (manifold)، مما يؤدي إلى تنبؤات غير موثوقة تحت تأثير تغير التوزيع. ورغم أن الكشف غير الخاضع للإشراف عن البيانات خارج التوزيع (OOD) يعد أمرًا ذا قيمة لطبيعته المستقلة عن المهام، إلا أن الطرق التقليدية تواجه عقبات كبيرة: فالمقدرات القائمة على الاحتمالية (likelihood-based estimators) غالبًا ما تعطي احتمالات أعلى للعينات خارج التوزيع مقارنة بالبيانات داخل التوزيع (ID)، كما أن الطرق القائمة على إعادة البناء (reconstruction-based) حساسة لضبط عنق الزجاجة (bottleneck tuning).

هناك افتراض سائد في هذا المجال مفاده أن الكشف الفعال عن البيانات خارج التوزيع يتطلب إما نمذجة مشروطة بالفئة (التي تعتمد على بيانات داخل التوزيع مصنفة بملصقات/تسميات) أو ضبطًا دقيقًا مُشرفًا للتمثيل لإظهار البنية ذات الصلة بالبيانات خارج التوزيع. علاوة على ذلك، تشير الأعمال السابقة إلى أن ترتيب الكواشف غير متسق عبر مجموعات البيانات، حيث لا يوجد طريقة واحدة تتفوق عالميًا على غيرها. تتحدى هذه الورقة ضرورة وجود الملصقات (labels) والضبط الدقيق (fine-tuning)، وتتساءل عما إذا كانت التمثيلات المدربة مسبقًا والمجمدة (frozen) الحديثة تحتوي بطبيعتها على بنية هندسية كافية للكشف الدقيق عن البيانات خارج التوزيع دون الحاجة لملصقات.

المنهجية

يُقيّم المؤلفون هذه الفرضية عبر 59 زوجًا من (العمود الفقري-المهمة) تشمل وسائط الرؤية (DINO, DINOv3) واللغة (BERT, Qwen3). ويقارنون بين كاشفين مكملين يعملان بدون ملصقات على تمثيلات كامنة مجمدة:

مقدر ماهالانوبيس العالمي (Global Mahalanobis Estimator): وهو تكيف غير خاضع للملصقات لمسافة ماهالانوبيس الكلاسيكية. بدلًا من ملاءمة توزيعات غاوس شرطية للفئات (والتي تتطلب ملصقات)، تقوم هذه الطريقة بملاءمة نموذج غاوس عالمي واحد للتمثيلات الكامنة داخل التوزيع غير المصنفة. وهي تحسب المسافة بين نقطة الاختبار والمتوسط العالمي، مع تطبيعها باستخدام مصفوفة التباين العالمية.
مقدر ReSCOPED (مقدر انحناء الدرجة المحلية - Local Score-Curvature Estimator): وهو مقدر نموذجية (typicality estimator) يعتمد على الانتشار (diffusion) وخفيف الوزن يعمل على المستوى المحلي. بناءً على SCOPED، يقوم ReSCOPED بتدريب مراقب انتشار صغير (حوالي 8 ملايين معلمة) على تمثيلات مجمدة. وهو يقيم الهندسة المحلية باستخدام نسبة درجة-الانحناء ( $T(z) = \|s_\theta(z, \sigma)\|^2 / \kappa(z)$ )، حيث $s_\theta$ هو درجة الانتشار (diffusion score) و $\kappa$ هو أثر جاكوبي الدرجة (trace of the score Jacobian/curvature). يعمل هذا كمرشح متعدد المقاييس لإظهار إشارات البيانات خارج التوزيع التي قد لا تكون متاحة عالميًا.

يتم تطبيق كلتا الطريقتين مباشرة على الأعمدة الفقارية المجمدة، باستخدام البيانات داخل التوزيع غير المصنفة فقط لعملية الملاءمة.

النتائج الرئيسية

1. أداء عالٍ بدون ضبط دقيق

تسمح التمثيلات المجمدة الحديثة بكشف قوي عن البيانات خارج التوزيع بدون ملصقات. في اختبارات الرؤية (مثل CIFAR-10 مقابل CIFAR-100)، حقق ReSCOPED باستخدام عمود فقري DINOv3-L (المجمد) درجة AUROC بلغت 94.3%، وهو ما يطابق تقريبًا الأداء الناتج عن النماذج التي تتطلب ضبطًا دقيقًا مُشرفًا لكامل المعلمات. وبالمثل، في مهام اللغة، حققت النماذج الموسعة (Qwen3) درجة AUROC عالية في معايير CLINC150 و SST دون الحاجة لملصقات.

2. تأثير "نظام التوسع" (Scaling Regime)

تحدد الورقة نمطًا يعتمد على النظام فيما يتعلق باختيار الكاشف:

التمثيلات الضعيفة/الصغيرة: في الأعمدة الفقارية الأصغر أو الأقل بنية (مثل BERT، DINOv3-S)، يعتمد أداء الكاشف على مجموعة البيانات. فعلى سبيل المثال، تفوق ReSCOPED على Mahalanobis في CLINC150، بينما تفوق Mahalanobis على ReSCOPED في SST. لم تكن هناك طريقة واحدة هي الأفضل عالميًا.
التمثيلات القوية/الموسعة: مع زيادة حجم العمود الفقري (مثل DINOv3-L، Qwen3-4B)، تصبح الفجوة بين كاشف Mahalanobis العالمي البسيط وكاشف ReSCOPED المحلي المعقد ضئيلة. يتجه كلا الطريقتين نحو أداء عالٍ، مما يشير إلى أن التوسع يجعل الهندسة ذات الصلة بالبيانات خارج التوزيع متاحة لكل من المجسات العالمية والمحلية.

3. الانتظام التجريبي في مقاييس إزالة الضجيج

عبر 59 تكوينًا في كل من الرؤية واللغة، لاحظ المؤلفون "هضبة أداء" (performance plateau) ثابتة لـ ReSCOPED عند مستوى ضجيج إزالة ضجيج متوسط محدد ( $t \approx 5$ ). يشير هذا إلى أن البنية ذات الصلة بالبيانات خارج التوزيع في تمثيلات Transformer يتم الكشف عنها عند مقياس مستقر ومشترك، بغض النظر عن الوسيط المحدد أو هدف التدريب.

4. الكفاءة العملية

يتيح النهج المقترح نشرًا فعالًا. يضيف ReSCOPED زمن تأخير ضئيلًا (حوالي 5.4 مللي ثانية لـ Qwen3-4B على NVIDIA 4090) لأنه يتطلب تمريرة أمامية واحدة فقط عبر المشفر المجمد، وتمريرة واحدة عبر المراقب خفيف الوزن، وعملية ضرب واحدة لمتجه جاكوبي. يسمح هذا بـ "حراسة" (gatekeeping) فورية أثناء مرحلة التعبئة المسبقة (prefill stage) لاستدلال النماذج اللغوية الكبيرة (LLM)، مما يرفض المطالبات (prompts) خارج التوزيع قبل بدء فك التشفير التلقائي.

المساهمات الرئيسية

قابلية العمل بدون ملصقات: إثبات أن تمثيلات الرؤية واللغة المدربة مسبقًا والحديثة تُمكّن من كشف قوي للبيانات خارج التوزيع بدون ضبط دقيق أو ملصقات فئات، وذلك باستخدام كل من الرؤى الهندسية المحلية (ReSCOPED) والعالمية (Mahaleonobis).
اختيار الكاشف المعتمد على المقياس: إظهار أن عائلة العمود الفقري ومقياسه يحددان فعالية الكاشف. في الأعمدة الفقارية الأضعف، يكون اختيار الكاشف حاسمًا ويعتمد على مجموعة البيانات؛ أما في الأعمدة الفقارية الموسعة (DINOv3، Qwen3)، فإن الفجوة بين الطرق العالمية البسيطة والطرق المحلية التعبيرية تتلاشى.
نظام الحبيبية المشتركة: تحديد هضبة مقياس إزالة الضجيج المتسقة عبر الوسائط، مما يشير إلى أن البنية ذات الصلة بالبيانات خارج التوزيع تصبح متاحة عند مقياس مشترك في تمثيلات Transformer.
مسار النشر: إظهار مسار نشر عملي ومنخفض التأخير للكشف عن البيانات خارج التوزيع على النماذج المجمدة، بما في ذلك الحراسة الفورية في مرحلة التعبئة المسبقة للنماذج اللغوية الكبيرة.

الأهمية والادعاءات

تجادل الورقة بأن الهندسة التي يكشف عنها الأعمدة الفقارية المجمدة المدربة مسبقًا هي المحرك الأساسي لأداء الكشف عن البيانات خارج التوزيع، وليس الاختيار المحدد للكاشف أو الحاجة إلى التكيف المُشرف. ومع توسع نماذج التأسيس (foundation models)، فإنها تكشف طبيعيًا عن الانحرافات ذات الصلة بالبيانات خارج التوزيع بشكل متاح لكل من الإحصاءات العالمية البسيطة ومقاييس الانحناء المحلية المعقدة.

وبناءً على ذلك، يزعم المؤلفون أنه بالنسبة لنماذج التأسيس الموسعة، فإن أهمية اختيار كاشف محدد تتضاءل. ينتقل التركيز من هندسة كواشف معقدة إلى فهم متى تكشف التمثيلات المجمدة بالفعل عن الهندسة اللازمة. يقلل هذا الاكتشاف من العبء الحسابي والبيانات المطلوب للكشف عن البيانات خارج التوزيع، مما يتيح النشر الفعال مباشرة على النماذج المجمدة دون الحاجة إلى ضبط دقيق خاص بالمهمة أو بيانات شاذة مصنفة.

القيود: يشير المؤلفون إلى أنه بينما تغطي الدراسة مجموعة واسعة من الأعمدة الفقارية ومجموعات البيانات، إلا أنها لا تغطي جميع نماذج التأسيس أو أنظمة النشر بشكل شامل. كما أن المقارنة تقتقت بوجود كاشفين مكملين فقط، وهناك حاجة لأعمال مستقبلية للتحقق مما إذا كان هذا التقارب سيستمر مع عائلات الكواشف الأخرى أو مع حالات تغير التوزيع الأكثر صعوبة حيث لا تزال التمثيلات الحالية لا تصل إلى مرحلة التشبع في الأداء.