🤖 machine learning

LaRA: Layer-wise Representation Analysis for Detecting Data Contamination in RL Post-Training

تقدم هذه الورقة LaRA، وهو إطار عمل لتحليل التمثيلات على مستوى الطبقات يكتشف تلوث البيانات في النماذج اللغوية الكبيرة التي خضعت للضبط اللاحق باستخدام التعلم المعزز، وذلك من خلال تحديد الانحرافات الهندسية مثل حساسية الاضطراب المتزايدة، والانهيار الاتجاهي، والصلابة المحلية، متفوقاً بذلك على طرق الكشف الحالية القائمة على مستوى المخرجات.

المؤلفون الأصليون: Minju Gwak, Minseo Kwak, Dongseok Lee, Guijin Son, Alan Ritter, Jaehyung Kim

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Minju Gwak, Minseo Kwak, Dongseok Lee, Guijin Son, Alan Ritter, Jaehyung Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "LaRA: تحليل التمثيل على مستوى الطبقات للكشف عن تلوث البيانات في مرحلة ما بعد التدريب بالتعلم التعزيزي"، باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبيرة: "ورقة الغش" في الامتحان

تخيل أنك تقوم بتدريب طالب عبقري (نموذج لغوي كبير) لحل مسائل رياضية صعبة. لقد أعطيته مكتبة ضخمة من كتب التدريب للدراسة. ومع ذلك، فإن بعض أسئلة "التدريب" في تلك الكتب هي في الواقع نفس الأسئلة تمامًا التي ستظهر في امتحانه النهائي.

هذا ما يسمى بـ تلوث البيانات (Data Contamination). إذا حفظ الطالب إجابات أسئلة الامتحان أثناء الدراسة، فسيجتاز الاختبار بتفوق، لكنه لم يتعلم في الحقيقة كيف يفكر أو يستنتج. لقد قام فقط بحفظ ورقة الغش.

لفترة طويلة، حاول العلماء كشف هذا الغش من خلال النظر إلى إجابات الطالب النهائية. كانوا يسألون: "هل يبدو الطالب واثقًا جدًا؟ هل يجيب بسرعة كبيرة؟" (وهذه تسمى إشارات مستوى المخرجات).

المشكلة: في العصر الجديد لـ "التعلم التعزيزي" (RL)، يتعلم الطالب من خلال تجربة مسارات عديدة للوصول إلى الحل، وليس فقط عبر حفظ الكلمات. وبسبب ذلك، فإن النظر إلى الإجابة النهائية يشبه محاولة كشف غشاش من خلال النظر إلى درجته النهائية فقط؛ فغالبًا ما يكون الوقت قد فات، ويمكن للغشاش تزييف درجة جيدة بسهولة.

الحل: LaRA (رؤية "الأشعة السينية")

يقترح المؤلفون طريقة جديدة تسمى LaRA. بدلاً من النظر إلى الإجابة النهائية، تنظر LaRA إلى داخل عقل الطالب أثناء تفكيره.

تخيل عقل الطالب كمبنى متعدد الطوابق (طبقات). مع صعود السؤال عبر المبنى، يتغير فهم الطالب في كل طابق.

التعلم الطبيعي: عندما يواجه الطالب سؤالاً جديدًا، يكون عقله مرنًا. إذا غيرت صياغة السؤال قليلاً (اضطراب)، فإن أفكاره الداخلية تتغير وتتكيف بشكل طبيعي.
الحفظ (التلوث): عندما يكون الطالب قد حفظ الإجابة، يصبح عقله جامدًا. إنه يشبه الروبوت الذي لديه نص مسجل مسبقًا. إذا غيرت السؤال قليلاً، فإن النص الداخلي للروبوت لا يعرف كيف يتكيف، أو يصاب بالذعر ويتحول بطريقة غريبة وغير طبيعية.

كيف تعمل LaRA: الاختبارات الثلاثة

تعمل LaRA كالمحقق الذي يطرح على الطالب نفس السؤال بثلاث طرق مختلفة قليلاً ويراقب كيف تتفاعل موجات عقله الداخلية (التمثيلات). إنهم يقيسون ثلاثة أشياء محددة:

"اختبار الصدمة" (حجم تحول التمثيل):
- التشبيه: تخيل أنك أخرجت معلومة رئيسية من مسألة رياضية (مثل إزالة الرقم "5" واستبداله بفراغ).
- الطالب الطبيعي: يعيد عقله حساب المسألة بأكملها. نمط تفكيره الداخلي يتغير بشكل كبير لأن الرياضيات قد تغيرت.
- الغشاش: بما أنه حفظ الإجابة، فإن إزالة رقم ما تربكه أو تسبب في حدوث قفزة ضخمة وغير طبيعية في عقله. إنه حساس جدًا للقطعة المفقودة لأنه اعتمد على وجودها.
"اختبار الحشد" (الانهيار الاتجاهي):
- التشبيه: تخيل أنك تسأل 10 أشخاص مختلفين لحل مسألة. عادة ما تتحرك عقولهم في اتجاهات مختلفة قليلاً لأن كل شخص يفكر بطريقة مختلفة نوعًا ما.
- الطالب الطبيعي: يتحرك عقله في اتجاه فريد ومتنوع.
- الغاشش: ينهار عقله في اتجاه واحد جامد. الأمر يشبه حشدًا من الناس يسيرون فجأة بخطوات منتظمة وموحدة. هذا "الانهيار" يحدث لأنهم يعيدون تشغيل مسار محفوظ بدلاً من استكشاف أفكار جديدة.
"اختبار إعادة الصياغة" (استقرار التمثيل):
- التشبيه: اسأل الطالب نفس السؤال ولكن أعد صياغته تمامًا (مثل: "كم عدد التفاح؟" مقابل "ما هو عدد الفاكهة؟").
- الطالب الطبيعي: يظل عقله مستقرًا ومتسقًا. هو يعرف أنها نفس المسألة.
- الغشاش: يصبح عقله جامدًا وغير متغير. هو مقيد بشدة بالصياغة المحددة التي حفظها، لدرجة أن أي إعادة صياغة طفيفة تجعل حالته الداخلية تبدو "متصلبة" وغير طبيعية مقارنة بكيفية تعامله مع الأسئلة العادية.

النتائج: كشف الغشاشين

اختبر الباحثون هذه الطريقة على عدة نماذج ذكاء اصطناعي تم تدريبها باستخدام التعلم التعزيزي.

الطرق القديمة: غالبًا ما كانت طرق الكشف القديمة (المعتمدة على مستوى المخرجات مثل فحص الثقة أو الاحتمالية) تُخدع. لم تستطع التمييز بين الطالب الذكي والغشاش الذي يحفظ فقط.
LaRA: من خلال النظر إلى "الأشعة السينية" للهندسة الداخلية لعقل النموذج، نجحت LaRA في رصد الأسئلة المحفوظة. لقد وجدت أن العينات الملوثة (الغشاشين) لديها "ندوب" مميزة في موجات عقولهم: فهم حساسون جدًا للمعلومات المفقودة، وجامدون جدًا في اتجاههم، ومتصلبون جدًا عند إعادة الصياغة.

لماذا يهم هذا الأمر؟

تزعم هذه الورقة البحثية أنه لكي نعرف حقًا ما إذا كان الذكاء الاصطناعي "يتعلم" أم "يحفظ" فقط خلال تدريبه المتقدم، لا يمكننا فقط الاستماع إلى ما يقوله. يجب أن ننظر إلى كيف يفكر. توفر LaRA طريقة لتدقيق بنية العقل الداخلية للذكاء الاصطناعي لضمان أنه يقوم بالاستنتاج فعليًا وليس مجرد استرجاع ورقة غش.

باختًا: LaRA هي أداة جديدة تمسك بنماذج الذكاء الاصطناعي وهي تغش في امتحاناتها من خلال مراقبة ردود فعل عقولها عندما يتم وخز الأسئلة أو تغيير صياغتها، بدلًا من مجرد تقييم إجاباتها النهائية.

ملخص تقني: LaRA – تحليل التمثيل على مستوى الطبقات للكشف عن تلوث البيانات في مرحلة ما بعد التدريب بالتعلم التعزيزي (RL)

بيان المشكلة

أظهرت مرحلة ما بعد التدريب باستخدام التعلم التعزيزي (RL) فعالية كبيرة في تعزيز قدرات الاستنتاج لدى النماذج اللغوية الكبيرة (LLMs). ومع ذلك، يفرض هذا النموذج ثغرة أمنية حرجة وغير مستكشفة بشكل كافٍ: تلوث البيانات (Data Contamination)، حيث يتم إدراج عينات التقييم أو الاختبار عن غير قصد في بيانات تدريب التعلم التعزيزي. يمكن لهذا التلوث أن يؤدي إلى فرط التخصيص المدفوع بالمكافأة (Reward-driven overfitting) والحفظ الضمني، مما يقوض القدرة على التعميم وموثوقية التقييم لعملية التدريب.

تعتمد طرق الكشف الحالية بشكل أساسي على إشارات مستوى المخرجات (مثل احتمالية الرموز (Tokens)، أو الإنتروبيا، أو الارتياب (Perplexity)) المستمدة من سياقات ما قبل التدريب أو الضبط الدقيق تحت الإشراف (SFT). وتصبح هذه الطرق غير موثوقة بشكل متزايد للنماذج المدربة بالتعلم التعزيزي لسببين:

مشكلات المعايرة: غالبًا ما تكون توزيعات مخرجات النماذج اللغوية الكبيرة ضعيفة المعايرة، مما يجعل الإشارات القائمة على الاحتمالية مشوشة.
عدم تطابق الهدف: على عكس مرحلتي ما قبل التدريب والضبط الدقيق (SFT) اللتين تحسنان احتمالية الرموز، يقوم التعلم التعزيزي بتحسين المكافآت المتوقعة عبر مسارات استنتاج كاملة. وبالتالي، فإن إشارات السلوك على مستوى الرمز تكون أقل توافقًا بشكل مباشر مع هدف التدريب الأساسي.

المنهجية: إطار عمل LaRA

يقترح المؤلفون LaRA (تحليل التمثيل على مستوى الطبقات)، وهو إطار عمل ينقل نموذج الكشف من الإحصاءات على مستوى المخرجات إلى هندسة التمثيل (Representation-level geometry). الفرضية الأساسية هي أن الحفظ الناجم عن التعلم التعزيزي يخلق استجابات هندسية غير طبيعية في الحالات الخفية (Hidden States) للنموذج تحت تأثير اضطرابات محكومة.

1. الإعداد التجريبي

قام المؤلفون ببناء اختبارات تلوث محكومة باستخدام ثلاثة نماذج مفتوحة المصدر مدربة بالتعلم التعزيزي (EURUS-2-7B-PRIME، وLIMR، وOlmo-3.1-7B-RL-Zero-Math).

الأعضاء (Members): 30 مسألة رياضية بمستوى الأولمبياد من مجموعة تدريب التعلم التعزيزي الخاصة بالنموذج.
غير الأعضاء (Non-Members): 30 مسألة من AIME 2026 (بيانات غير مرئية).
التدريب: تخضع النماذج لتدريب تعزيزي إضافي على مجموعة بيانات تحتوي على عينات "الأعضاء" لمحاكاة وتتبع تطور إشارات التلوث.

2. استراتيجية الاضطراب

لكل سؤال $q_0$ ، يولد الإطار العملي:

الجيران الدلاليين (Semantic Neighbors): مجموعة من الأسئلة المتشابهة بنيويًا $Q = \{q_0, q_1, \dots, q_K\}$ .
النسخ المضطربة (Perturbed Variants): يتم إزالة المعلومات الرئيسية من هذه الأسئلة باستخدام عامل BLANKIMPORTANT لإنشاء $q^-_i$ .
النسخ المعاد صياغتها (Paraphrased Variants): يتم إنشاء صياغات مكافئة دلاليًا للأسئلة المضطربة مع الحفاظ على مواضع الفراغات لاختبار الثبات المحلي.

3. المقاييس الهندسية الثلاثة

يتم استخراج التمثيلات الخفية عبر جميع طبقات المحولات ( $\ell \in \{0, \dots, L-1\}$ ) لحساب ثلاثة مقاييس متكاملة:

مقدار إزاحة التمثيل (RSM): يقيس حساسية التمثيلات لإزالة المعلومات. ويحسب النورم الإقليدي للإزاحة ( $\Delta_i = u_i - w_i$ ) بين التمثيلات الأصلية والمضطربة. يشير ارتفاع RSM إلى أن العينة المحفوظة حساسة للغاية لإزالة معلومات محددة مقارنة بجيرانها الدلاليين.
الانهيار الاتجاهي (DC): يصف تنظيم التغييرات الناجمة عن الاضطراب. ويقيس المحاذاة الجيبية (Cosine alignment) بين اتجاه الاضطراب للعينة الأصلية ومتوسط اتجاه الاضطراب لجيرانها الدلاليين. يشير ارتفاع DC إلى أن استجابة النموذج للاضطرابات تنهار في اتجاه مشترك منخفض الأبعاد، مما يشير إلى انخفاض التنوع التمثيلي.
مؤشر استقرار التمثيل (RSI): يقيس الصلابة المحلية تحت اضطرابات إعادة الصياغة. ويقيس تباين التمثيلات للنسخ المعاد صياغتها لنفس السؤال المضطرب. يشير انخفاض RSI (الاستقرار العالي) إلى أن النموذج قد شكل تمثيلات محلية ثابتة وغير متغيرة للمحتوى المحفوظ.

4. بروتوكول الكشف

يقوم إطار العمل بتجميع هذه المقاييس في درجة كشف واحدة (SLaRA) من خلال عملية من ثلاث خطوات:

التقييس المتين (Robust Standardization): يتم ضغط المقاييس وتقييسها مقابل توزيع مرجعي "نظيف" (غير الأعضاء) باستخدام الانحراف المطلق عن الوسيط (MAD) للتعامل مع التوزيعات ذات الذيول الثقيلة ومنع تضخم القيم المتطرفة.
المحاذاة الخاصة بالمقياس: يتم محاذاة الدرجات المقيسة بناءً على اتجاه التلوث المتوقع (على سبيل المثال، عكس RSI إذا كان الاستقرار العالي يشير إلى التلوث).
التجميع على مستوى الطبقة: يتم حساب متوسط الانحرافات المحاذية عبر جميع الطبقات والمقاييس لإنتاج درجة الشذوذ النهائية.

النتائج الرئيسية

تظهر التجارب عبر نماذج متعددة مدربة بالتعلم التعزيزي ونقاط تدريب مختلفة أن LaRA يتفوق على الخطوط المرجعية السابقة على مستوى المخرجات (Recall, CDD, Min-K%, Min-K%++, PPL, Self-Critique).

تحسين الأداء: يحقق LaRA تحسنًا يصل إلى +9.6% في المساحة تحت المنحنى (AUC) و3.5 ضعف معدل الإيجاب الحقيقي عند معدل 5% من الإيجاب الكاذب (TPR@FPR=5%) مقارنة بأقوى طريقة سابقة تعتمد على المخرجات.
المتانة: تظل الدرجة المركبة (SLaRA) مستقرة وفعالة عبر مختلف دورات تدريب التعلم التعزيزي، بينما تظهر مقاييس مستوى المخرجات مثل الارتياب (PPL) تباينًا عاليًا وموثوقية أقل في أنظمة FPR المنخفضة الصارمة.
الرؤى الهندسية: تظهر العينات الملوثة باستمرار:
- حساسية مضاعفة للاضطراب (RSM مرتفع).
- تركيز اتجاهي غير طبيعي (DC مرتفع).
- صلابة محلية معززة (RSI منخفض/استقرار عالٍ).
- تصبح هذه الانحرافات أكثر وضوحًا مع تقدم تدريب التعلم التعزيزي، خاصة في نطاقات طبقات معينة (مثل الطبقات 7-9 لنموذج Eurus).

الأهمية والمساهمات

يدعي البحث المساهمات التالية:

أول إطار عمل على مستوى التمثيل للتعلم التعزيزي: هو أول عمل يقترح إطار عمل لتحليل التمثيل على مستوى الطبقات مخصص للكشف عن التلوث في مرحلة ما بعد التدريب بالتعلم التعزيزي، باستخدام مقاييس الصلابة والجساءة.
بروتوكول كشف متفوق: يتفوق البروتوكول المقترح باستمرار على الخطوط المرجعية على مستوى المخرجات عبر نماذج تعلم تعزيزي متنوعة، مما يوفر إشارة أكثر موثوقية لتدقيق نماذج الاستنتاج المدربة بالتعلم التعزيزي.
رؤى تجريبية: توفر الدراسة أدلة جديدة على أن تدريب التعلم التعزيزي يؤثر على هندسة التمثيل بطرق متميزة، مما يخلق "بصمات هندسية" قابلة للكشف للحفظ تستمر عبر الطبقات وتكون قوية تجاه تغيرات مرحلة التدريب.

يخلص المؤلفون إلى أنه بينما يضيف التدقيق على مستوى التمثيل عبئًا حسابيًا، إلا أنه ضروري لتجاوز قيود إشارات مستوى المخرجات في مجال التعلم التعزيزي، مما يحسن شفافية وموثوقية تقييم النماذج اللغوية الكبيرة.