🤖 machine learning

IRDS: Interpretable RLVR Data Selection via Verifier-Coupled Sparse Autoencoder Coverage

تقدم الورقة البحثية IRDS، وهي طريقة قابلة للتفسير لاختيار البيانات في التعلم التعزيزي مع المكافآت القابلة للتحقق، والتي تستخدم هدف تغطية المشفّر التلقائي المتناثر المقترن بالمُحقِّق لاختيار عينات تدريب عالية الجودة بكفاءة، مما يحسن أداء الاستدلال بشكل كبير في معايير الرياضيات مع تقليل التكاليف الحسابية.

المؤلفون الأصليون: Yuhan Li, Mingxu Zhang, Dazhong Shen, Ying Sun

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuhan Li, Mingxu Zhang, Dazhong Shen, Ying Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدرب تقوم بتدريب طالب عبقري ولكنه غير كفء (نموذج ذكاء اصطناعي) لحل مسائل رياضية معقدة. لديك مكتبة ضخمة من أسئلة التدريب، ولكن ليس لديك سوى وقت لاستخدام جزء ضئيل منها في المعسكر التدريبي النهائي.

المشكلة هي: كيف تختار الأسئلة "الصحيحة"؟

إذا اخترت الأسئلة التي يعرفها الطالب بالفعل، فلن يتعلم شيئاً. وإذا اخترت الأسئلة التي يخطئ فيها في كل مرة، فسيشعر بالإحباط ولن يتعلم شيئاً. وإذا اخترت عشرة أسئلة تدور جميعها حول موضوع "جمع الكسور"، فستكون قد أضعت الوقت في موضوع واحد بينما تجاهلت "الهندسة" أو "المنطق".

تقدم هذه الورقة البحثية طريقة جديدة تسمى IRDS (اختيار البيانات القابل للتفسير عبر التعزيز من خلال التغذية الراجعة لتعزيز النموذج - Interpretable RLVR Data Selection) لحل هذا اللغز. وإليك كيف تعمل، مشروحة من خلال تشبيهات بسيطة.

1. المشكلة: المدرب "الأعمى"

الأساليب الحالية لاختيار بيانات التدريب تشبه مدرباً ينظر فقط إلى سطح الأسئلة.

الطريقة (أ): تختار فقط أصعب الأسئلة (ولكن قد يكون الطالب عاجزاً تماماً عن التعلم منها).
الطريقة (ب): تختار مزيجاً متنوعاً من المواضيع (ولكنها قد تتضمن مواضيع أتقنها الطالب بالفعل).
الطريقة (ج): تنظر إلى أخطاء الطالب السابقة (ولكن هذا يتطلب مراقبة الطالب وهو يفشل مراراً وتكراراً، وهو أمر بطيء ومكلف).

لا يمكن لأي من هذه الأساليب تفسير سبب اختيار سؤال معين بسهولة، كما أنها لا توازن بشكل مثالي بين "الصعوبة" و"القابلية للتعلم".

2. الحل: "الخريطة الدلالية" (SAE)

يستخدم IRDS أداة خاصة تسمى المشفّر التلقائي المتناثر (Sparse Autoencoder - SAE). فكر في هذا كأنه خزانة ملفات سحرية أو خريطة دلالية.

بدلاً من النظر إلى الكلمات الموجودة في مسألة رياضية، يقوم IRothes بتفكيك المسألة إلى "مكوناتها" أو "مفاهيمها".

أحد أدراج الخزانة يحمل ملصق "الهندسة".
درج آخر هو "عدّ القواسم".
درج آخر هو "فخاخ الاختيار من متعدد".

عندما ينظر IRDS إلى مسألة رياضية، فإنه لا يرى مجرد نص؛ بل يرى مزيجاً من هذه الأدراج. وهذا يسمح للنظام بفهم "جوهر" المسألة، وليس فقط طولها أو تنسيقها.

3. الاستراتيجية: مرشح "غولدي لوكس" (الاعتدال المثالي)

بمجرد فرز المسائل في هذه الأدراج المفاهيمية، يطبق IRDS مرشحاً من خطوتين لتحديد الأسئلة التي سيحتفظ بها للتدريب:

"فحص الفشل" (الصعوبة): هل يخفق الطالب حالياً في هذا المفهوم؟ إذا كان يجيب بشكل صحيح بالفعل، فنحن لسنا بحاجة لممارسة ذلك. نريد منطقة "غولدي لوكس" (الوسط الذهبي): المسائل الصعبة بما يكفي لتكون تحدياً، ولكن ليست مستحيلة.
"فحص التعلم" (القابلية للتدريب): إذا كان الطالب يفشل في كل مرة أمام مسألة ما، فلا يمكنه التعلم منها بعد. نحن بحاجة إلى مسائل ينجح فيها الطالب في بعض الإجابات ويخطئ في البعض الآخر. هذا التباين هو ما يسمح للذكاء الاصطناعي بالتعلم.

يجمع IRDS بين هذين الفحصين. فهو يبحث عن المسائل التي تكون صعبة على الطالب في الوقت الحالي ولكنها لا تزال قابلة للحل بما يكفي لتعليمه شيئاً ما.

4. الاختيار: تجنب "التكرار"

تخيل أن لديك ميزانية لشراء 100 سؤال تدريبي.

قد يشتري المدرب السيئ 100 سؤال حول "جمع الكسور".
يعمل IRDS كمتسوق ذكي. ينظر إلى "الخريطة الدلالية" ويقول: "لدينا بالفعل 5 أسئلة حول 'جمع الكسور'. دعونا ننفق ميزانيتنا على 'الهندسة' و'الاحتمالات' بدلاً من ذلك".

إنه يستخدم خدعة رياضية (تسمى تعظيم اللوغاريتم المحدد - log-determinant maximization) لضمان أن كل سؤال يختاره يضيف قطعة جديدة من المعرفة إلى عقل الطالب، بدلاً من تكرار ما يعرفه بالفعل.

5. لماذا هو مميز: المدرب "القابل للتدقيق"

معظم أساليب اختيار بيانات الذكاء الاصطناعي هي "صناديق سوداء". تضع البيانات في الداخل، وتخرج لك قائمة، لكنك لا تعرف السبب.

أما IRDS فهو قابل للتفسير. ولأن النظام يصنف المسائل إلى فئات يمكن للبشر قراءتها (مثل "الهندسة" أو "القواسم")، يمكن للباحث البشري أن ينظر إلى القائمة المختارة ويقول: "آه، لقد اختار النظام هذه الأسئلة الخمسين لأن الطالب كان ضعيفاً في 'هندسة الدوائر' وكان بحاجة لمزيد من التدريب هناك". هذا يجعل خطة تعلم الذكاء الاصطناعي شفافة ومفهومة.

النتائج

اختبرت هذه الورقة البحثية هذه الطريقة على ثلاثة نماذج مختلفة من الذكاء الاصطناعي باستخدام ستة معايير رياضية مختلفة (مثل مجموعة بيانات MATH ومسابقات AIME).

نتائج أفضل: تفوق IRDS باستمرار على جميع الأساليب الأخرى، حيث حسن دقة النماذج بهوامش كبيرة (تصل إلى 4 نقاط مئوية، وهو رقم ضخم في مجال الذكاء الاصطناعي).
أرخص: كان أسرع وأرخص بنحو 10 مرات في التشغيل من أفضل الأساليب السابقة لأنه لم يكن بحاجة لمراقبة فشل الذكاء الاصطناعي آلاف المرات ليتعلم ما يجب اختياره.
قوي: عمل بشكل جيد سواء تم إعطاء الذكاء الاصطناعي كمية صغيرة من البيانات أو كمية كبيرة.

الملخص

IRDS هو منتقٍ ذكي وشفاف للبيانات لتدريب الذكاء الاصطناعي على الرياضيات. يستخدم "خريطة مفاهيم" لإيجاد المزيج المثالي من المسائل: تلك التي تكون صعبة بما يكفي لتحدي الذكاء الاصطناعي، وسهلة بما يكفي لتعليمه، مما يضمن عدم إضاعة أي سؤالين في تغطية نفس الشيء تماماً. إنه يجعل عملية تدريب الذكاء الاصطناعي أسرع، وأرخص، وأسهل في الفهم.

ملخص تقني: IRDS – اختيار بيانات RLVR القابل للتفسير عبر تغطية المشفّر التلقائي المتناثر المرتبط بالمدقق

1. بيان المشكلة

أصبح التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) هو النموذج السائد لتعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs)، لا سيال في الرياضيات. ومع ذلك، يعاني RLVR من عدم كفاءة كبيرة في البيانات. تفشل طرق اختيار البيانات الحالية في معالجة ثلاثة متطلبات حاسمة في آن واحد:

صلة الفشل (Failure Relevance): اختيار الحالات التي يفشل فيها النموذج حاليًا.
القابلية للتدريب (Trainability): اختيار الحالات التي لا يزال بإمكان النموذج التعلم منها (أي تجنب أطراف "الفشل الكلي" و"الحل الكلي" حيث تتلاشى تدرجات النسبة النسبية للمجموعة).
عدم التكرار والقابلية للتفسير (Non-Redundancy & Interpretability): اختيار مجموعة فرعية متنوعة تغطي نقاط الضعف المتميزة دون تكرار، مع ضمان أن تكون عملية الاختيار قابلة للتدقيق من قبل البشر.

تتعامل النهج الحالية عادةً مع هذه المتطلبات بشكل منفصل: الطرق القياسية (scalar) تصنف حسب الصعوبة لكنها تتجاهل التكرار؛ وطرق التنوع تستخدم التضمينات (embeddings) لكنها تفتقر إلى إشارات المدقق؛ والطرق القائمة على التدرج تعمل في مساحات بارامترية كثيفة وغير قابلة للتفسير.

2. المنهجية: IRDS

يقترح المؤلفون IRDS (اختيار بيانات RLVR القابل للتفسير)، وهو منهج غير متصل (offline) يختار مجموعة فرعية غير مكررة من حالات التدريب بناءً على أساس عنقود للمشفّر التلقائي المتناثر (SAE) مقترن بإشارات المدقق.

أ. إحداثيات عنقود SAE
بدلاً من استخدام الميزات السطحية (مثل طول الـ tokens) أو الحالات الخفية الكثيفة، يمثل IRDS الحالات باستخدام مشفر تلقائي متناثر تم تدريبه على تنشيطات الطبقة الأخيرة للنموذج.

تدريب SAE: يتم تدريب BatchTopK SAE غير خاضع للإشراف على مجموعة بيانات رياضيات ضخمة (OpenMathInstruct-2) باستخدام تنشيطات النموذج المستهدف المجمد. تتوافق اتجاهات القاموس مع مفاهيم يمكن التعرف عليها (مثل الهندسة، أو عد القواسم).
التجميع (Clustering): لإنشاء إحداثي على مستوى المجموعة (corpus-level)، يتم تجميع الـ latents المتناثرة الفردية في $F=256$ عنقودًا دلاليًا باستخدام تمثيل هجين رسومي (دمج وجود الاتجاه والاتجاه المتبقي). يتم تلخيص كل حالة بمتجه من كتل التنشيط عبر هذه الـ 256 عنقودًا.

ب. هدف التغطية المرتبط بالمدقق
يبني IRDS مقياسًا يوازن بين الصعوبة والقابلية للتدريب في فضاء إحداثيات SAE.

وزن الصعوبة ( $d_i$ ): مشتق من عدد نجاحات المدقق ( $s_i$ ) باستخدام توزيع بيتا اللاحق (Beta posterior). يكون الوزن مرتفعًا عندما يفشل النموذج كثيرًا ( $s_i$ منخفض).
وزن القابلية للتدريب ( $r_i$ ): مشتق أيضًا من عدد النجاحات، ويصل هذا الوزن إلى ذروته عند معدلات النجاح المتوسطة ( $s_i \approx G/2$ )، حيث يتم تعظيم تباين الميزة النسبية للمجموعة. وهو يخفض وزن أطراف "الفشل الكلي" و"الحل الكلي".
بناء المقياس: تحسب الطريقة تباينًا مرجحًا بالصعوبة ( $\Sigma_d$ ) وتباينًا مرجحًا بالقابلية للتدريب ( $\Sigma_r$ ). ثم تشكل مقياسًا مبيضًا $M = (\Sigma_r + \rho I)^{-1/2} (\Sigma_d + \rho I) (\Sigma_r + \rho I)^{-1/2}$ . تحدد الاتجاهات الرائدة لـ $M$ عناقيد SAE حيث تتجاوز الصعوبة كتلة القابلية للتدريب.
متجه التصميم (Design Vector): يتم رسم كل حالة كمتجه تصميم $\phi_i$ يجمع بين كتلة SAE (الموزونة بالقدرة على التدريب والمقياس $M$ ) وكتلة تدرج اختيارية (المتبقية مقابل إحداثيات SAE لالتقاط معلومات اتجاه التحديث).

ج. اختيار المجموعة الفرعية
تُصاغ مشكلة اختيار المجموعة الفرعية كمسألة تصميم أمثل من النوع D (D-optimal design): إيجاد مجموعة فرعية $S$ بحجم $K$ تعظم لوغاريتم محدد مصفوفة جرام لمتجهات التصميم.
$S^* = \arg \max_{|S|=K} \log \det \left( \lambda I + \sum_{i \in S} \phi_i \phi_i^\top \right)$
يتم حل هذا الهدف عبر خوارزمية جشعة (greedy algorithm) باستخدام تحديثات رتبة واحدة من نوع Sherman-Morrison، مما يوفر ضمان تقريب قدره $(1 - 1/e)$ . يضمن هذا أن المجموعة الفرعية المختارة تغطي اتجاهات متنوعة وعالية القيمة دون تكرار.

3. المساهمات الرئيسية

أول اختيار قائم على SAE لـ RLVR: يعد IRDS أول طريقة لاختيار بيانات RLVR مبنية على أساس عنقود مشفر تلقائي متناثر، مما يجعل عملية الاختيار قابلة للتدقيق بناءً على أنماط مسائل يمكن التعرف عليها (مثل "جبر جذور كثيرات الحدود").
هدف التغطية المرتبط بالمدقق: صمم المؤلفون هدفًا جديدًا يحسن الصعوبة والقابلية للتدريب معًا من خلال فصل أوزان الصعوبة والقابلية للتدريب على أساس SAE، والذي يتم حله عبر تعظيم لوغاريتم المحدد الجشع.
التفوق التجريبي والكفاءة: تثبت التجارب أن IRDS يحقق دقة هي الأفضل في فئتها عبر نماذج ومعايير متعددة، متفوقًا على الطرق الأساسية بمرتبة مقدار كامل من حيث التكلفة.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاثة نماذج مدربة بالتعليمات (Qwen3-4B, Qwen3-1.7B, Llama-3.1-8B-Instruct) عبر ستة معايم استدلال رياضي (بما في ذلك MATH500, AIME, AMC, و OlympiadBench).

مكاسب الدقة: حقق IRDS أعلى دقة إجمالية في جميع النماذج الثلاثة، متفوقًا على أقوى خط أساس (LIMR) بمقدار +3.9 نقطة مئوية في Qwen3-4B، و +4.0 نقطة مئوية في Qwen3-1.7B، و +0.5 نقطة مئوية في Llama-3.1-8B.
معايير المنافسة: كانت المكاسب ملحوظة بشكل خاص في المجموعات الفرعية الأكثر صعوبة وتنافسية (مثل +11.4 نقطة مئوية في AIME24 لنموذج Qwen3-4B).
كفاءة التكلفة: استغرقت عملية اختيار IRDS حوالي 7 ساعات على عقدة مكونة من 8 وحدات معالجة رسومية (بما في ذلك تدريب SAE وتسجيل النقاط)، بينما تطلب خط الأساس القائم على المسارات (LIMR) حوالي 70 ساعة (أعلى بمرتبة مقدار من التكلفة).
دراسات الاستبعاد (Ablation Studies):
- أدى إزالة وزن القابلية للتدريب ( $r_i$ ) إلى انهيار في الأداء (يصل إلى -19.1 نقطة مئوية)، مما يؤكد أن اختيار الحالات "الصعبة" فقط دون مراعاة القابلية للتدريب أمر ضار.
- وُجد أن أساس عنقود SAE كان حاسمًا، خاصة للنماذج الأساسية الأقوى، حيث تفوق على إسقاطات التدرج الكثيفة.
- وفرت كتلة التدرج تحسينًا طفيفًا ولكنه غير مكرر.
القابلية للتفسير: أكدت عمليات التدقيق أن المجموعات الفرعية المختارة تتماشى مع اتجاهات المحتوى عالي الصعوبة (مثل أنماط رياضية محددة) بدلاً من السمات السطحية (مثل طول الـ tokens)، وكان الاختيار قويًا تجاه خلط الملصقات (label shuffling).

5. الأهمية والادعاءات

يدعي البحث أن IRDS يثبت أن اختيار البيانات المرتبط بالمدقق في RLVR يمكن جعله قابلًا للتدقيق دون التضحية بالدقة داخل النطاق. ومن خلال نقل أساس الاختيار من التضمينات الكثفة الغامضة أو الميزات السطحية إلى عناقيد SAE القابلة للتفسير، يمكن للباحثين التحقق بدقة من "أنماط المسائل" التي يتم تدريب النموذج عليها.

يضع المؤلفون IRDS كحل لعنق الزجاجة المتمثل في "عدم كفاءة البيانات" في RLVR، مقدمين طريقة هي:

قابلة للتدقيق: يمكن تتبع الاختيارات وصولاً إلى أنواع مسائل مفهومة بشريًا.
فعالة: أقل تكلفة بكثير من الطرق القائمة على المسارات عبر الإنترنت (online).
فعالة: تحسن باستمرار أداء النموذج عبر بنيات وميزانيات بيانات مختلفة.

يقر البحث بالقيود، مشيرًا إلى أن الطريقة تعتمد على نموذج مجمد لتقدير الأوزان (مما قد يؤدي إلى الانحراف بعد التحديثات)، وتتطلب الوصول إلى تنشيطات النموذج لتدريب SAE، وقد تم التحقق من صحتها حاليًا بشكل أساسي في مجال RLVR للرياضيات تحت وصفة GRPO.