💬 NLP

Unified Data Selection for LLM Reasoning

تقدم هذه الورقة "مجموع الإنتروبيا العالية" (HES)، وهو مقياس لا يتطلب تدريباً يعمل على تحديد بيانات الاستدلال عالية الجودة بكفاءة من خلال جمع الإنتروبيا لأعلى الرموز، مما يحسن بشكل كبير أداء النماذج اللغوية الكبيرة عبر نماذج الضبط الدقيق الخاضع للإشراف، والضبط الدقيق بالرفض، والتعلم التعزيزي، مع تقليل التكاليف الحسابية.

المؤلفون الأصليون: Xiaoyuan Li, Yubo Ma, Chengpeng Li, Fengbin Zhu, Yiyao Yu, Keqin Bao, Wenjie Wang, Fuli Feng, Dayiheng Liu

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaoyuan Li, Yubo Ma, Chengpeng Li, Fengbin Zhu, Yiyao Yu, Keqin Bao, Wenjie Wang, Fuli Feng, Dayiheng Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب صغير جداً ولكنه عبقري (نموذج لغوي كبير) كيفية حل الألغاز المعقدة، مثل المسائل الرياضية المتقدمة. يتعلم الطالب من خلال قراءة آلاف الحلول النموذجية. ولكن هنا تكمن المشكلة: ليست كل الحلول متساوية في الجودة. فبعضها عبارة عن روائع واضحة ومنطقية، بينما البعض الآخر عبارة عن هراء مشوش ومربك. إذا قمت بتغذية الطالب بكل تلك الأمثلة المشوشة جنباً إلى جنب مع الأمثلة الجيدة، فقد يصاب بالارتباك أو يكتسب عادات سيئة.

لفترة طويلة، حاول الباحثون تصفية الأمثلة السيئة من خلال النظر في أشياء بسيطة، مثل مدى طول الحل أو مدى "المفاجأة" التي شعر بها النموذج أثناء الكتابة. لكن الورقة البحثية تجادل بأن هذه الأساليب تشبه الحكم على فيلم كامل بناءً على متوسط سطوعه؛ فهي تغفل اللحظات الأكثر أهمية وإثارة.

الفكرة الجوهرية: العثور على "التحولات الدرامية"

يقترح المؤلفون في هذه الورقة طريقة جديدة لإيجاد أفضل بيانات التدريب، تسمى مجموع الإنتروبيا العالية (High-Entropy Sum - HES).

فكر في عملية الاستدلال (مثل حل مسألة رياضية) كأنها رحلة برية طويلة.

الرموز ذات الإنتروبيا المنخفضة (Low-Entropy Tokens): هي الأجزاء المملة والمتوقعة من الرحلة. "انعطف يساراً"، "سِر بشكل مستقيم"، "السماء زرقاء". النموذج يعرف تماماً ما سيأتي بعد ذلك. إنه وضع الطيار الآلي.
الرموز ذات الإنتروبيا العالية (High-Entropy Tokens): هي نقاط القرار الحاسمة. "انتظر، هل يجب أن أنعطف هنا؟ أم ربما أسلك طريقاً جانبياً؟ ماذا لو جربت هذا المسار الغريب؟" هنا حيث يفكر النموذج حقاً، ويزن الخيارات، ويتخذ قراراً صعباً.

اكتشاف الورقة الكبير هو أن جودة مسار الاستدلال لا تتعلق بعدد الخطوات "المملة" التي يتضمنها، بل بعدد "نقاط القرار الحرجة" هذه التي ينجح في تجاوزها.

المقياس الجديد: "مجموع الإنتروبيا العالية"

بدلاً من حساب "متوسط مستوى المفاجأة" للرحلة بأكملها (مما يؤدي إلى تمييع اللحظات المهمة بالأجزاء المملة)، ابتكر المؤلفون درجة جديدة تسمى HES.

التشبيه: تخيل أنك ناقد سينمائي تراجع فيلماً.

الطريقة القديمة (متوسط الإنتروبيا): أنت تقيم الفيلم بناءً على متوسط مستوى الإثارة في كل ثانية. إذا كان الفيلم يحتوي على 90 دقيقة من الحوار الممل و5 دقائق من الانفجار، فإن متوسط الدرجة سيكون منخفضاً. قد تفوتك حقيقة أن الانفجار كان تحفة فنية.
طريقة HES: أنت تتجاهل الـ 90 دقيقة المملة. تنظر فقط إلى أفضل 0.5% من اللحظات الأكثر إثارة وغير المتوقعة (الانفجارات، التحولات الدرامية). تقوم بجمع شدة تلك اللحظات فقط. إذا كان لدى فيلم بعض المشاهد المذهلة وعالية المخاطر، فإنه يحصل على درجة عالية. أما إذا كان مجرد رحلة مسطحة ومملة بلا مفاجآت، فسيحصل على درجة منخفضة.

تظهر الورقة أن هذا "مجموع أفضل اللحظات" هو الطريقة المثالية للتمييز بين مسار استدلال عالي الجودة وآخر منخفض الجودة.

كيف استخدموا ذلك (أساليب التدريب الثلاثة)

اختبر الفريق مقياس التصفية "HES" هذا على ثلاث طرق مختلفة لتعليم الذكاء الاصطنا، وقد نجح الأمر بشكل رائع في جميعها:

الضبط الدقيق الخاضع للإشراف (SFT) - "طريقة الكتاب المدرسي":
- السيناريو: لديك مكتبة ضخمة من المسائل المحلولة. تريد اختيار أفضلها لتعليم الذكاء الاصطناعي.
- النتيجة: عندما استخدموا HES لاختيار أفضل 20% فقط من الأمثلة الأفضل، تعلم الذكاء الاصطناعي بنفس جودة قراءته للمكتبة بأكملها. في الواقع، إذا اختاروا أسوأ 20% (أقل HES)، أصبح الذكاء الاصطناعي أسوأ بكثير. لقد أثبت ذلك أن الأقل هو الأكثر، طالما أنك تختار "الأقل" الصحيح.
- ميزة إضافية: وجدوا أنه يمكنهم استخدام نموذج حاسوبي صغير ورخيص للقيام بعملية التصفية لنموذج ضخم ومكلف، مما يوفر مبالض هائلة من المال.
الضبط الدقيق بالرفض (RFT) - "طريقة الاختيار من متعدد":
- السيناريو: يقوم الذكاء الاصطناعي بتوليد 32 إجابة مختلفة لسؤال واحد. أنت بحاجة لاختيار الأفضل منها للاحتفاظ به.
- النتيجة: بدلاً من الاختيار عشوائياً أو اختيار الإجابة الأطول، استخدموا HES لاختيار الإجابة التي تحتوي على أكبر عدد من "لحظات التفكير النقدي". وقد تفوق هذا الأسلوب باستمرار على التخمين العشوائي.
التعلم التعزيزي (RL) - "طريقة التجربة والخطأ":
- السيناريو: يحاول الذكاء الاصطناعي حل مسألة، ويحصل على مكافأة إذا كان صحيحاً، ويتعلم من التجربة.
- النتيجة: تركوا الذكاء الاصطناعي يولد محاولات عديدة. استخدموا HES لاختيار أفضل 50% فقط من المحاولات الناجحة لتعليم الذكاء الاصطناعي. جعل هذا الذكاء الاصطناعي يتعلم بشكل أسرع وأفضل مما لو استخدموا جميع المحاولات (بما في ذلك المتوسطة).

لماذا هذا مهم (بدون مبالغة)

تدعي الورقة أن هذه الطريقة هي حل "موحد". فهي لا تتطلب تدريب ذكاء اصطناعي جديد ومكلف فقط للقيام بعملية التصفية. إنها عملية حسابية بسيطة تعتمد على مستويات "المفاجأة" الداخلية للنموذج نفسه.

إنها سريعة: لا تبطئ عملية التدريب.
إنها رخيصة: يمكنك استخدام نموذج صغير لتصفية البيانات لنموذج كبير.
إنها فعالة: تساعد باستمرار الذكاء الاصطناعي على تعلم مهارات الاستدلال بشكل أفضل، من خلال التركيز على "مفترقات الطرق الحرجة" حيث يحدث التفكير الحقيقي، بدلاً من الأجزاء المملة والمتوقعة.

باخت-الاختصار، تقول الورقة: لا تحكم على مسار الاستدلال بطوله أو بجودته المتوسطة. احكم عليه بكثافة لحظاته الأصعب والأكثر حرجاً. من خلال التركيز فقط على تلك اللحظات، يمكننا تعليم الذكاء الاصطناعي التفكير بشكل أفضل، وأسرع، وبتكلفة أقل.

ملخص تقني: اختيار البيانات الموحد لاستدلال النماذج اللغوية الكبيرة (LLM)

بيان المشكلة

إن تقدم النماذج اللغوية الكبيرة (LLMs) في عمليات الاستدلال المعقدة وطويلة السلسلة (Chain-of-Thought - CoT) يواجه حالياً عائقاً يتمثل في الحاجة إلى كميات هائلة من بيانات التدريب عالية الجودة. تواجه استراتيجيات اختيار البيانات الحالية تحديين رئيسيين:

التكلفة الحسابية: الطرق التي تعتمد على تدريب نماذج مساعدة مخصصة لمهام معينة أو استخدام نماذج لغوية كبيرة قوية لتصفية البيانات تترتب عليها أعباء حسابية ضخمة.
محدودية المقاييس: تفشل المقاييس التقليدية مثل طول التسلسل، أو الارتياب (perplexity)، أو متوسط إنتروبيا التوكين (token entropy) في تمييز عينات الاستدلال عالية الجودة في سيناريوهات السلسلة الطويلة (long-CoT). هذه المقاييس العالمية تمنح وزناً متساوياً لجميع التوكينات، مما يحجب البنية متعددة المراحل والمعقدة للاستدلال (التخطيط، الاستكشاف، التأمل) وتفشل في التقاط نقاط القرار الحرجة حيث يواجه النموذج حالة من عدم اليقين.

تتمثل المشكلة الجوهرية في غياب مقياس قوي، وفعال، ولا يتطلب تدريباً، وقادر على التمييز بسرعة بين مسارات الاستدلال عالية الجودة وتلك منخفضة الجودة عبر مختلف نماذج التدريب.

المنهجية

يقترح المؤلفون مجموع الإنتروبيا العالية (High-Entropy Sum - HES)، وهو مقياس لا يتطلب تدريباً، صُمم لقياس جودة الاستدلال من خلال التركيز على المعلومات الدقيقة والحرجة المضمنة في استجابات الاستدلال.

مقياس HES

تستند المنهجية إلى ملاحظة أن التوكينات ذات الإنتروبيا العالية — وهي التوكينات التي يظهر فيها النموذج عدم يقين عالٍ — غالباً ما تتوافق مع "نقاط التفرع" الحرجة في مسار الاستدلال حيث تُتخذ قرارات غير بديهية.

التعريف: يتم حساب HES عن طريق جمع قيم الإنتروبيا لأعلى $k\%$ (على سبيل المثال 0.5%) من التوكينات ذات الإنتروبيا الأعلى في الاستجابة.
الصيغ:
- HES $_{relative}$ : يستخدم عتبة قائمة على المئوية (مثل أعلى 0.5% من التوكينات) للتكيف مع أطوال التسلسلات المختلفة وتوزيعات النماذج. هذه هي الصيغة الأساسية المستخدمة.
- HES $_{absolute}$ : يستخدم عتبة إنتروبيا ثابتة (مثل $\tau = 1.6$ ) للجمع.
الأساس المنطقي: على عكس متوسط الإنتروبيا، الذي يخفف الإشارات الحرجة عبر المتوسط على تسلسلات طويلة، يقوم HES بعزل الكثافة التراكمية للحظات المحورية ذات عدم اليقين العالي. يوضح التحليل التجريبي (الشكل 1) أنه بينما لا تستطيع مقاييس متوسط الإنتروبيا التمييز بين العينات الصحيحة والخاطئة، فإن مجموع التوكينات ذات الإنتروبيا العالية يوفر فصلاً قوياً.

إطار اختيار البيانات الموحد

يقترح البحث استراتيجية موحدة لاختيار البيانات قابلة للتطبيق على ثلاثة نماذج تدريب سائدة:

الضبط الدقيق الخاضع للإشراف (SFT): يتم ترتيب مجموعة البيانات الكاملة حسب درجات HES. يتم تدريب النموذج على أعلى نسبة مئوية $\rho$ (مثل أعلى 20%) أو يتم تقليم مجموعة البيانات عن طريق إزالة أدنى نسبة $\rho$ (مثل أدنى 20%).
الضبط الدقيق بالرفض (RFT): لكل استعلام، يتم توليد استجابات مرشحة متعددة. يُستخدم HES لاختيار الحلول الصحيحة الأعلى جودة إما على أساس كل استعلام (اختيار أعلى $k$ من المرشحين المحليين) أو عالمياً (اختيار أعلى $N$ من مجموعة عالمية من المسارات الصحيحة).
التعلم التعزيزي (RL): يقدم المؤلفون استراتيجية أخذ عينات غير متماثلة لـ "تحسين السياسة النسبي للمجموعات" (GRPO). هم يعطون الأولوية لاختيار المسارات الإيجابية ذات الـ HES الأعلى (لتشجيع إتقان الأنماط المعقدة) مع الاحتفاظ بمسارات سلبية عشوائية (لضمان التعرض لأنماط الخطأ المتنوعة). وهذا يتناقض مع أخذ العينات الموحد القياسي أو تحديثات الدفعة الكاملة.

المساهمات الرئيسية

تقديم HES: مقياس مبتكر لا يتطلب تدريباً، يقيس جودة الاستدلال من خلال تحليل التوكينات ذات الإنتروبيا العالية فقط في مسارات الاستجابة، مما يلتقط بفعالية التعقيد التراكمي لنقاط القرار الحرجة.
إطار اختيار موحد: طريقة فعالة لاختيار البيانات متوافقة مع نماذج SFT وRFT وRL، مما يلغي الحاجة إلى آليات اختيار منفصلة ومكلفة لكل منها.
القابلية للنقل من النماذج الصغيرة إلى الكبيرة: إثبات أن نموذج وسيط خفيف الوزن (مثل 0.6B) يمكنه بنجاء تصفية البيانات للنماذج التأسيسية الأكبر (مثل 8B)، مما يقلل بشكل كبير من تكلفة الاستدلال لعمليات تنسيق البيانات دون المساس بجودة الاختيار.

النتائج التجريبية

أُجريت تجارب واسعة النطاق عبر مجالات الرياضيات، والعلوم (STEM)، والبرمجة باستخدام اختبارات معيارية مثل AIME وHMMT وGPQA وLiveCodeBench.

أداء SFT:
- حقق التدريب على أعلى 20% من البيانات المصنفة حسب HES أداءً مقارباً لمجموعة البيانات الكاملة عبر مجالات متنوعة.
- في إعداد "إزالة الضجيج" (De-noising)، أدى إزالة أدنى 20% من البيانات المصنفة حسب HES إلى تحسين الأداء مقارنة بمجموعة البيانات الكاملة.
- وعلى العكس من ذلك، أدى التدريب على أدنى 20% من بيانات HES إلى تدهور حاد في الأداء، مما يؤكد قدرة المقياس على تحديد الضجيج الضار.
- الكفاءة: استخدام نموذج وسيط بحجم 0.6B للاختيار أعطى نتائج (30.20% كمتوسط) مقاربة لاستخدام نموذج 8B نفسه (31.34% كمتوسط)، مما قلل تكاليف الاختيار بمقدار عشرة أضعاف.
أداء RFT:
- تفوق الاختيار القائم على HES بشكل كبير على الاختيار العشوائي والمقاييس الاستدلالية (الطول، الصعوبة) في كل من إعدادات الاستعلام الفردي والمجموعة العالمية.
- غالباً ما حقق الاختيار على مستوى الاستعلام أداءً أعلى من الاختيار على مستوى المجموعة العالمية، مما يشير إلى أن الحفاظ على تنوع مستوى الاستعلام أمر بالغ الأهمية جنباً إلى جنب مع تصفية الجودة.
أداء RL:
- حققت استراتيجية "الإيجابي عالي-الإنتروبيا، السلبي العشوائي" (Pos-High, Neg-Rand) أداءً أفضل من التدريب القياسي للدفعة الكاملة واستراتيجيات أخذ العينات الأخرى.
- حققت هذه الطريقة دقة متفوقة (19.26% كمتوسط) باستخدام 50% فقط من البيانات في كل خطوة مقارنة بأساس الدفعة الكاملة (18.34%)، مما يؤكد أن إعطاء الأولوية لإشارات إيجابية عالية الجودة أكثر فعالية من زيادة حجم الدفعة ببيانات غير متمايزة.
مقارنة المقاييس: تفوق HES باستمرار على مقاييس الإنتروبيا البديلة (متوسط الإنتروبيا، متوسط الإنتروبيا العالية، مجموع الإنتروبيا الكلي)، مما يؤكد أن الحجم التراكمي لنقاط التفرع الحرجة هو الوكيل الأكثر فعالية لجودة الاستدلال.

الأهمية والادعاءات

يؤسس هذا البحث لـ HES كمقياس قوي ولا يتطلب تدريباً، يتيح طريقة موحدة، وفعالة، وكفؤة لتطوير الاستدلال المتقدم في النماذج اللغوية الكبيرة. يدعي المؤلفون أن:

الكفاءة: يسمح HES بالاختيار عبر النماذج الوسيطة القابلة للتوسع باستخدام نماذج صغيرة في SFT غير المتصل (offline)، كما يترتب عليه عبء تخزين/حوسبة ضئيل في إعدادات RFT وRL المتصلة (حيث يمكن حساب الإنتروبيا بالتزامن أثناء التوليد دون عمليات تمرير أمامي إضافية).
الفعالية: من خلال التركيز على "أقلية التوكينات ذات الإنتروبيا العالية"، تنجح الطريقة في تصفية الإشارات الزائدة وضجيج التدريب، مما يسمما النماذج على تعلم أنماط استدلال قوية من مجموعة فرعية منسقة من البيانات.
العمومية: الطريقة قابلة للتطبيق عبر بنيات نماذج مختلفة (Qwen, Llama, DeepSeek) ومجالات استدلال متنوعة (الرياضيات، البرمجة، العلوم)، مما يشير إلى أن HES يلتقط تعقيد الاستدلال الجوهري بدلاً من كونه نتاجاً خاصاً بنموذج معين.

يخلص العمل إلى أن HES يوفر حلاً فعال من حيث التكلفة لتوسيع قدرات الاستدلال في النماذج اللغوية الكبيرة، مسلطاً الضوء على الدور المحوري للتوكينات الحرجة في اختيار البيانات وتقليل العبء الحسابي المرتبط بتدريب نماذج الاستدلال عالية الأداء.