💬 NLP

PowerFlow: Unlocking the Dual Nature of LLMs via Principled Distribution Matching

يقدم PowerFlow إطار عمل مبدئيًا للضبط الدقيق غير الخاضع للإشراف، يعيد صياغة تحسين النماذج اللغوية الكبيرة كمسألة مطابقة توزيعات باستخدام هدف توازن المسار المدرك للطول لاستثارة القدرات المزدوجة للاستدلال المنطقي والتعبير الإبداعي عبر استهداف توزيعات قدرة $\alpha$ القابلة للضبط، متفوقًا بذلك على الأساليب الحالية القائمة على الاستدلال وتجاوزاً للنماذج المرجعية الخاضعة للإشراف.

المؤلفون الأصليون: Ruishuo Chen, Yu Chen, Zhuoran Li, Longbo Huang

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruishuo Chen, Yu Chen, Zhuoran Li, Longbo Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة ضخم (LLM) كأنه أوركسترا عملاقة متعددة المواهب، قضت سنوات في التدريب. هي تعرف كيف تعزف الموسيقى الكلاسيكية المعقدة (الاستدلال المنطقي) وكيف ترتجل موسيقى الجاز الجامحة (الكتابة الإبداعية). ومع ذلك، عندما يتم "ضبط" الأوركسترا (لتكون مفيدة وآمنة)، غالبًا ما يطلب منها المايسترو أن تعزف بأمان، وتلتزم بالنوتة الموسيقية، وتتجنب أي نغمات جريئة أو غريبة. والنتيجة؟ تكون الموسيقى مثالية، لكنها مملة وتفتقر إلى الحيوية.

تقدم الورقة البحثية PowerFlow، وهي طريقة جديدة لإيقاظ هذه الأوركسترا دون الحاجة لتوظيف مايسترو جديد أو إعطائها نوتات موسيقية جديدة. بدلاً من ذلك، تغير الطريقة التي يستمع بها العازفون لأنفسهم.

إليك تفصيل لكيفية عمل PowerFlow، باستخدام تشبيهات بسيطة:

1. المشكلة: فخ "الاستدلال التجريبي" (Heuristic Trap)

تحاول الطرق الحالية جعل الأوركسترا تعزف بشكل أفضل عبر إعطائهم مكافآت استدلالية (مثل مدرب يصرخ: "اعزفوا بصوت أعلى!" أو "لا ترتكبوا أخطاءً!").

المشكلة: هذه الصرخات غالبًا ما تكون غامضة. إذا قال المدرب "اعزفوا بصوت أعلى"، فقد يكتفي العازفون بالصراخ بنفس النغمة مرارًا وتكرارًا (حلقات تكرارية) أو يتوقفون عن العزف تمامًا لتجنب ارتكاب خطأ (الانهيار إلى الصمت). إنهم يعلقون في روتين لأنهم يحاولون تخمين ما يريده المدرب بدلاً من فهم الموسيقى نفسها.

2. الحل: PowerFlow (مقبض التحكم في الصوت)

يتوقف PowerFlow عن إعطاء تعليمات بالصراخ. بدلاً من ذلك، يتعامل مع أداء الأوركسترا كـ توزيع احتمالي (خريطة لكل الطرق الممكنة للعزف). وهو يقدم مقبض تحكم واحد سحري يسمى $\alpha$ (ألفا).

من خلال تدوير هذا المقبض، يمكن لـ PowerFlow إعادة تشكيل النزعات الطبيعية للأوركسترا في اتجاهين متضادين:

🎯 الاتجاه أ: شحذ التركيز ( $\alpha > 1$ )

الهدف: تعزيز الاستدلال المنطقي (الرياضيات، العلوم، المنطق).
التشبيه: تخيل أن الأوركسترا تعزف قطعة أحجية (Puzzle) معقدة. عادةً، قد يعزفون بضع نغمات مختلفة، آملين أن تناسب القطعة.

ما يفعله PowerFlow: يعمل مثل شعاع الليزر. يأخذ "النغمات الصحيحة" التي تعرفها الأوركسترا بالفعل في أعماقها ويجعلها أعلى بكmuch، بينما يخفض صوت "النغمات الخاطئة" إلى الهمس.
النتيجة: تتوقف الأوركسترا عن التخمين وتعزف الحل المثالي بثقة. هي لا تتعلم رياضيات جديدة؛ بل تتوقف فقط عن التردد وتعزف الرياضيات التي كانت تعرفها بالفعل ولكنها كانت خجولة من استخدامها.
فوز في العالم الحقيقي: تُظهر الورقة أن هذه الطريقة تتفوق حتى على التدريب تحت الإشراف (حيث يعلم البشر النموذج) في المسائل الرياضية، دون الحاجة إلى أي تسميات بشرية (Labels).

🎨 الاتجاه ب: تسطيح المنحنى ( $\alpha < 1$ )

الهدف: إطلاق العنان للإبداع (الشعر، النكات، القصص).
التشبيه: عندما يتم "ضبط" الأوركسترا لتكون آمنة، فإنها تعزف فقط الأغاني الأكثر شعبية والأكثر أمانًا (مثل "Happy Birthday"). إنهم ينسون كيف يعزفون جاز جامح وغريب.

ما يفعله PowerFlow: يعمل مثل عدسة واسعة الزاوية. يأخذ النغمات "الآمنة" ويخفض صوتها قليلاً، بينما يرفع صوت النغمات "الغريبة"، "الجريئة"، و"غير المعتادة" التي تم تجاهلها سابقًا.
النتيجة: تبدأ الأوركسترا في الارتجال مجددًا. يكتبون نكاتًا أكثر مرحًا وقصائد أكثر تميزًا، لكنهم لا يفقدون قدرتهم على اتباع التعليمات. يصبحون مبدعين ومفيدين في آن واحد.

3. السر الخفي: فلتر "الوعي بالطول" (Length-Aware Filter)

كانت هناك مشكلة رئيسية في المحاولات السابقة للقيₓم بهذا. نظرًا لأن نماذج LLM تولد النصوص كلمة بكلمة، فإن لديها انحيازًا متأصلًا:

الإجابات القصيرة تبدو "أكثر أمانًا" وتحصل على درجات أعلى.
الإجابات الطويلة تبدو "أكثر خطورة" وتحصل على درجات أقل.

إذا أخبرت النموذج ببساطة أن "يكون أذكى"، فقد يغش بكتابة إجابات قصيرة وفارغة. وإذا أخبرته أن "يكون مبدعًا"، فقد يكتب حلقات تكرارية طويلة ولا نهائية.

إصلاح PowerFlow:
بنى المؤلفون فلترًا واعيًا بالطول (يسمى Length-Aware Trajectory-Balance).

التشبيه: تخيل حكماً يقيم لاعبة جمباز. إذا قامت اللاعب بفقرة قصيرة، فإن الحكم لا ينظر فقط إلى الدرجة؛ بل يقسم الدرجة على الوقت المستغرق للحصول على متوسط "نقاط لكل ثانية".
كيف يعمل: يقوم PowerFlow بتطبيع (Normalization) الدرجة بناءً على طول الإجابة. وهذا يضمن عدم مكافأة النموذج لكونه قصيرًا أو معاقبته لكونه طويلًا. إنه يجبر النموذج على التركيز حصريًا على جودة الفكرة، وليس على طول النص.

ملخص: لماذا هذا مهم؟

فكر في PowerFlow كأنه جهاز تحكم عن بعد عالمي لعقول الذكاء الاصطناعي.

الطريقة القديمة: كان عليك توظيف معلم بشري (تعلم تحت الإشراف) لتعليم الذكاء الاصطناعي كيفية حل الرياضيات، أو محرر بشري لتصحيح كتابته الإبداعية.
طريقة PowerFlow: أنت فقط تقوم بتدوير مقبض.
- قم بتدويره للأعلى ( $\alpha > 1$ ): يصبح الذكاء الاصطناعي سيدًا للمنطق، حيث يحل المسائل الرياضية الصعبة من خلال تركيز معرفته الداخلية.
- قم بتدويره للأسفل ( $\alpha < 1$ ): يصبح الذكاء الاصطناعي عبقريًا مبدعًا، حيث يتحرر من الإجابات المملة والآمنة ليكتب محتوى طازجًا ومتنوعًا.

تثبت الورقة أنه من خلال مجرد إعادة تشكيل "خريطة الاحتمالات" الداخلية للذكاء الاصطناعي بطريقة منهجية، يمكننا إطلاق إمكاناته الكامنة لكل من المنطق والإبداع، دون الحاجة إلى بيانات بشرية مكلفة أو مكافآت خارجية. الأمر يتعلق بمساعدة الذكاء الاصطناعي على الاستماع إلى أفضل غرائزه.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "PowerFlow: إطلاق العنان للطبيعة المزدوجة للنماذج اللغوية الكبيرة عبر مطابقة التوزيع الممنهجة."

1. بيان المشكلة

تتناول الورقة القيود المفروضة على التعلم المعزز غير الخاضع للإشراف من التغذية الراجعة الداخلية (RLIF)، وهو نموذج مصمم لاستخراج القدرات الكامنة في النماذج اللغوية الكبيرة (LLMs) دون الحاجة إلى إشارات مكافأة خارجية أو بيانات مصنفة.

المشكلات الحالية: تعتمد طرق RLIF الحالية على مكافآت داخلية استدلالية (مثل اليقين الذاتي، أو إنتروبيا الرموز، أو التصويت بالأغلبية). وتفتقر هذه الطرق إلى هدف تحسين نظري محدد، مما يؤدي إلى:
- الانحيازات التدهورية: غالبًا ما تعاني النماذج من سلوكيات مرضية مثل "انهيار الطول" (إنتاج إجابات قصيرة للغاية بشكل تافه) أو "انفجار الطول" (مخرجات طويلة ومتكررة).
- الإفراط في التحسين: يمكن أن تسبب المكافآت الاستدلالية انهيار النمط (mode collapse)، والثقة المفرطة، وفقدان التنوع التوليدي.
- نقص السيطرة: تواجه الطرق الحالية صعوبة في التحكم الاتجاهي فيما إذا كان يجب على النموذج شحذ قدراته الاستنتاجية أم تعزيز إبداعه.
الرؤية الجوهرية: يفترض المؤلفون أن التحسين الذاتي للنماذج اللغوية الكبيرة هو في الأساس مشكلة مطابقة توزيع. وتحديدًا، فإن مكاسب الاستنتاج تأتي من شحذ التوزيع الأساسي (تركيز الكتلة الاحتمالية)، بينما يتطلب التنوع الإبداعي تسطيح التوزيع (توسيع الذيل). ومع ذلك، تفشل عملية مطابقة التوزيع القياسية في النماذج ذات التوليد التلقائي (autoregressive) بسبب الانحياز الهيكلي للطول المتأصل (حيث تتناقص الاحتمالات اللوغاريتمية أسيًا مع طول التسلسل).

2. المنهجية: إطار عمل PowerFlow

يعيد PowerFlow صياغة الضبط الدقيق غير الخاضع للإشراف كمسألة ممنهجة لمطابقة التوزيع تستهدف توزيع القوة $\alpha$ (المعروف أيضًا باسم توزيع الإسقاط من الرتبة $\alpha$ ) للنموذج الأساسي:
$p_\alpha(y|q) \propto p_{base}(y|q)^\alpha$
حيث يعمل $\alpha$ كمقبض تحكم:

$\alpha > 1$ (الشحذ): يركز الكتلة الاحتمالية على مسارات الاستنتاج عالية الجودة لتعزيز المنطق الاستنتاجي.
$\alpha < 1$ (التسطيح): يعيد توزيع الكتلة إلى مناطق "الذيل الطويل" لإطلاق القدرات الإبداعية المكبوتة.

المكونات التقنية الرئيسية:

GFlowNet كعينة تقريبية (Amortized Sampler):
يستخدم إطار العمل شبكات التدفق التوليدية (GFlowNets) لتعلم سياسة ( $\pi_\theta$ ) تقوم بأخذ عينات تتناسب مع كثافة الهدف غير المعيرة. وهذا يتجنب صعوبة حساب دالة التقسيم (partition function) مباشرة.
هدف توازن المسار الواعي بالطول (LA-TB):
هذا ابتكار حاسم لحل مشكلة "انحياز الطول" في التوليد التلقائي.

المشكلة: تهيمن أهداف توازن المسار (TB) القياسية على طول التسلسل. فعندما يكون $\alpha > 1$ ، تنهار النماذج نحو تسلسلات قصيرة؛ وعندما يكون $\alpha < 1$ ، تنفجر نحو مخرجات طويلة ومتكررة.
الحل: يعيد PowerFlow صياغة دالة التقسيم $Z$ كحد طاقة واعي بالطول: $Z_\phi(q, y) = (Z'_\phi(q))^{|y|}$ .
الآلية: يقلل الهدف من عدم التطابق على سطح طاقة معير بالطول. تُعرف دالة الخسارة كالتالي:
$L_{LA-TB} = \left( \log Z'_\phi(q) + \frac{1}{|y|} \log \frac{\pi_\theta(y|q)}{\tilde{p}_{target}(y|q)} \right)^2$
هذه الصياغة تفصل تدرج التدريب عن طول الاستجابة، مما يضمن استقرار التحسين بغض النظر عن طول التسلسل.

استخراج الطبيعة المزدوجة:

الاستنتاج ( $\alpha > 1$ ): يستهدف "عدم التماثل بين التحقق والتوليد"، مما يسد الفجوة بين قدرة النموذج على التعرف على الإجابات الصحيحة وقدرته على توليدها.
الإبداع ( $\alpha < 1$ ): يعمل على مواجهة "انحياز النمطية" (typicality bias) الناتج عن المحاذاة القياسية (RLHF)، والتي تقمع المخرجات المتنوعة والمبدعة لصالح الاستجابات الآمنة وعالية الاحتمالية.

3. المساهمات الرئيسية

إطار عمل ممنهج: يستبدل PowerFlow هندسة المكافآت الاستدلالية بأساس نظري يعتمد على مطابقة توزيع القوة $\alpha$ ، مما يوفر نهجًا موحدًا لكل من الاستنتاج والإبداع.
هدف واعي بالطول: نجحت صياغة هدف LA-TB في تحييد انحياز الطول الأسي المتأصل في النماذج التلقائية، مما يمنع السلوكيات التدهورية (الانهيار/الانفجار) التي تظهر في طرق RLIF السابقة.
التحكم الاتجاهي: يثبت أن معلمة واحدة ( $\alpha$ ) يمكنها استخراج "الطبيعة المزدوجة" للنماذج اللغوية الكبيرة بشكل اتجاهي: الشحذ للمنطق أو التسطيح للإبداع.
التحليل النظري: يقدم تحليلًا رسميًا يوضح أن طرق RLIF الشائعة (مثل التصويت بالأغلبية) تدفع النماذج ضمنيًا نحو توزيع ديراك (انهيار النمط)، بينما يحافظ PowerFlow على التكامل الهيكلي.

4. النتائج التجريبية

أُجريت التجارب على عدة عائلات من النماذج (Qwen2.5, Llama-3.2) وبمقاييس مختلفة (من 1.5B إلى 32B) على اختبارات الاستنتاج والكتابة الإبداعية.

أداء الاستنتاج ( $\alpha > 1$ ):
- تفوق PowerFlow باستمرار على طرق RLIF غير الخاضعة للإشراف الحالية (مثل Intuitor, EMPO, TTRL).
- طابق أو تجاوز أداء GRPO الخاضع للإشراف (Group Relative Policy Optimization) في عدة اختبارات (على سبيل المثال، Qwen2.5-1.5B: 19.85 مقابل 18.13 avg@16) دون استخدام محققات خارجية.
- الحفاظ على التنوع: على عكس الطرق الأخرى التي تنهار إلى حل واحد، حافظ PowerFlow على تنوع عالٍ في الحلول (Pass@n)، مما يثبت أنه يبرز مسارات الاستنتاج الكامنة بدلاً من مجرد الإفراط في التخصيص لحل واحد.
أداء الكتابة الإبداعية ( $\alpha < 1$ ):
- عند تطبيقه على النماذج المضبوطة بالتعليمات، حقق PowerFlow ( $\alpha=0.5$ ) تحسنًا في باريتو (Pareto improvement) في كل من الجودة والتنوع الدلالي.
- نجح في استعادة الإبداع الكامن الذي قمعته عملية المحاذاة، متفوقًا على النماذج المرجعية مثل "درجة الحرارة العالية" (التي تضحي بالجودة من أجل التنوع) و "VS-Standard".
- قلل المنهج من التكرار اللفظي مع زيادة درجات الجودة التي يقيمها النموذج اللغوي.
الاستقرار:
- أظهرت عمليات التصور (الشكل 3) أنه بينما عانت أهداف TB و RL القياسية من انهيار فوري في الطول أو تدهور في الأداء، حافظ PowerFlow على أطوال استجابة مستقرة وزيادات رتيبة في الأداء طوال فترة التدريب.

5. الأهمية والتأثير

دمقرطة الذكاء الاصطادي المتقدم: من خلال إزالة الاعتماد على نماذج المكافأة الخارجية أو البيانات المصنفة بشريًا، يُمكّن PowerFlow من تطوير وكلاء متخصصين وعاليي الأداء باستخدام معرفتهم الذاتية فقط.
الوضوح النظري: ينقل النموذج من "اختراق المكافأة" (reward hacking) إلى "هندسة التوزيع"، مما يقدم منهجية شفافة لفهم كيفية تحسين النماذج اللغوية الكبيرة لذاتها.
السلامة والأخلاق: تقر الورقة بطبيعة الاستخدام المزدوج لهذه التكنولوجيا. فبينما يمكنها استعادة الإبداع، فإنها تحذر أيضًا من أن تسطيح التوزيعات قد يعيد ظهور المحتوى الضار الذي تم قمعه سابقًا بواسطة محاذاة السلامة. ويؤكد المؤلفون على الحاجة إلى ضوابط قوية.
الاتجاه المستقبلي: يشير هذا العمل إلى مسار نحو نموذج محاذاة موحد غير خاضع للإشراف، حيث يتم تحقيق الاستخراج الخاص بالمهمة من خلال مطابقة النماذج مع أشكال هندسية مستهدفة محسنة بدلاً من وظائف المكافأة الاستدلالية.

باختصار، يوفر PowerFlow حلاً قويًا ومبنياً على أسس نظرية لعدم استقرار الضبط الدقيق غير الخاضع للإشراف للنماذج اللغوية الكبيرة، حيث ينجح في إطلاق كل من القدرة على الاستنتاج المنطقي والإمكانات الإبداعية للنماذج من خلال مطابقة التوزيع الممنهجة.