💻 computer science

Rethinking Test Time Scaling for Flow-Matching Generative Models

تقدم هذه الورقة البحثية DOG-Trim، وهو مسار جديد لتوسيع نطاق وقت الاختبار لنماذج التوليد القائمة على مطابقة التدفق (flow-matching)، والذي يجمع بين آلية تنوع مستوى الرمز (token-level) المعروفة بـ Repel واستراتيجية الضبط الدقيق للمكافأة المدركة للضجيج NARF للتغلب على قيود طرق البحث عن المسارات الحالية وتحقيق تحسينات أعلى بكثير في الأداء تحت نفس التكلفة الحسابية.

المؤلفون الأصليون: Qingtao Yu, Changlin Song, Minghao Sun, Zhengyang Yu, Vinay Kumar Verma, Soumya Roy, Sumit Negi, Hongdong Li, Dylan Campbell

نُشر 2026-03-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qingtao Yu, Changlin Song, Minghao Sun, Zhengyang Yu, Vinay Kumar Verma, Soumya Roy, Sumit Negi, Hongdong Li, Dylan Campbell

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدير فني توظف فريقاً من الرسامين لإنشاء لوحة فنية رائعة بناءً على وصف محدد ("المطالبة" أو الـ prompt). لديك ميزانية محدودة من الوقت والمال (الموارد الحسابية). هدفك هو الحصول على أفضل لوحة ممكنة دون إهدار ميزانيتك.

هذه الورقة البحثية، بعنوان "إعادة التفكير في توسيع وقت الاختبار لنماذج مطابقة التدفق التوليدية" (Rethinking Test-Time Scaling for Generative Flow Matching Models)، تتحدث عن كيفية الحصول على أفضل النتائج من مولدات الصور بالذكاء الاصطناعي الحديثة (مثل Flux) عندما يكون لديك وقت إضافي "للتفكير" أو "البحث" قبل اختيار الصورة النهائية.

إليك تفصيل المحتوى باستخدام تشبيهات بسيطة:

المشكلة: فخ "الحتمية" (The Deterministic Trap)

مولدات الصور بالذكاء الاصطناعي الحديثة (وتحديداً نماذج "مطابقة التدفق" - Flow Matching) تشبه رسامين فائقي الكفاءة والحتميّين.

الذكاء الاصطناعي القديم (نماذج الانتشار - Diffusion Models): كانت تشبه الرسامين الذين يضيفون القليل من "الفوضى العشوائية" إلى ضربات فرشاتهم. إذا طلبت منهم رسم قطة، فقد يرسمون قطة مختلفة قليلاً في كل مرة. هذه العشوائية جعلت من السهل استكشاف أفكار مختلفة بمجرد تحريك الفرشاة قليلاً.
الذكاء الاصطناعي الجديد (مطابقة التدفق - Flow Matching): يشبه الرسامين الذين يتبعون مساراً محسوباً بدقة مسبقة. إذا أعطيتهم نفس نقطة البداية، سيرسمون نفس القطة تماماً في كل مرة. هذا أمر رائع للسرعة والجودة، ولكنه يجعل من الصعب "استكشاف" أفكار مختلفة. إذا حاولت تحريك الفرشاة قليلاً (بحث محلي)، فإن الرسام سيعود فوراً إلى المسار الأصلي.

المعضلة: حاولت الطرق السابقة إجبار هؤلاء الرسامين الصارمين على "التسكع" والاستكشاف. لكن هذا كان يشبه محاولة جعل قطار فائق السرعة يخرج عن مساره للعثور على إطلالة أفضل — كان الأمر بطيئاً، مكلفاً، وغالباً ما ينتهي بتحطم (صور سيئة).

الحل: استراتيجية "الكشاف العالمي" (The Global Scout Strategy)

أدرك المؤلفون، Qingtao Yu وفريقه، أن: لا تحاول جعل رسام واحد يتسكع. بدلاً من ذلك، وظف فريقاً كاملاً من الرسامين، واجعلهم جميعاً يبدأون الرسم في نفس الوقت، واطرد السيئين منهم مبكراً.

يطلقون على خط إنتاجهم الجديد اسم DOG-Trim (التنوع المعزز بآلية التنافر والترتيب العالمي للتدفق والتقليم). وهو يعتمد على ثلاث حيل:

1. آلية "التنافر" (لفرض التنوع)

بما أن الذكاء الاصطناعي يميل طبيعياً لرسم الشيء نفسه تماماً في كل مرة، فقد اخترع الفريق قاعدة تسمى Repel (التنافر).

التشبيه: تخيل أن لديك 10 رسامين في غرفة. بدون قواعد، قد يرسمون جميعاً بالخطأ نفس نوع الشجرة. قاعدة "Repel" تشبه قوة مغناطيسية تدفعهم بعيداً عن بعضهم البعض. إذا بدأ الرسام (أ) في رسم شجرة بأوراق حمراء، فإن القاعدة تجبر الرسام (ب) على رسم شجرة بأوراق زرقاء.
النتيجة: يضمن هذا أن الفريق يستكشف مجموعة واسعة ومتنوعة من الأفكار (التنوع) بدلاً من أن يتجمعوا جميعاً حول فكرة واحدة متوسطة الجودة.

2. القاضي "المدرك للضجيج" (NARF)

لتحديد أي اللوحات يجب الاحتفاظ بها، تحتاج إلى "نموذج مكافأة" (Judge/Reward Model). ولكن هناك مشكلة: القاضي معتاد على رؤية اللوحات النهائية.

المشكلة: في منتصف العملية، تكون اللوحات مجرد خربشات ضبابية ومليئة بالضجيج. إذا عرضت خربشة ضبابية على قاضٍ مدرب على الفنون المكتملة، فقد يكرهها لأنها تبدو كفوضى كرتونية، حتى لو كانت ستتحول إلى لوحة رائعة لاحقاً.
الحل (NARF): قام الفريق بتدريب قاضٍ خاص "مدرك للضجيج". هذا القاضي يشبه ناقد فن رؤيوي يمكنه النظر إلى سكتش ضبابي نصف مكتمل ويقول: "أعلم أن هذا يبدو فوضوياً الآن، لكنني أرى الإمكانات هنا. احتفظ بهذا العمل".
كيف فعلوا ذلك: لقد علموا القاضي من خلال إظهار السكتشات الضبابية و النسخ النهائية المكتملة له، بحيث تعلم القاضي التنبؤ بالنتيجة النهائية بناءً على الفوضى المبكرة.

3. "التقليم العالمي" (Global Trim)

بدلاً من محاولة إصلاح لوحة واحدة سيئة (وهو أمر مكلف وبطيء)، يستخدم الفريق استراتيجية التقليم العالمي (Global Pruning).

العملية:
1. ابدأ بـ 100 رسام (مرشحين).
2. اتركهم جميعاً يرسمون لبضع دقائق.
3. ينظر "القاضي المدرك للضجيج" إلى السكتشات نصف المكتملة.
4. التقليم (Trim): قم فوراً بطرد الـ 50% الأدنى من الرسامين الذين يرسمون أشياء مملة أو خاطئة.
5. اترك الـ 50% المتبقين يواصلون الرسم.
6. كرر هذه العملية حتى يتبقى لديك أفضل عدد قليل فقط، ثم اختر الفائز.

لماذا هذا أفضل؟

تظهر الورقة البحثية أن هذه الطريقة أكثر فعالية بمرتين من أفضل الطرق الموجودة حالياً لنفس القدر من القوة الحسابية.

الطريقة القديمة: حاول إصلاح لوحة واحدة بإضافة ضجيج عشوائي (مكلفة، وغالباً ما تفشل).
الطريقة الجديدة (DOG-Trim): وظف حشداً من الرسامين، واجعلهم مختلفين، واستخدم قاضياً ذكياً لقطع الخاسرين مبكراً، واترك الفائزين يكملون عملهم.

الخلاصة

أدرك المؤلفون أنه بالنسبة لمولدات الصور الحديثة والسريعة بالذكاء الاصطناعي، فإن الكمية + التصفية الذكية تتفوق على محاولة جعل مسار واحد مثالياً. من خلال استخدام "Repel" لضمان التنوع و"NARF" للحكم بشكل صحيح على المسودات المبكرة، يمكنهم العثور على الصورة "الذهبية" بشكل أسرع وبجودة أفضل من ذي قبل.

باخت تختصر: لا تحاول جعل رسام عبقري واحد يتسكع؛ بل وظف حشداً، وادفعهم بعيداً عن بعضهم، واطرد الخاسرين مبكراً.

إليك ملخص تقني مفصل للورقة البحثية "Rethink Test-Time Scaling for Generative Flow Matching Models" (التي تقترح مسار DOG-Trim).

1. بيان المشكلة

تتناول الورقة البحثية تحدي تحسين جودة توليد الصور من النصوص عند وقت الاختبار (Inference) دون تعديل أوزان النموذج المدرب مسبقاً. ورغم أن توسيع نطاق وقت الاختبار (Test-Time Scaling - TTS) قد حقق نجاحاً في النماذج اللغوية الكبيرة (LLMs) ونماذج الانتشار العشوائية (Stochastic Diffusion Models)، إلا أنه يواجه عقبات كبيرة عند تطبيقه على نماذج مطابقة التدفق (Flow Matching) الحديثة (مثل Flux.1-dev وSD3).

عدم توافق البحث المحلي (Local Search): تعتمد طرق TTS الحالية لنماذج الانتشار غالباً على استكشاف المسارات المحلية (التفرع، تشويش الضوضاء، أو أخذ عينات SDE). ومع ذلك، تستخدم نماذج مطابقة التدفق معادلات تفاضلية عادية (ODE) حتمية. إن تحويل هذه النماذج إلى معادلات تفاضلية عشوائية (SDEs) أو إضافة ضوضاء للتفرع المحلي يتطلب تكلفة حوسبية هائلة (يتطلب خطوات أكثر بكثير) وغالباً ما يؤدي إلى أداء أقل من القواعد البسيطة (Baselines).
محدودية البحث العالمي (Global Search): البديل هو البحث العالمي (توليد العديد من المرشحين ثم تقليمهم). ومع ذلك، يواجه هذا النهج عقبتين حرجتين:
1. انخفاض التنوع: تميل نماذج التدفق المدربة على مجموعات بيانات ضخمة إلى التقارب نحو مناطق عالية الكثافة وحادة في فضاء البيانات. لذا، فإن توليد مرشحين متعددين غالباً ما ينتج عنه مخرجات متطابقة تقريباً، مما يحد من مساحة البحث الفعالة.
2. تحيز نموذج المكافأة (Reward Model Bias): يتم تدريب نماذج المكافأة القياسية على صور نظيفة. وعند تطبيقها على الحالات المتوسطة المشوشة أثناء عملية إزالة الضجيض، تظهر تحيزاً للترددات العالية، حيث تصنف بشكل خاطئ الصور "الكرتونية" أو ذات الحواف الحادة المشوشة على أنها أعلى تقييماً من المرشحين الواعدين ولكن الأكثر سلاسة، مما يؤدي إلى تقليم مبكر للمسارات الجيدة.

2. المنهجية: DOG-Trim

يقترح المؤلفون DOG-Trim (Diversity enhanced Order aligned Global flow Trimming)، وهو مسار مصمم خصيصاً لنماذج التدفق القائمة على ODE. ويتكون من ثلاثة مكونات أساسية:

أ. استراتيجية التقليم العالمي (Global Pruning Strategy)

بدلاً من التفرع المحلي المكلف للمسارات، يتبنى هذا الأسلوب بحثاً عالمياً مع تقليم وسيط:

توليد $N$ من المرشحين الأوليين بالتوازي.
إزالة الضجيج منها حتى خطوة زمنية وسيطة $t$ .
فك تشفير اللاتنت (Latent) إلى مساحة الصورة، وتقدير الصورة النظيفة ( $x_0$ )، وحساب المكافآت.
تقليم المسارات ذات الدرجات الأدنى بناءً على نسبة احتفاظ ثابتة $\gamma$ .
التكرار حتى إتمام إزالة الضجيج بالكامل.
يعظم هذا النهج عدد المرشحين الفريدين الذين يتم استكشافهم ضمن ميزانية حوسبية محددة.

ب. آلية Repel (آلية التنوع على مستوى الرمز/Token)

لمكافحة ضعف التنوع في نماذج التدفق، قدم المؤلفون Repel، وهي آلية تُطبق خلال خطوات إزالة الضيج المبكرة:

الآلية: تعمل على رموز الصور (Image Tokens) داخل كتل MMDiT. لكل رمز في مسار ما، تحدد الآلية الرمز الأكثر تشابهاً من المسارات الأخرى في الدفعة (Batch).
الإجراء: تقوم بعملية استكمال خطي (Linear Extrapolation) للرمز بعيداً عن نظيره الأقرب في المسارات الأخرى، مما يدفع مسارات التوليد بعيداً عن بعضها البعض.
التوقيت: تُطبق فقط في المراحل المبكرة (عندما يتشكل الهيكل الدلالي العالمي) لتجنب إدخال عيوب بصرية في مراحل لاحقة.
التكلفة: حسابات إضافية ضئيلة جداً.

ج. استراتيجية NARF (ضبط المكافأة الواعي بالضوضاء)

لحل الفجوة بين بيانات التدريب النظيفة والصور الوسيطة المشوشة، اقترح المؤلفون NARF:

التقطير الذاتي (Self-Distillation): يتم ضبط نموذج المكافأة ليتنبأ بدرجة مكافأة الصورة النظيفة النهائية بناءً على المدخلات المتوسطة المشوشة.
بيانات التدريب: يتم توليدها ذاتياً عبر أخذ عينات من المسارات من نموذج التدفق. "الحقيقة الأرضية" (Ground Truth) للحالة الوسيطة هي درجة مكافأة الصورة النهائية النظيفة تماماً لنفس المسار.
التعلم المنهجي (Curriculum Learning): يبدأ التدريب من الصور القريبة من النظافة (الخطوات الزمنية المتأخرة) وينتقل تدريجياً إلى الحالات الأكثر ضجيجاً (الخطوات الزمنية المبكرة) لضمان التقارب المستقر.
تعزيز التنوع: تُستخدم آلية Repel أثناء توليد البيانات لضمان احتواء دفعات التدريب على عينات متنوعة، مما يمنع انهيار نموذج المكافأة على مدخلات متشابهة.

3. المساهمات الرئيسية

التحليل بين العالمي والمحلي: تثبت الورقة أنه بالنسبة لنماذج التدفق القائمة على ODE، فإن البحث العالمي يتفوق على البحث المحلي. طرق البحث المحلي (مثل تحويل SDE أو إعادة أخذ عينات الضوضاء) تستهلك تكلفة حوسبية عالية مقابل مكاسب ضئيلة.
آلية Repel: استراتيجية تنافر خفيفة الوزن على مستوى الرمز، تعزز تنوع العينات والمسارات المتوازية بشكل كبير دون الحاجة لإعادة تدريب النموذج التوليدي.
استراتيجية NARF: نهج تقطير ذاتي فعال يربط نماذج المكافأة بالحالات الوسيطة المشوشة، مما يسمح بتقليم موثوق في المراحل المبكرة.
مسار DOG-Trim: إطار عمل موحد يدمج التقليم العالمي، وتعزيز التنوع، والتحقق الواعي بالضوضاء.

4. النتائج التجريبية

قيم المؤلفون DOG-Trim على نموذج Flux.1-dev مقابل عدة قواعد (Best-of-N، Greedy Search، Trajectory-Greedy، وطرق تعتمد على SDE مثل FK-Steering وiSMC) تحت ميزانية حوسبية ثابتة (تعادل إزالة الضجيج الكامل لـ 6 صور).

الأداء: حقق DOG-Trim تحسناً في الأداء بنحو ضعفي (2x) مقارنة بأفضل طريقة موجودة (Best-of-N) بالنسبة للقاعدة المرجعية التي لا تستخدم التوسيع.
المقاييس: تفوق على جميع المنافسين في مقاييس HPSv2.1، وPickScore، وImageReward.
دراسات الاستئصال (Ablation Studies):
- التقليم العالمي وحده تفوق بالفعل على الطرق السابقة المتطورة.
- إضافة Repel زادت من التنوع ومتوسط المكافأة.
- إضافة NARF حسنت بشكل كبير اتساق التصنيف في المراحل المبكرة (مقاساً بـ Kendall's $\tau$ ) واستدعاء التقليم (Pruning Recall)، مما ضمن عدم استبعاد أفضل المرشحين مبكراً.
الكفاءة: الطريقة أسرع من البدائل القائمة على SDE (حوالي 40 ثانية مقابل 57 ثانية لكل مطالبة/Prompt) لأنها تتجنب الخطوات الإضافية المطلوبة من العينات العشوائية وتسمح بالتحقق المتوازي.
التعميم: نموذج المكافأة الواعي بالضوضاء الذي تم ضبطه على Flux تعمم بشكل جيد على بنيات أخرى مثل SDXL وSD3.

5. الأهمية

تغير هذه الورقة البحثية بشكل جذري نموذج العمل الخاص بتوسيع نطاق وقت الاختبار في النماذج التوليدية الحديثة:

تغيير النموذج (Paradigm Shift): تجادل الورقة بأنه بالنسبة لنماذج التدفق الحتمية، فإن "الغداء المجاني" للبحث المحلي في المسارات غير موجود. بدلاً من ذلك، يجب تخصيص الموارد لاستكشاف مجموعة أكبر من المرشحين العالميين.
الأثر العملي: من خلال حل مشكلات التنوع وتحيز المكافأة، يتيح DOG-Trim للممارسين رفع جودة الصور والالتزام بالمطالبات (Prompt Adherence) بشكل كبير باستخدام النماذج المدربة مسبقاً الموجودة حالياً دون الحاجة إلى إعادة تدريب مكلفة أو تغييرات معقدة في البنية.
الاتجاه المستقبلي: تسلط الضوء على ضرورة وجود نماذج مكافأة واعية بالضوضاء لأي استراتيجية بحث في وقت الاستنتاج تتضمن حالات وسيطة، وهي رؤية بالغة الأهمية للأبحاث المستقبلية في الذكاء الاصطناائي التوليدي الفعال.