🧬 biology

Calibrating Generative Models to Distributional Constraints

تتناول هذه الورقة البحثية مشكلة عدم المعايرة في النماذج التوليدية من خلال صياغة المعايرة كمسألة تحسين مقيدة، وتقديم هدفين قابلين للتنفيذ لضبط المعلمات الدقيقة — وهما خسارة الاسترخاء وخسارة المكافأة — اللذين يعملان بفعالية على مواءمة توزيعات أخذ العينات مع القيود الإحصائية المرغوبة عبر تطبيقات متنوعة ونماذج واسعة النطاق.

المؤلفون الأصليون: Henry D. Smith, Nathaniel L. Diamant, Brian L. Trippe

نُشر 2026-05-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Henry D. Smith, Nathaniel L. Diamant, Brian L. Trippe

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً ماهراً (نموذج توليدي) موهوب للغاية في الطهي. لقد تعلم هذا الطباخ كيفية طهي آلاف الأطباق من خلال تذوق ملايين الوصفات من كتاب طهي محدد (بيانات التدريب).

ومع ذلك، هناك مشكلة؛ فبالرغم من مهارة الطباخ، إلا أنه قد طور بعض العادات السيئة أو "الاختلالات في المعايرة":

قد يكتفي بطهي المعكرونة فقط، رغم أن كتاب الطهي كان يحتوي على الكثير من البيتزا والسوشي.
قد يجعل كل بيتزا تبدو متطابقة تماماً، مفتقداً التنوع الموجود في الوصفات الأصلية.
في سياق القصص، قد يجعل شخصية "الطبيب" دائماً رجلاً، وشخصية "الممرضة" امرأة، رغم أن الواقع أكثر توازناً.

تقدم هذه الورقة البحثية طريقة جديدة تسمى CGM (معايرة النماذج التوليدية) لإصلاح هذه العادات دون طرد الطباخ أو جعله يبدأ من الصفر.

المشكلة الجوهرية: "الوصفة" مقابل "النتيجة"

يشرح المؤلفون أنه بينما يعرف الطباخ كيفية طهي الأطباق الفردية جيداً، فإن "القائمة" الإجمالية التي يقدمها لا تتوافق مع الإحصائيات المطلوبة. ربما تريد 50% معكرونة و50% بيتزا، لكن الطباخ يستمر في تقديم 90% معكرونة.

من الناحية التقنية، تسمي الورقة هذا الأمر اختلال المعايرة (miscalibration). حيث إن إحصائيات مخرجات الطباخ (توزيع العينات) لا تتطابق مع القيم المرغوبة (القيود).

الحل: دفعة لطيفة، وليس إعادة كتابة

يقترح المؤلفون طريقة لـ "ضبط" الطباخ. هم لا يريدون استبدال عقل الطباخ بالكامل (لأن ذلك مكلف ومخاطرة)، بل يريدون إيجاد النسخة الأقرب الممكنة من الطباخ التي تتبع القواعد الجديدة بدقة.

لقد صاغوا ذلك كمسألة رياضية: "ابحث عن الطباخ الجديد الذي يشبه الطباخ القديم قدر الإمكان (للحفاظ على أسلوبه الفريد) ولكنه يتبع نسب قائمة الطعام الجديدة بصرامة".

ولحل هذه المسألة، ابتكروا تقنيتين تدريبيتين (خوارزميتين):

1. طريقة "خسارة الاسترخاء" (Relax Loss) - (صندوق العقوبات)

فكر في هذا كمدرب نظام غذائي صارم.

كيف تعمل: يخبر المدرب الطباخ: "يمكنك الاستمرار في الطهي بطريقتك، ولكن في كل مرة تقدم فيها طبقاً لا يتوافق مع قاعدة الـ 50/50، ستتلقى نقطة عقوبة".
الهدف: يحاول الطباخ تقليل نقاط العقوبة مع محاولة البقاء قريباً من أسلوبه الأصلي في الطهي.
لماذا هي جيدة: إنها مرنة للغاية. يمكنها التعامل مع مئات القواعد في وقت واحد (على سبيل المثال: "50% معكرونة، 30% بيتزا، 20% سوشي، وأيضاً تأكد من أن لا يكون أي طبق مالحاً جداً"). وتظهر الورقة أن هذه الطريقة تعمل حتى مع الطباخين الضخام (النماذج التي تحتوي على مليارات المعلمات).

2. طريقة "خسارة المكافأة" (Reward Loss) - (نظام المكافآت)

فكر في هذا كجلسة تدريبية تعتمد على الألعاب.

كيف تعمل: بدلاً من مجرد معاقبة الأخطاء، يقوم المدرب بحساب "درجة مكافأة" بناءً على مدى جودة أداء الطباخ. إذا قدم الطباخ طبقاً متوازناً، يحصل على نقاط. وإذا قدم طبقاً غير متوازن، يحصل على نقاط أقل.
الهدف: يحاول الطباخ تعظيم إجمالي درجاته.
العيب: هذه الطريقة رائعة للقواعد البسيطة، لكنها قد ترتبك إذا أعطيتها قواعد كثيرة جداً في وقت واحد (مثل محاولة موازنة 100 مكون مختلف في آن واحد). وقد وجدت الورقة أنها تعاني عندما يصبح عدد القيود مرتفعاً جداً.

اختبارات العالم الحقيقي: أين جربوا ذلك؟

اختبر المؤلفون طرقهم على ثلاثة أنواع مختلفة تماماً من "الطباخين":

تصميم البروتين (الطباخ الجزيئي):
- المشكلة: كانت هذه النماذج تصمم بروتينات (لبنات بناء الحياة) تبدو متشابهة جداً وتفتقر إلى التنوع الطبيعي الموجود في الطبيعة.
- الحل: استخدموا طريقة "الاسترخاء" (Relax) لإجبار النموذج على توليد مزيج أكثر تنوعاً من أشكال البروتين (مثل لولب ألفا وصفائح بيتا) بما يتوافق مع البيانات البيولوجية الحقيقية.
- النتيجة: أصبحت البروتينات أكثر تنوعاً وواقعية، دون أن تصبح "معطلة" أو غير قابلة للاستخدام.
توليد الصور (الفنان البصري):
- المشكلة: كان نموذج صور مدرب على رسم الحيوانات مهووساً برسم الأسود والنمور، ونادراً ما يرسم الثعالب أو الذئاب، رغم أن بيانات التدريب كانت تحتوي على جميعها.
- الحل: قاموا بمعايرة النموذج لرسم الأنواع الستة من الحيوانات البرية بأعداد متساوية.
- النتيجة: بدأ النموذج يرسم الثعالب والذئاب بشكل أكثر تكراراً. كانت الصور لا تزال واقعية، وإن كانت الورقة تشير إلى وجود مقايضة طفيفة حيث بدت بعض الصور "ممتزجة" (مثل مزيج بين أسد وذئب) كأثر جانبي للتعديل.
نماذج اللغة (راوي القصص):
- المشكلة: كان نموذج لغوي ضخم يكتب قصصاً للأطفال حيث كانت شخصية "المحامي" دائماً تقريباً رجلاً، و"الممرضة" امرأة، مما يعزز التحيزات الواقعية.
- الحل: قاموا بمعايرة النموذج لضمان توازن جنس الشخصيات (50/50) لكل مهنة.
- النتيجة: بدأ النموذج يكتب قصصاً تظهر فيها المحاميات والممرضين بنفس قدر ظهور الأزواج التقليديين، دون أن تصبح القصص غير منطقية أو تفقد جودتها.

الخلاصة

تزعم الورقة أن CGM هي أداة قوية وعامة الغرض. فهي تتيح لنا أخذ نموذج ذكاء اصطناعي مدرب مسبقاً وتوجيه مخرجاته الإجمالية بلطف لتتطابق مع أهداف إحصائية محددة (مثل العدالة، أو التنوع، أو الدقة البيولوجية) دون الحاجة إلى إعادة تدريب النموذج بالكامل من الصفر.

CGM-Relax هو المحرك القوي: فهو يتعامل مع مئات القواعد المعقدة في وقت واحد ويعمل مع أكبر النماذج.
CGM-Reward هو المتخصص: فهو رائع للمهام البسيطة ويتجنب بعض تعقيدات ضبط المعلمات، لكنه يعاني مع كثرة القواعد.

يؤكد المؤلفون أنه بينما يحل هذا العديد من مشاكل المعايرة، فإنه ليس عصا سحرية. فالأمر لا يزال يتطلب ضبطاً دقيقاً، وفي بعض الحالات القصوى (مثل محاولة توليد أحداث نادرة جداً)، قد يتطلب الأمر قوة حوسبة كبيرة للوصول إلى النتائج المثالية. ولكن بالنسبة لمعظم التطبيقات العملية، فإنه ينجح في إعادة مخرجات الذكاء الاصطناعي إلى المسار الذي نريده بالفعل.

ملخص تقني: معايرة النماذج التوليدية وفق القيود التوزيعية

بيان المشكلة

تعاني النماذج التوليدية بشكل متكرر من سوء المعايرة، حيث تنحرف إحصائيات توزيع أخذ العينات (مثل ترددات الفئات، أو نسب البنية الثانوية، أو التمثيل الجندري) بشكل منهجي عن القيم المرغوبة. تظهر هذه المشكلة عبر مجالات متنوعة: تظهر نماذج الصور "انهيار النمط" (mode collapse)؛ وتعزز نماذج اللغة التحيزات المجتمعية؛ وتنتج نماذج البروتين/الحمض النووي (DNA) هياكل ذات ترددات غير نمطية في البنى الفرعية. تنبع هذه الأخطاء غالبًا من عدم توازن البيانات، أو ديناميكيات التدريب غير المثالية، أو التعديلات اللاحقة مثل أخذ العينات بدرجة حرارة منخفضة.

يصيغ المؤلفون المعايرة كمسألة تحسين مقيدة. بالنظر إلى نموذج توليدي أساسي $p_{\theta_{base}}(x)$ ، وإحصائية $h(x)$ ، وقيمة توقع مستهدفة $h^*$ ، فإن الهدف هو إيجج توزيع جديد $p_\theta$ يحقق الشرط $E_{p_\theta}[h(x)] = h^*$ مع تقليل تباعد كولباك - ليبلر (KL) بالنسبة للنموذج الأساسي:
$p_{\theta^*} = \arg \min_{p_\theta} D_{KL}(p_\theta \parallel p_{\theta_{base}}) \quad \text{بشرط} \quad E_{p_\theta}[h(x)] = h^*$
يسعى هذا الصياغة إلى إيجاد النموذج الأقرب للتوزيع الأساسي الذي يلبي قيد المعايرة. ومع ذلك، فإن حل هذه المسألة بدقة أمر مستعصٍ لأن كلاً من الهدف والقيد يتضمنان توقعات يصعب حسابها للنماذج التوليدية عالية الأبعاد.

المنهجية

لمعالجة الاستعصاء الحسابي، قدمت الورقة هدفين بديلين للضبط الدقيق، أُطلق عليهما اسم CGM-relax و CGM-reward. تعتمد كلتا الطريقتين على التحسين العشوائي باستخدام تقديرات التدرج غير المنحازة المستمدة من العينات.

1. CGM-relax (خسارة التخفيف)

يستبدل هذا النهج القيد الصارم بحد عقابي. دالة الهدف هي:
$L_{relax}(\theta) = \| E_{p_\theta}[h(x)] - h^* \|^2 + \lambda D_{KL}(p_\theta \parallel p_{\theta_{base}})$

انتهاك القيد ( $L_{viol}$ ): هو مربع معيار $\ell_2$ للفرق بين الإحصائية التجريبية والهدف. اشتق المؤلفون مُقدِّرًا غير منحاز لهذا الحد باستخدام صيغة تصحيح الانحياز للتباين في العينة.
تباعد KL ( $L_{KL}$ ): يُقاس عبر أخذ عينات مونت كارلو.
التحسين: تستخدم الطريقة أخذ العينات بالوزن (importance sampling) لحساب تدرجات غير منحازة. وتحديداً، يتم أخذ عينات من النموذج الحالي $p_\theta$ (مع إيقاف التدرج/stop-gradient) وإعادة وزن العينات لتقدير تدرجات حد الـ KL وانتهاك القيد. المعامل $\lambda$ يوازن بين تحقيق القيد والبقاء قريبًا من النموذج الأساسي.

2. CGM-reward (خسارة المكافأة)

يربط هذا النهج مسألة المعايرة بمبدأ الاعتلاج الأقصى (Maximum Entropy). إن حل مسألة الاعتلاج الأقصى (تقليل KL إلى النموذج الأساسي مع مراعاة قيود العزوم) هو ميل أسي للنموذج الأساسي: $p_{\alpha^*}(x) \propto p_{\theta_{base}}(x) \exp(\alpha^{*\top} h(x))$ .

تقدير $\alpha^*$ : نظرًا لأن توزيع الاعتلاج الأقصى الحقيقي مستعصٍ حسابيًا، تقوم الطريقة أولاً بتقدير بارامترات المكافأة المثلى $\alpha^*$ عن طريق حل مسألة تحسين مزدوجة باستخدام $N$ من العينات من النموذج الأساسي.
دالة الخسارة: هدف الضبط الدقيق هو تباعد KL بين النموذج الحالي $p_\theta$ وتوزيع الاعتلاج الأقصى المقدر $p_{\hat{\alpha}_N}$ :
$L_{reward}(\theta) = D_{KL}(p_\theta \parallel p_{\hat{\alpha}_N}) = D_{KL}(p_\theta \parallel p_{\theta_{base}}) + E_{p_\theta}[-r_{\hat{\alpha}_N}(x)] + C$
وهذا يكافئ مسألة ضبط دقيق للمكافأة حيث تُشتق "المكافأة" من القيود.
التحسين: تشبه CGM-relax في استخدام مُقدِّرات تدرج دالة الدرجة (score-function) مع خطوط أساس "ترك العينة الواحدة" (leave-one-out baselines) لتقليل التباين.

تقدير التدرج

تستخدم كلتا الطريقتين مُقدِّرات تدرج دالة الدرجة (على نمط REINFORCE) مدمجة مع أخذ العينات بالوزن. وللتعامل مع اعتماد التوقع على $\theta$ ، يستخدم المؤلفون حيلة "إيقاف التدرج" حيث يتم سحب عينات من نسخة ثابتة من النموذج الحالي، ويتم حساب التدرجات عبر نسبة الكثافة (دالة الدرجة). يتم تحقيق تقليل التباين باستخدام خطوط أساس "ترك العينة الواحدة".

المساهمات الرئيسية

الصياغة: صياغة معايرة النماذج التوليدية كمسألة تقليل KL مقيدة.
الخوارزميات: اقتراح خوارزميتين عمليتين للضبط الدقيق (CGM-relax و CGM-reward) تقتربان من حل المسألة المقيدة باستخدام التحسين العشوائي.
القابلية للتوسع: إثبات قدرة هذه الطرق على التعامل مع مئات القيود المتزامنة ونماذج تصل بارامتراتها إلى 9 مليارات بارامتر.
الارتباط النظري: إقامة الرابط بين المعايرة، والاعتلاج الأقصى، وضبط المكافأة، مما يوضح أن CGM-reward يستهدف حل الاعتلاج الأقصى بينما تستهدف CGM-relax نسخة منتظمة (regularized).

النتائج

قيم المؤلفون الطرق عبر ثلاث تطبيقات متنوعة:

تصميم البروتين (Genie2 و ESM3):
- الهدف: معايرة محتوى البنية الثانوية (حلزونات ألفا وخيوط بيتا) لتتطابق مع إحصائيات البروتين الطبيعية (مجموعة بيانات CATH).
- القيود: ما يصل إلى 99 قيدًا متزامنًا (دوال التوزيع التراكمي ثنائية المتغيرات).
- النتيجة: قللت CGM-relax المسافة إلى توزيعات البروتين الطبيعية بأكثر من 4 أضعاف لـ Genie2 وأكثر من ضعفين لـ ESM3. حققت CGM-reward تحسينات أكثر تواضعًا، ويرجع ذلك جزئيًا إلى صعوبة تقدير $\alpha^*$ مع القيود عالية الأبعاد. حافظت كلتا الطريقتين على المعقولية البيوفيزيائية، وإن كان ذلك مع زيادة طفيفة في "فشل التصميم".
توليد الصور (TarFlow):
- الهدف: موازنة نسب الفئات ضمن فئة "الحياة البرية" في مجموعة بيانات AFHQ (مثل مساواة الأسود والنمور والثعالب والذئاب).
- القيود: 5 قيود متزامنة.
  కు
- النتيجة: قللت CGM-relax مسافة التباين الكلي لنسب الفئات من 0.306 إلى 0.101. وبينما انخفضت واقعية العينات (FID) قليلاً، أنتج النموذج المُعاير توليدات أكثر تنوعًا وتوازنًا. فشلت CGM-reward في تقليل انتهاك القيود بشكل ملحوح.
النمذجة اللغوية (Gemma-2-9B-IT):
- الهدف: تقليل التحيز الجندري في القصص الموجهة للأطفال لمختلف المهن (مثل ضمان الاحتمالية المتساوية للمحامي/المحامية).
- القيود: 8 قيود مشروطة بالمهنة.
- النتيجة: قللت كلتا الطريقتين من عدم التوازن الجندري. قللت CGM-relax عدم التوازن بأكثر من ثلاثة أضعاف مقارنة بالنموذج الأساسي، بينما أظهرت CGM-reward تحسنًا ذا دلالة إحصائية ولكنه أصغر. حافظت النماذج المعدلة بدقة على جودة القصة (عدم تدهور في احتمالية اللوغاريتم).

التجارب الاصطناعية:

الأحداث النادرة: نجحت CGM في رفع وزن الأنماط النادرة في المزيج الغاوسي، حتى عندما كانت الاحتمالية الأساسية منخفضة بقدر $10^{-3}$ .
الأبعاد العالية: تعاملت CGM-relax بفعالية مع ما يصل إلى $10^3$ من القيود. في المقابل، أصبحت CGM-reward غير قابلة للتطبيق مع القيود التي تتجاوز 30 بسبب صعوبة حل مسألة الاعتلاج الأقصى التجريبية (المعادلة 7).

الأهمية والادعاءات

تدعي الورقة أن CGM توفر إطارًا عمليًا لمعايرة النماذج التوليدية عالية الأبعاد لتلبية القيود التوزيعية دون الحاجة إلى تغيير بنية النموذج أو إعادة التدريب من الصفر.

المتانة: أظهرت CGM-relax أنها أكثر متانة من CGM-reward، خاصة في إعدادات القيود عالية الأبعاد حيث يصبح تقدير بارامترات الاعتلاج الأقصى مستعصيًا.
المقايضات: توفر الطرق مقايضة يمكن التحكم بها بين دقة المعايرة والأمانة للنموذج الأساسي (يتم التحكم فيها عبر $\lambda$ ).
القيود: يقر المؤلفون ببقاء بعض الأخطاء المتبقية، خاصة بالنسبة للأحداث النادرة جدًا. علاوة على ذلك، يعتمد الإطار حاليًا على نماذج ذات احتمالات قابلة للحساب (نماذج الانتشار، تدفقات التوزيع الطبيعي، النماذج ذات الترتيب الذاتي)، مما يحد من تطبيقه المباشر على النماذج الضمنية مثل GANs.

يضع هذا العمل المعايرة كاتجاه بحثي متميز ومثمر، منفصل عن ضبط المكافأة القياسي، وذلك باستخدام القيود نفسها كإشارة دافعة للمحاذاة التوزيعية.