ملخص تقني: RoCo-ACE

بيان المشكلة

تتطلب نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) تحديثات لاستيعاب معارف جديدة أو معرفة خاصة بمجال معين بعد النشر. ومع ذلك، تواجه استراتيجيات حقن المعرفة القياسية مقايضة جوهرية بين الحقن والاحتفاظ (injection-retention trade-off):

• الملاءمة المباشرة (SFT/LoRA): يؤدي التحسين المباشر على الإجابات الموثوقة إلى تحسين دقة المعرفة المحقونة، ولكنه غالبًا ما يسبب انحرافًا كبيرًا في السلوكيات غير المحدثة (مثل التأسيس البصري، السلامة، والاستدلال العام) بسبب محاكاة الإجابة الكاملة والإفراط في ملاءمة الأسلوب (style overfitting).
• التحديثات المقيدة: الطرق التي تقيد مساحة التحديث (مثل متغيرات LoRA، أو قيود الفضاء الصفري) تحد من الانحراف، لكنها غالبًا ما تفشل في توطين الإشراف على وحدات معرفية محددة، مما يؤدي إلى نقص في حقن الحقائق المستهدفة.
• التقطير عبر الإنترنت (Online Distillation): التدريب على مخرجات النموذج (rollouts) بدلاً من الأهداف الثابتة يبقي التحديثات قريبة من السياسة الحالية. ومع ذلك، فإن التقطير المشروط بالمرجع الموحد (uniform reference-conditioned distillation) يوفر إشرافًا خشنًا؛ حيث يوزع الكتلة التدرجية (gradient mass) بشكل عشوائي على الصياغات العامة، والتفاصيل البصرية غير المستهدفة، وأسلوب الإجابة، بينما يقلل من التأكيد على الرموز (tokens) المدعومة بالمرجع، ويوفر إشرافًا غير مباشر فقط للحقائق المفقودة من المخرج الحالي.

التحدي الجوهري هو تحقيق إشراف دقيق (fine-grained supervision) يقوم بتحديث ركائز واقعية محددة دون إجبار النموذج على استنساخ الإجابة المرجعية بأكملها أو تدهور قدراته العامة.

المنهجية: RoCo-ACE

يقترح المؤلفون RoCo-ACE، وهو هدف تقطير عبر الإنترنت مشروط بالمخرجات، مصمم لحقن محتوى واقعي متفرق مع الحفاظ على القدرة على الاحتفاظ بالمعلومات. تعمل الطريقة على مجموعة بيانات من المطالبات ($x_i$)، الصور ($I_i$)، والإجابات المرجعية الموثوقة ($a_i$). لكل مثال، يولد نموذج الطالب $p_\theta$ مخرجًا (rollout) من السياسة الحالية $y_i$.

تجمع المنهجية بين مكونين متكاملين:

1. RoCo: التقطير عبر الإنترنت التبايني المشروط بالمخرجات

يعالج RoCo مشكلة دقة الإشراف للرموز (tokens) الموجودة بالفعل في مخرج الطالب. يستخدم نموذج معلم $q_\phi$ (متوسط متحرك أسي للطالب) لتقييم بادئة المخرج نفسها تحت شرطين:

• عرض القاعدة (Base View - $q_{base}$): باستخدام مدخلات المستخدم والصورة فقط.
• عرض المرجع (Reference View - $q_{ref}$): باستخدام مدخلات المستخدم، الصورة، والإجابة المرجعية الموثوقة.

تحسب الطريقة تباين الاحتمالية ($\Delta_{i,t}$) لكل رمز $t$ في المخرج:
$$\Delta_{i,t} = \log q_{ref}(y_{i,t} | \dots) - \log q_{base}(y_{i,t} | \dots)$$
يتم تحديد الرموز ذات التباين الإيجابي (أي أن احتمالية ظهورها تزداد بشكل كبير عند توفر المرجع) كرموز مدعومة بالمرجع. يعيد RoCo تخصيص وزن تقطير إضافي لهذه الرموز، بينما تتلقى الرموز العامة أو غير المدعومة إشارة تقطير "أرضية" فقط. يضمن ذلك تعلم النموذج كيفية محاذاة مساحات واقعية محددة مع المرجع دون فرض محاكة موحدة لأسلوب الاستجابة بأكره.

2. ACE: الإنتروبيا المتقاطعة المرتكزة (Anchored Cross-Entropy)

لا يستطيع RoCo الإشراف على الحقائق التي غابت عن مخرج الطالب. يعالج ACE هذه الفجوة في التغطية من خلال تطبيق تصحيح موجه متفرق على الركائز الموثوقة المستخرجة (مثل الكيانات، التواريخ، الأرقام) من الإجابة المرجعية.

• تقييم التغطية: يحسب النظام درجة تغطية $\rho_i(s, y_i)$ لكل مساحة واقعية $s$ في المرجع مقابل مخرج الطالب.
• التصحيح الموزون: المساحات المفقودة أو المغطاة بشكل ضعيف تتلقى أوزانًا أعلى. يتم حساب الخسارة كإنتروبيا متقاطعة موزونة عبر رموز الركائز فقط في المرجع:
  $$L_{ACE} = - \sum_{k \in A_i} u_{i,k} \log p_\theta(a_{i,k} | \dots)$$
  حيث $u_{i,k}$ هو وزن الركيزة. يوفر هذا إشرافًا مباشرًا للحقائق المفقودة دون معاملة الإجابة المرجعية الكاملة كهدف محاكاة على مستوى الرمز.

الهدف الإجمالي

تجمع الخسارة النهائية بين تقطير المخرات الموزون وتصحيح الركائز المتفرق:
$$L = \frac{1}{|B|} \sum_{i \in B} (\lambda_{RoCo} L_{RoCo}^{(i)} + \lambda_{ACE} L_{ACE}^{(i)})$$

المساهمات الرئيسية

1. تحديد دقة الإشراف: حددت الورقة أن التقطير عبر الإنترنت الموحد يفشل في التمييز بين الرموز الواقعية المدعومة بالمرجع وبين الصياغات العامة، مما يؤدي إلى حقن غير مثالي واحتفاظ غير كافٍ.
2. إطار عمل RoCo-ACE: تقديم نظام ثنائي الأهداف:
   • RoCo: يستخدم تباين الاحتمالية لنفس المخرج لإعادة وزن الرموز المدعومة بالمرجع، مما يعزز المحاذاة الواقعية أثناء التشغيل (on-policy).
   • ACE: يضيف تصحيحًا مرتكزًا متفرقًا للحقائق الموثوقة المفقودة، مما يضمن التغطية دون استنساخ الإجابة الكاملة.
3. التحقق التجريبي: أظهرت التجاروات المكثفة عبر ثلاثة إعدادات لحقن المعرفة (EVOKE, VP, Sci) وستة معايير للاحتفاظ بأن RoCo-ACE يحقق دقة فائقة في المعرفة المحقونة مع الحفاظ على مستويات احتفاظ قريبة من النموذج الأساسي ونماذج التقطير عبر الإنترنت.

النتائج التجريبية

قيم المؤلفون RoCo-ACE باستخدام Qwen3-VL-8B (و Qwen3-VL-30B في الملاحق) مقابل خطوط أساس تشمل SFT و LoRA و KORE و SDFT وطرق التحديث المقيدة المختلفة.

• دقة الحقن: حقق RoCo-ACE أعلى دقة في المعرفة المحقونة عبر جميع الإعدادات. في معيار EVKOKE، وصل إلى دقة 27.6%، متفوقًا على خط الأساس القوي المقيد KORE (25.2%) والملاءمة المباشرة SFT (20.1%).
• الاحتفاظ: من المهم ملاحظة أن RoCo-ACE حافظ على متوسط احتفاظ (Ret. Avg.) قدره 56.5%، وهو أعلى بكثير من SFT (31.8%) و KORE (47.0%)، ومقارن بالنموذج الأساسي (57.2%) وخط الأساس للتقطير عبر الإنترنت SDFT (55.1%).
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة الوزن التبايني (RoCo) واستخدام أوزان موحدة إلى تقليل دقة الحقن.
  • أدت إزالة تصحيح الركيزة (ACE) إلى انخفاض في دقة الحقن، خاصة بالنسبة للحقائق المفقودة.
  • استخدام الإنتروبيا المتقاطعة للمرجع الكامل (SFT) بجانب التقطير حسن الحقن بشكل أقل فعالية من ACE وأدى إلى تدهور الاحتفاظ بشكل أكثر حدة، مما يؤكد أن تصحيح الركيزة المتفرق يتفوق على محاكة الإجابة الكاملة.
• التحليل النوعي: أظهرت دراسات الحالة أن RoCo يبرز المحتوى المفيد من المخرج (مثل "street art"، "Amsterdam") بينما يقوم ACE بتصحيح ركائز محددة مفقودة (مثل "STRAAT Museum"، تواريخ محددة) التي أغفلها المخرج في البداية.

الأهمية والادعاءات

تدعي الورقة أن RoCo-ACE يحل بفعالية مقايضة الحقن والاحتفاظ من خلال نقل التركيز من محاكاة السلوك (behavior cloning) إلى المحاذاة الواقعية (factual alignment). ومن خلال فصل الإشراف على رموز المخرج المدعومة بالمرجع عن تصحيح الركائز المفقودة، تقوم المنهجية بحقن محتوى واقعي متفرق دون تحويل الإجابة المرجعية الكاملة إلى هدف لمحاكاة السلوك.

يضع المؤلفون RoCo-ACE كنهج مكمل للقيود في مساحة المعلمات؛ فبدلاً من تقييد أين يمكن للنموذج أن يتغير، تقوم المنهجية بتحسين كيفية الإشراف على النموذج أثناء التحديث. تم تصميم الطريقة خصيصًا للإعدادات التي تصاحب فيها التحديثات مراجع طبيعية لغوية موثوقة، مما يجعلها مناسبة لحقن الكيانات، الأحداث، والمعرفة الخاصة بالمجالات في نماذج MLLM. تشير الورقة بتواضع إلى أن الاحتفاظ يتم تقييمه تجريبيًا على معايير محجوزة ولا توفر ضمانات رسمية لجميع القدرات غير المحدثة.