💻 computer science

Optimizing Language Models for Crosslingual Knowledge Consistency

تقدم هذه الورقة البحثية "تحسين الاتساق المباشر" (DCO)، وهو أسلوب مستوحى من التعلم التعزيزي يعمل على تحسين اتساق المعرفة عبر اللغات في النماذج اللغوية الكبيرة بشكل كبير، وذلك عبر اشتقاق دالة مكافأة مهيكلة مباشرة من النموذج نفسه، مما يلغي الحاجة إلى نموذج مكافأة صريح ويتفوق على النهج الحالية.

المؤلفون الأصليون: Tianyu Liu, Jirui Qi, Mrinmaya Sachan, Ryan Cotterell, Raquel Fernández, Arianna Bisazza

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tianyu Liu, Jirui Qi, Mrinmaya Sachan, Ryan Cotterell, Raquel Fernández, Arianna Bisazza

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "تحسين النماذج اللغوية من أجل اتساق المعرفة عبر اللغات" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: المترجم "المتعدد الشخصيات"

تخيل أن لديك مساعداً ذكياً متعدد اللغات يُدعى "الذكاء الاصطنا Artificial Intelligence". تسأله سؤالاً بسيطاً بالإنجليزية: "What is the capital of the Netherlands?" (ما هي عاصمة هولندا؟)، فيجيب بثقة: "Amsterdam" (أمستردام).

لكن بعد ذلك، تسأله نفس السؤال تماماً باللغة الهولندية: "Wat is de hoofdstad van Nederland?"، فجأة يصاب الذكاء الاصطناعي بالارتباك ويجيب: "Rotterdam" (روتردام).

هذه هي المشكلة التي تعالجها الورقة البحثية. النماذج اللغوية الكبيرة (LLMs) تشبه الطلاب المرهقين الذين درسوا لاختبار بلغات مختلفة، لكنهم لم يدركوا أنهم يخوضون الاختبار نفسه. غالباً ما يعطون إجابات غير متسقة بناءً على اللغة المستخدمة. وهذا يجعلهم غير موثوقين؛ فإذا كنت تثق بهم بالإنجليزية ولكنهم يكذبون عليك بالإسبانية، فلا يمكنك الوثوق بهم على الإطلاق.

الطريقة القديمة: "تصويت الأغلبية" (CALM)

كانت المحاولات السابقة لإصلاح هذا الأمر خرقاء بعض الشيء. إحدى الطرق (تسمى CALM) كانت تشبه سؤال 10 أشخاص نفس السؤال بعشر لغات مختلفة، ثم أخذ "تصويت أغلبية" لتحديد الإجابة الصحيحة.

العيب: إذا كان لديك لغتان فقط (مثل الإنجليزية والسواحيلية)، فلا يمكنك إجراء تصويت أغلبية. وأيضاً، إذا تضمنت اللغات التي يتقنها الذكاء الاصطناعي لغاتٍ يكون ضعيفاً فيها، فإن "التصويت" سيصبح مشوشاً وخاطئاً. الأمر يشبه محاولة إيجاد الحقيقة عبر سؤال غرفة مليئة من الناس حيث يقوم 90% منهم بالتخمين العشوائي.

الحل الجديد: DCO (تحسين الاتساق المباشر)

يقترح المؤلفون طريقة جديدة تسمى DCO. لا تنظر إلى DCO كمعلم يصحح اختباراً، بل كـ قائد أوركسترا يضبط الآلات الموسيقية.

1. الفكرة الجوهرية: "غرفة الصدى"

في الماضي، كان الذكاء الاصطناعي يتعلم من خلال إخباره: "هذه الإجابة صحيحة، وتلك خاطئة". أما DCO فهو مختلف؛ فهو لا يحتاج إلى إنسان ليقول له "صح" أو "خطأ".

بدلاً من ذلك، يسأل الذكاء الاصطناعي: "إذا أجبت على هذا السؤال بالإنجليزية، فماذا ستقول؟ والآن، إذا أجبت بالفرنسية، فماذا ستقول؟ هل تتطابق هذه الإجابات؟"

إذا قال الذكاء الاصطناعي "أمستردام" بالإنجليزية ولكن "روتردام" بالفرنسية، يقول له DCO: "مهلاً، أنت تناقض نفسك! دعنا نعدل إعداداتك الداخلية بحيث يتفق 'عقلك الإنجليزي' و'عقلك الفرنسي' على نفس الحقيقة."

2. الصيغة السحرية: "نتاج الخبراء"

تصف الورقة البحثية عقل الذكاء الاصطناعي الجديد كـ "نتاج للخبراء" (Product of Experts).

تخيل أن لدى الذكاء الاصطناعي "خبيراً" مختلفاً لكل لغة يعرفها.

الخبير الإنجليزي يقول: "أعتقد أن الإجابة هي أمستردام".
الخبير الفرنسي يقول: "أعتقد أن الإجابة هي باريس". (انتظر، هذا خطأ).
الخبير الهولندي يقول: "أعتقد أن الإجابة هي أمستردام".

يقوم DCO بإجبار هؤلاء الخبراء على التحدث مع بعضهم البعض. إنه يضع قاعدة: "يجب أن تكون إجابتك النهائية مزيجاً مما يقوله جميع خبراء اللغات". إذا اتفق الخبير الإنجليزي والهولندي، بينما كان الخبير الفرنسي مرتبكاً، فإن النظام يدفع الخبير الفرنسي للاستماع إلى الآخرين.

هذا يخلق حلقة تصحيح ذاتي. يستخدم الذكاء الاصطناعي معرفته في لغة واحدة لإصلاح معرفته في لغة أخرى، دون الحاجة لتدخل بشري ليقول له "لا، هذا خطأ".

3. "قرص التحكم في الاتجاه" (التحكم في التدفق)

من أروع ميزات DCO أنه يمكنك التحكم في من يتعلم من مَن.

تخيل قرصاً به إعدادان: الإنجليزية والسواحيلية.

الإعداد الافتراضي: كلاهما يتعلم من الآخر بالتساوي.
وضع "استقرار الإنجليزية": تقوم بتدوير القرص بحيث تظل الإنجليزية كما هي تماماً (لأنها جيدة جداً بالفعل)، وتُجبر السواحيلية على التغيير لتطابق الإنجليزية.
وضع "استقرار السواحيلية": تفعل العكس (وهو أمر نادر الحدوث، لكنه ممكن).

هذا يشبه برنامج التوجيه (Mentorship). إذا كان لديك طباخ ماهر (الإنجليزية) ومتدرب (السواحيلية)، يمكنك إخبار المتدرب: "انسخ وصفة الطباخ الماهر بدقة". أنت لا تريد للمتدرب أن يغير وصفة الطباخ الماهر عن طريق الخطأ. يتيح لك DCO ضبط "اتجاه التوجيه" هذا بسهولة.

لماذا يهم هذا؟

لا حاجة للبشر: على عكس الطرق الأخرى التي تحتاج لبشر لتصحيح الإجابات، يعلم DCO الذكاء الاصطناعي كيف يكون متسقاً مع نفسه. الأمر يشبه طالباً يدرس ملاحظاته الخاصة للعثور على التناقضات.
يعمل في كل مكان: يعمل سواء كنت تعلم الذكاء الاصطنا- لغتين أو عشرين لغة.
دقة أفضل: ومن المثير للدهشة، من خلال إجبار الذكاء الاصطناعي على أن يكون متسقاً، فإنه يصبح في الواقع أكثر ذكاءً. فعندما يتفق "العقل الإنجليزي" و"العقل الفرنسي"، فإنهما يعززان بعضهما البعض، مما يؤدي إلى أخطاء أقل.

الخلاصة

تقدم هذه الورقة البحثية طريقة لجعل النماذج اللغوية صادقة عبر اللغات. بدلاً من التصرف كسائح مرتبك يتحدث لغات مختلفة ولكنه يروي قصصاً مختلفة في كل منها، يساعد DCO الذكاء الاصطناعي ليكون خبيراً موحداً وموثوقاً يروي الحقيقة نفسها، بغض النظر عن اللغة التي تسأله بها.

إنه بمثابة منح الذكاء الاصطناعي بنك ذاكرة عالمي واحد، يضمن أن "أمستردام" هي "أمستردام" سواء سألت بالإنجليزية، أو اليابانية، أو السواحيلية.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحسين النماذج اللغوية من أجل الاتساق المعرفي عبر اللغات".

1. بيان المشكلة

غالبًا ما تُظهر النماذج اللغوية الكبيرة (LLMs) عدم اتساق معرفي عبر اللغات (CLC). فعند طرح نفس السؤال الواقعي بلغات مختلفة، قد يقدم النموذج إجابات متضاربة (على سبيل المثال، يجيب بـ "أمستردام" بالإنجليزية ولكن بـ "روتردام" بالهولندية). هذا الأمر يقوض موثوقية الأنظمة متعددة اللغات ويربك المستخدمين.

تعتمد طرق المحاذاة الحالية مثل التحسين المباشر للتفضيلات (DPO) أو التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) عادةً على أزواج التفضيلات البشرية (الإجابة الرابحة مقابل الخاسرة) أو نماذج المكافأة المدربة على لغات محددة. ومع ذلك، فإن هذه النهج لا تضمن بطبيعتها بقاء ترتيب تفضيلات النموذج ثابتًا عبر اللغات المختلفة. علاوة على ذلك، فإن الطرق مثل CALM (التي تستخدم التصويت بالأغلبية عبر اللغات) تعاني في البيئات ثنائية اللغة أو عند التعامل مع اللغات ذات الموارد المنخفضة بسبب إشارات التصويت المشوشة.

2. المنهجية: التحسين المباشر للاتساق (DCO)

يقترح المؤلفون إطار عمل مبتكر لمحاذاة النماذج اللغوية الكبيرة لتحقيق الاتساق عبر اللغات دون الحاجة إلى نماذج مكافأة صريحة أو تسميات ذهبية (gold-standard labels) لكل زوج من اللغات.

أ. الأساس النظري: دالة المكافأة المهيكلة

تتمثل الرؤية الجوهرية في تعريف دالة مكافأة تعتمد على الاحتمالات التي يخصصها النموذج نفسه للإجابات في اللغات المتوازية.

تعريف الاتساق: يكون السياسة $\pi^*$ متسقة إذا ظل التفضيل النسبي بين استجابتين ( $y_w$ مقابل $y_l$ ) كما هو بغض النظر عن اللغة ( $L_1$ أو $L_2$ ) التي جاء بها السؤال.
دالة المكافأة ( $r_{ALIGN}$ ):
بالنسبة لسؤال $x$ واستجابة $y$ في اللغة $L_1$ ، يتم تعريف المكافأة باستخدام لوغاريتم الاحتمالية (log-likelihood) للاستجابة المترجمة في $L_2$ :
$r_{ALIGN}(x, y) = \gamma_1 \log \pi_{REF}(\tau^2(y) | \tau^2(x))$
(والعكس صحيح بالنسبة لـ $L_2$ ).
هنا، $\pi_{REF}$ هو النموذج المرجعي الأساسي، و $\tau$ تمثل الترجمة، و $\gamma$ هي المعلمات الفائقة (hyperparameters) التي تتحكم في قوة المحاذاة.
السياسة المثلى: من خلال تعظيم هذه المكافأة مع قيد تباعد كولباك - ليبلر (KL-divergence)، تأخذ السياسة المثلى شكل "منتج الخبراء" (Product-of-Experts):
$\pi^*(y | x) \propto \pi_{REF}(y | x) \cdot \pi_{REF}(\tau(y) | \tau(x))^{\gamma/\beta}$
يثبت المؤلفون أنه إذا كانت المعلمات الفائقة تحقق الشرط $\gamma_1 \gamma_2 = \beta^2$ ، فإن السياسة الناتجة مضمونة نظريًا لتكون متسقة عبر اللغات.

ب. الخوارزمية: التحسين المباشر للاتساق (DCO)

لتجنب التكلفة الحسابية لأخذ العينات عبر الإنترنت (كما في PPO) أو تدريب نموذج مكافأة منفصل (كما في RLHF القياسي)، اشتق المؤلفون خوارزمية DCO المستوحاة من DPO.

الآلية: بدلاً من تدريب نموذج مكافأة للتنبؤ بالتفضيلات البشرية، تقوم DCO بتحسين السياسة مباشرة لتطابق الفرق في لوغاريتم الاحتمالية بين أزواج الأسئلة والاستجابات المتوازية.
دالة الخسارة: تهدف الدالة إلى تقليل الفرق بين فرق المكافأة المقدر للنموذج وفرق المكافأة المستهدف المستمد من احتمالية النموذج المرجعي في اللغة الموازية:
$L(\theta) = \mathbb{E} \left[ \left| (\hat{r}_\theta(y_w) - \hat{r}_\theta(y_l)) - \gamma \log \frac{\pi_{REF}(y_w')}{\pi_{REF}(y_l')} \right| \right]$
حيث ترمز $y'$ إلى ترجمة الاستجابة.
المزايا:
- لا تتطلب تسميات ذهبية: لا تحتاج لمعرفة الإجابة "الصحيحة"، بل تحتاج فقط إلى بيانات متوازية (أسئلة وإجابات مرشحة بلغات متعددة).
- لا تتطلب نموذج مكافأة: تتجاوز الحاجة لتدريب نموذج مكافأة منفصل.
- الكفاءة: هي عملية تحسين مباشرة للسياسة، على غرار DPO.

3. المساهمات الرئيسية

صياغة مبتكرة للمكافأة: قدمت دالة مكافأة مهيكلة تستفيد من الاحتمالات عبر اللغات الخاصة بالنموذج نفسه لفرض الاتساق، مما يضمن نظريًا تفضيلات متسقة تحت قيود محددة للمعلمات الفائقة.
خوارزمية DCO: اقترحت خوارزمية DCO الفعالة والمشابهة لـ DPO، والتي تحل هدف محاذاة الاتساق دون الحاجة إلى نمذجة مكافأة صريحة أو أخذ عينات عبر الإنترنت.
محاذاة قابلة للتحكم: أظهرت أن المعلمات الفائقة ( $\gamma_1, \gamma_2$ ) تسمح للممارسين بالتحكم في "اتجاه" المحاذاة (مثل الارتكاز على لغة عالية الموارد مثل الإنجليزية مع تحديث لغة منخفضة الموارد، أو الموازنة بين كليهما).
القدرة على التعميم: أظهرت الطريقة نجاحها عبر عائلات نماذج متنوعة (Qwen, Llama, Gemma, Aya) وتمددها إلى سيناريوهات خارج النطاق (out-of-domain).

4. النتائج التجريبية

قيم المؤلفون خوارزمية DCO على 9 نماذج لغوية متقدمة (تتراوح بين 3 مليار إلى 14 مليار معلمة) عبر 3 مجموعات بيانات (MMMLU, XCSQA, BMLAMA) تغطي 26 لغة.

الاتساق عبر اللغات (RankC): حسنت DCO درجات الاتساق (RankC) بشكل كبير في جميع النماذج.
- في التدريب متعدد اللغات المشترك، تفوقت DCO على SFT، وDPO القياسي، وCALM.
- في مجموعة بيانات MMMLU، حسنت DCO الاتساق بمقدار +4.79 إلى +12.60 نقطة مقارنة بالنماذج المرجعية.
- والجدير بالذكر أن DCO حسنت الاتساق حتى في أزواج اللغات المتباعدة لغويًا (مثل الكورية-الفرنسية، العربية-الصينية).
الحفاظ على الدقة/تحسينها:
- على عكس بعض طرق المحاذاة التي تؤدي إلى تدهور الأداء، حافظت DCO على الدقة أو حسنتها في اللغات غير الإنجليزية.
- في الإعدادات ثنائية اللغة، حققت DCO تحسنًا باريتو (Pareto improvement): زيادة الدقة في اللغة ذات الموارد المنخفضة مع الحفاظ على استقرار دقة الإنجليزية أو تحسنها الطفيف.
التعميم خارج النطاق: عندما تم التدريب على موضوع واحد (الاقتصاد الجزئي للمرحلة الثانوية)، حسنت DCO الاتساق والدقة في مجالات غير مرئية (مثل علم الوراثة الطبية، والرياضيات الجامعية)، مما يدل على نقل معرفي قوي.
ثنائية اللغة مقابل تعدد اللغات: كانت DCO فعالة في كلتا الحالتين. في الإعدادات ثنائية اللغة، نجحت في محاذاة الإنجليزية مع لغات محلية محددة (مثل السواحيلية، واليوروبا) دون مشاكل الضجيج التي تظهر في طرق التصويت بالأغلبية مثل CALM.
التعلم التعزيزي عبر السياسة (On-Policy RL): أظهرت دراسة تجريبية أن مكافأة الاتساق يمكن استخدامها أيضًا في إعدادات التعلم التعزيزي عبر السياسة (on-policy RL) للتوليد مفتوح النهايات (مثل GSM8K)، مما يؤكد صحة النهج بشكل أكبر.

5. الأهمية والأثر

الموثوقية: تعالج DCO خللاً حرجًا في النماذج اللغوية متعددة اللغات — وهو عدم الاتساق المعرفي — مما يجعلها أكثر موثوقية للنشر العالمي.
الكفاءة: من خلال إلغاء الحاجة إلى نماذج المكافأة والتسميات الذهبية، تخفض DCO حاجز الدخول لتحسين الاتساق متعدد اللغات، مما يجعلها متاحة للغات التي تعاني من ندرة البيانات المصنفة.
التحكم العملي: تتيح القدرة على ضبط الاتجاهية للمطورين إعطاء الأولوية للغات معينة (مثل الارتكاز على نموذج إنجليزي عالي الجودة) مع ترقية اللغات الأخرى، وهي ميزة حاسمة للتطبيقات الواقعية حيث تتباين مستويات توافر الموارد.
أساس للأعمال المستقبلية: تشير الورقة إلى أن نهج مكافأة الهيكل هذا يمكن توسيعه ليشمل أشكالًا أخرى من الاتساق، مثل الاتساق الذاتي عبر إعادة الصياغة أو الاتساق عبر الوسائط (cross-modal).

في الختام، تضع DCO حلاً قويًا وفعالًا ومرتكزًا على أسس نظرية لمحاذاة النماذج اللغوية الكبيرة متعددة اللغات، مما يضمن تمثيل المعرفة بشكل متسق بغض النظر عن اللغة المستخدمة لاستدعاء النموذج.