💬 NLP

Language steering in latent space to mitigate unintended code-switching

تقترح هذه الورقة طريقة خفيفة الوزن عند وقت الاستدلال تسمى توجيه اللغة في الفضاء الكامن، والتي تستخدم اتجاهات لغوية مشتقة من تحليل المكونات الرئيسية (PCA) للحد بفعالية من التبديل اللغوي غير المقصود في النماذج اللغوية الكبيرة متعددة اللغات مع الحفاظ على الدلالات بعبء حوسبي ضئيل.

المؤلفون الأصليون: Andrey Goncharov, Nikolai Kondusov, Alexey Zaytsev

نُشر 2026-04-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Andrey Goncharov, Nikolai Kondusov, Alexey Zaytsev

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة: "المترجم المرتبك"

تخيل أنك وظفت مترجماً لكتابة قصة باللغة الإسبانية بالكامل. أعطيته تعليمات واضحة: "اكتب هذه القصة بالإسبانية فقط".

ومع ذلك، في منتصف القصة، يبدأ المترجم فجأة في إقحام كلمات إنجليزية. "Hola, I am very happy to see you today..."

يُسمى هذا "التبديل اللغوي غير المقصود" (unintended code-switching). يحدث هذا مع نماذج الذكاء الاصطناي الحديثة (نماذج اللغات الكبيرة) طوال الوقت. فحتى عندما تطلب منه استجابة بلغة واحدة، قد يرتبك الذكاء الاصطناي أحياناً ويمزج كلمات من لغة أخرى (عادةً الإنجليزية). هذا يكسر تدفق النص، ويربك المستخدم، ويجعل الذكاء الاصطناعي يبدو غير موثوق به.

الحل القديم: "عملية ترميم شاملة"

في السابق، إذا أردت إصلاح مترجم يستمر في خلط اللغات، كان عليك إرساله للعودة إلى المدرسة لشهور. كان عليك إعادة تدريبه على آلاف الكتب الجديدة، لتعليمه الالتزام الصارم بلغة واحدة. كانت هذه العملية مكلفة، بطيئة، وتتطلب الكثير من البيانات.

الحل الجديد: "البوصلة الخفية"

وجد مؤلفو هذه الورقة البحثية طريقة أذكى وأرخص بكثير. لم يعيدوا تدريب الذكاء الاصطناي، بل وجدوا طريقة لتوجيه "عقل" الذكاء الاصطناي برفق أثناء تفكيره.

تخيل عقل الذكاء الاصطناي الداخلي (الفضاء الكامن - latent space) كخريطة عملاقة متعددة الأبعاد:

الخريطة: كل كلمة يفكر فيها الذكاء الاصطناي لها موقع محدد على هذه الخريطة.
المشكلة: في هذه الخريطة، قد تكون المواقع الخاصة بـ "اللغة الإنجليزية" و"اللغة الإسبانية" قريبة جداً من بعضها البعض، أو قد يتوه الذكاء الاصطناي وينجرف نحو الإنجليزية.

اكتشف الباحثون أنه إذا نظرت إلى عقل الذكاء الاصط�، ستجد خطاً (أو محوراً) غير مرئي يفصل بين "الأفكار الإنجليزية" و"الأفكاء الإسبانية". الأمر يشبه خطاً مستقيماً مرسوماً على خريطة يقول: "كل شيء على اليسار هو إنجليزي، وكل شيء على اليمين هو إسباني".

كيف يعمل الأمر: "توجيه المتجهات" (Vector Steering)

إليك العملية خطوة بخطوة، باستخدام تشبيه نظام تحديد المواقع (GPS):

رسم معالم المنطقة: أخذ الباحثون بعض الجمل البسيطة التي تعني الشيء نفسه تماماً بلغات مختلفة (على سبيل المثال: "The cat is on the mat" بالإنجليزية، والإسبانية، والروسية، إلخ). أدخلوا هذه الجمل في الذكاء الاصطناي ليروا أين "يضع" الذكاء الاصطناي هذه الأفكار على خريطته الداخلية.
إيجاد الخط: باستخدام أداة رياضية تسمى PCA (تحليل المكونات الرئيسية)، وجدوا الخط المستقيم الوحيد الذي يفصل بين اللغات بأفضل شكل ممكن. الأمر يشبه العثور على الطريق السريع الرئيسي الذي يفصل بين بلدين.
الدفعة (التوجيه): عندما يبدأ الذكاء الاصطناي في توليد جملة ويبدأ في الانجراف نحو "اللغة الخاطئة" (على سبيل المثال، بدأ يفكر في كلمة إنجليزية بينما يجب أن يكون باللغة الإسبانية)، يقوم النظام بتطبيق دفعة رياضية صغيرة.
- تخيل الذكاء الاصطآي كسيارة تسير على طريق.
- "اللغة الخاطئة" هي رياح قوية تهب لتخرج السيارة عن مسارها.
- "التوجيه" هو يد خفية وغير مرئية على عجلة القيادة تدفع السيارة للعودة إلى المسار الصحيح.
- الأهم من ذلك: هذا يحدث لحظياً أثناء تفكير الذكاء الاصطناي. لا يتطلب الأمر إعادة تدريب، بل مجرد عملية حسابية سريعة لكل كلمة.

النتائج: هل هي خدعة سحرية؟

اختبر الباحثون هذا الأسلوب على نماذج ذكاء اصطناي شهيرة (Qwen و Llama) مع لغات مثل الإنجليزية، الإسبانية، الروسية، الصينية، والهندية.

الدقة: تمكنوا من التنبؤ باللغة التي يفكر بها الذكاء الاصطناي بدقة تتراوح بين 95-99% بمجرد النظر إلى ذلك "الخط" الواحد في العقل.
معدل النجاح: نجحوا في تقليل "خلط" اللغات بنسبة تتراوت بين 63% إلى 99%.
السرعة: كان الأمر سريعاً للغاية. لم يصبح الذكاء الاصطناي أبطأ، بل أصبح فقط أكثر تركيزاً.

العقبة: مشكلة "الإفراط في التوجيه"

هناك جانب سلبي صغير، يشبه لف عجلة القيادة بقوة شديدة.

إذا دفعت الذكاء الاصطناي برفق شديد، فسيظل يخلط اللغات.
إذا دفعته بقوة مفرطة، سيصاب الذكاء الاصطناي بالارتباك ويبدأ في تكرار نفسه أو قول كلام غير مفهوم (مثل سيارة تدور حول نفسها بلا جدوى).
وجد الباحثون أنه يجب أن تكون دقيقاً جداً في مقدار قوة الدفع. إنه توازن دقيق بين "الحفاظ على نقاء اللغة" و"الحفاظ على سلاسة الجملة".

لماذا هذا مهم؟

هذا أمر بالغ الأهمية لأنه يثبت أن نماذج الذكاء الاصطناي تمتلك بنية داخلية بسيطة يمكننا استخدامها للتحكم بها.

لا إعادة تدريب: لا تحتاج إلى حاسوب خارق أو شهور من الوقت لإصلاح مشكلة محددة.
خفيف الوزن: الأمر يشبه وضع مرشح (فلتر) على عدسة الكاميرا بدلاً من إعادة بناء الكاميرا بالكامل.
إمكانات مستقبلية: يمكن أن يساعد هذا في بناء روبوتات دردشة لا تخلط اللغات أبداً، مما يجعلها أكثر موثوقية لخدمة العملاء، والتعليم، والاستخدام اليومي.

باختصار: وجد الباحثون "المفتاح السري" داخل عقل الذكاء الاصطناي الذي يتحكم في اللغة. وبدلاً من إعادة بناء الذكاء الاصطناي، هم فقط يقلبون ذلك المفتاح لإبقاء الذكاء الاصطناي يتحدث اللغة التي طلبتها، دون أي خلط فوضوي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "توجيه اللغة في الفضاء الكامن للتخفيف من التبديل اللغوي غير المقصود" من إعداد غونشاروف، كوندوسوف، وزايتسيف.

1. بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) متعددة اللغات بشكل متكرر من التبديل اللغوي غير المقصود (unintended code-switching)، حيث يولد النموذج رموزاً (tokens) بلغة أخرى غير اللغة المستهدفة رغم وجود تعليمات أحادية اللغة صريحة.

الأثر: يؤدي هذا السلوك إلى تدهور ثقة المستخدم (على سبيل المثال، تحول بوت خدمة العملاء الإسباني إلى الإنجليزية في منتصف الاستجابة) ويعمل كمتجه لتجاوز فلاتر الأمان.
القيود الحالية: تعتمد الحلول الموجودة على الضبط الدقيق (fine-tuning) المكلف على بيانات أحادية اللغة، أو التعلم التعزيزي مع مكافآت محددة، أو هندسة الأوامر (prompt engineering) الهشة. غالباً ما تسبب هذه الطرق تأخراً كبيراً في زمن الاستجابة (latency) أو أعباء حوسبية إضافية.

2. المنهجية: توجيه اللغة في الفضاء الكامن

يقترح المؤلفون طريقة خفيفة الوزن وتتم أثناء الاستنتاج (inference-time) تتلاعب بالتمثيلات الداخلية للنموذج دون الحاجة إلى ضبط دقيق. الفرضية الأساسية هي أن الهوية اللغوية مشفرة في فضاءات فرعية خطية منخفضة الأبعاد داخل الفضاء الكامن للنموذج.

أ. تحديد اتجاه اللغة

البيانات: تستخدم الطريقة مجموعة نصوص متوازية (مثل Flores Plus) تحتوي على جمل متكافئة دلالياً بلغات مختلفة.
الاستخراج: يتم استخراج الحالات الخفية ( $h$ ) من موضع الرمز الأخير للجمل عبر جميع طبقات النموذج اللغوي الكبير المدرب مسبقاً.
تحليل المكونات الرئيسية (PCA): يتم تطبيق تحليل المكونات الرئيسية على التضمينات المركزية (centered embeddings) لكل طبقة.
- النتيجة الرئيسية: عندما يكون المحتوى الدلالي ثابتاً، تصبح الهوية اللغوية هي المصدر المهيمن للتباين.
- النتيجة: يلتقط المكون الرئيسي الأول ( $v^{(\ell)}$ ) "اتجاه اللغة"، مما يفصل اللغات بفعالية في الفضاء الشعاعي.

ب. آلية التوجيه

تطبق الطريقة إسقاطاً خطياً لتوجيه الحالة الخفية بعيداً عن اتجاه اللغة المصدر ونحو اللغة المستهدفة.

الطبقات المستهدفة: يظهر التحليل التجريبي أن الهوية اللغوية تتركز في الطبقات النهائية من الشبكة. يتم تطبيق التوجيه فقط على هذه الطبقات (على سبيل المثال، الطبقتان 27-28 في Qwen2.5-1.5B؛ والطبقتان 15-16 في Llama-3.2-1B).
العملية: يتم حساب الحالة الخفية المعدلة $\tilde{h}_t^{(\ell)}$ $\tilde{h}_{t}^{(ℓ)}$ للحالة الخفية للرمز $h_t^{(\ell)}$ $h_{t}^{(ℓ)}$ كالتالي:
$\tilde{h}_t^{(\ell)} = h_t^{(\ell)} - s \left( h_t^{(\ell)} \cdot v^{(\ell)} \right) v^{(\ell)}$
- $s$ : معامل قوة التوجيه.
- إذا كان $s=1$ ، فهو إسقاط متعامد (إزالة مكون اللغة).
- إذا كان $|s| > 1$ ، فإنه يدفع التمثيل بشكل نشط بعيداً عن اتجاه اللغة المصدر (التوجيه المضاد).
الأعباء الإضافية: ضئيلة جداً. تتطلب فقط عملية ضرب نقطي واحدة وطرح متجه واحد لكل رمز.

ج. التنبؤ باللغة

يحقق مصنف الانحدار اللوجستي البسيط، المدرب على إسقاطات المكون الرئيسي الأول، دقة تقترب من الكمال (95-99%)، مما يؤكد أن الهوية اللغوية قابلة للفصل خطياً في الطبقات النهائية.

3. المساهمات الرئيسية

منهجية مبتكرة: تقديم تقنية توجيه رخيصة الثمن تتم أثناء الاستنتاج وتتطلب فقط ترجمات متوازية للمعايرة.
رؤية هندسية: إثبات أن الهوية اللغوية في النماذج اللغوية الكبيرة متعددة اللغات تتبلور في الطبقات النهائية مع قابلية فصل خطي شبه مثالية، بينما تركز الطبقات المبكرة على الدلالات.
الأداء: التحقق التجريبي عبر نماذج Qwen2.5 و Llama-3.2، مما أظهر انخفاضاً كبيراً في التبديل اللغوي دون تدهور دلالي.
كفاءة الموارد: تتطلب الطريقة حداً أدنى من البيانات المتوازية وتدخل عبئاً حوسبياً ضئيلاً مقارنة بالضبط الدقيق.
المصدر المفتوح: إصدار الكود والبيانات لتسهيل المزيد من الأبحاث.

4. النتائج التجريبية

تم تقييم النهج على Qwen2.5-1.5B و Llama-3.2-1B عبر أربعة أزواج لغوية (الإنجليزية-الإسبانية، الإنجليزية-الروسية، الإنجليزية-الصينية، الإنجليزية-الهندية).

أ. المقاييس التوزيعية (التنبؤ بالرمز التالي)

تباعد KL: قلل التوجيه من التباعد بين النموذج الموجه وخط الأساس الإنجليزي بنسبة 25-55% (المتوسط ~40%).
- الأفضل: الإنجليزية-الصينية على Qwen (انخفاض بنسبة 55%).
- الأسوأ: الإنجليزية-الهندية (انخفاض بنسبة 24-27%)، ويرجع ذلك على الأرجوت إلى عدم التماثل في التقطيع (tokenization).
تداخل الرموز: زاد تداخل أعلى 50 رمزاً مع الخط المرجعي الإنجليزي بشكل كبير (على سبيل المثال، من ~4% إلى ~26% للإنجليزية-الصينية على Qwen).
دقة المصنف: حقق مصنف أحادي البعد يعتمد على إسقاطات PCA دقة تتراوح بين 96-100% في تحديد اللغة.

ب. مقاييس قائمة على التوليد (Llama-3.2-1B)

مؤشر التبديل اللغوي (CSI): قلل التوجيه من نسبة الرموز غير المستهدفة بنسبة 63-99% عبر الأزواج اللغوية.
- مثال: انخفض مؤشر CSI للإنجليزية-الروسية من 0.59 (بدون توجيه) إلى 0.02 (مع توجيه).
اتساق اللغة المستهدفة (TLC): حقق اتساقاً > 0.77 عبر جميع الأزواج، مع وصول بعضها إلى 0.99.
الدلالة الإحصائية: كانت جميع التحسينات ذات دلالة إحصائية ( $p < 0.001$ ).

ج. حساسية المعامل

تم إيجاد معاملات التوجيه المثلى عبر البحث الشبكي (grid search).
الهشاشة: المعاملات حساسة للغاية. القيم العدوانية (مثل $|s| > 5$ ) تقضي فعلياً على التبديل اللغوي ولكنها قد تسبب تكراراً تدهورياً (على سبيل المثال، تكرار "first year" إلى ما لا نهاية).
الاتجاه: تطلبت معظم الأزواج معاملات سالبة (الدفع بعيداً عن المصدر)، لكن الإنجليزية-الهندية على Qwen تطلبت معاملًا موجباً، مما يشير إلى عكس اتجاه PCA بسبب الاختلافات في الكتابة والتقطيع.

5. الأهمية والقيود

الأهمية:

يوفر بديلاً خفيف الوزن للضبط الدقيق للتحكم في اللغة في النماذج اللغوية الكبيرة متعددة اللغات.
يؤكد فرضية أن المفاهيم عالية المستوى (مثل الهوية اللغوية) يمكن الوصول إليها خطياً في الشبكات العصبية العميقة، مما يدعم مجال "التفسير الآلي" (mechanistic interpretability).
يقدم حلاً عملياً للأنظمة المنشورة حيث يكون الضبط الدقيق مكلفاً للغاية أو حساساً لزمن الاستجابة.

القيود:

المقايضة بين السلاسة والتحكم: التوجيه العدواني يلغي التبديل اللغوي ولكنه يخاطر بتوليد نصوص مكررة أو تدهورية.
حجم النموذج: اقتصرت التجارب على النماذج الصغيرة (1-1.5 مليار معلمة)؛ ولم يتم التحقق من الأداء على النماذج الأكبر.
تحيز البيانات: اعتمد التقييم على النصوص الرسمية (محاضرات TED، Flores). لم يتم اختبار التبديل اللغوي في المحادثات الطبيعية أو الحدود الصرفية والنحوية بشكل كامل.
تغطية اللغات: اقتصرت على اللغات الهندوأوروبية والصينية؛ وأظهرت اللغات ذات الموارد المنخفضة والمتباعدة نمطياً (مثل اللغات الإلصاقية أو النغمية) نتائج أضعف.
المعايرة: تتطلب المعاملات المثلى حالياً بحثاً شبكياً يدوياً لكل زوج لغوي؛ ولم يتم تطوير طرق اختيار تكيفية بعد.

الخاتية

تثبت الورقة أن توجيه اللغة في الفضاء الكامن هو طريقة فعالة للغاية ومنخفضة التكلفة الحوسبية للتخفيف من التبديل اللغوي غير المقصود. من خلال استغلال الهندسة الخطية لتمثيلات اللغة في الطبقات النهائية للنماذج اللغوية الكبيرة، حقق المؤلفون تصنيفاً لغوياً يقترب من الكمال وانخفاضاً كبيراً في التبديل اللغوي، رغم أن موازنة هذا التحكم مع سلاسة التوليد تظل تحدياً للعمل المستقبلي.