💬 NLP

LinguaMap: Which Layers of LLMs Speak Your Language and How to Tune Them?

تحدد ورقة "LinguaMap" أوجه قصور محددة في النماذج اللغوية الكبيرة متعددة اللغات فيما يتعلق بالتحكم في اللغة، وتكشف من خلال تحليل التفسيرية أن توليد اللغة الخاصة يتركز في الطبقات النهائية للنموذج، وتقترح استراتيجية ضبط دقيق انتقائية عالية الكفاءة تستهدف هذه الطبقات فقط لتحقيق اتساق لغوي شبه مثالي بأقل تكلفة حوسبية.

المؤلفون الأصليون: J. Ben Tamo, Daniel Carlander-Reuterfelt, Jonathan Rubin, Dezhi Hong, Mingxian Wang, Oleg Poliannikov

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: J. Ben Tamo, Daniel Carlander-Reuterfelt, Jonathan Rubin, Dezhi Hong, Mingxian Wang, Oleg Poliannikov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "LINGUAMAP" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "حارس النادي متعدد اللغات" الذي يصاب بالارتباك

تخيل أنك وظفت حارساً ذكياً جداً ومتعدد اللغات لنادي ما. هذا الحارس (نموذج الذكاء الاصطناعي) يمكنه فهم الأسئلة المعقدة بالإسبانية، والفرنسية، والهندية، واليابانية. إنه يعرف الإجابات على كل شيء.

لكن هنا تكمن المشكلة: عندما تسأله سؤالاً بالإسبانية، غالباً ما يجيب بالإنجليزية. أو إذا سألته سؤالاً مخادعاً يمزج بين الإنجليزية والإسبانية، فإنه يرتبك ويبدأ بالتحدث بالإنجليزية رغم أنك طلبت منه التحدث بالإسبانية.

يطلق الباحثون على هذا "التحكم في اللغة" (Language Control). فالذكاء الاصطناعي يعرف ماذا يقول، لكنه يواجه صعوبة في قول ذلك بـ اللغة الصحيحة.

التحقيق: إلقاء نظرة داخل "الدماغ"

أراد الباحثون معرفة: أين بالضبط في "دماغ" الذكاء الاصطناعي يحدث هذا التبديل اللغوي؟

لقد عاملوا الذكاء الاصطناعي كأنه مبنى متعدد الطوابب مكون من أكثر من 30 طابقاً (طبقات). واستخدموا "أشعة سينية" خاصة (تسمى Logit Lens و Hidden State Analysis) لرؤية ما يفكر فيه الذكاء الاصطناعي في كل طابق.

اكتشفوا "مسرحية من ثلاثة فصول" داخل الذكاء الاصطناعي:

البهو (الطبقات الأولى): بغض النظر عن اللغة التي تتحدث بها، يتم فحص الجميع وإدخالهم إلى "غرفة انتظار عالمية". هنا، يقوم الذكاء الاصطناعي بترجمة الإسبانية أو الفرنسية أو الهندية إلى "مساحة تفكير" مشتركة ومحايدة لغوياً. الأمر يشبه أن يتحدث الجميع شفرة سرية يفهمها الجميع.
غرفة الاجتماعات (الطبقات الوسطى): هذا هو المكان الذي يحدث فيه العمل الفعلي. يكتشف الذكاء الاصطناعي الإجابة على مسألتك الرياضية أو سؤال المعلومات العامة. هو لا يهتم باللغة هنا؛ هو يهتم فقط بالمنطق.
باب الخروج (الطبقات المتأخرة): هذه هي الخطوة الأخيرة قبل نطق الإجابة. وهنا تكمن المشكلة. يجب على الذكاء الاصطناعي أن يقرر: "حسناً، لدي الإجابة الآن، أحتاج لترجمتها مرة أخرى إلى الإسبانية".
- الفشل: في العديد من النماذج، يكون "باب الخروج" منحازاً للغة الإنجليزية. حتى لو سألته بالإسبانية، يفتح الباب وتتدفق الإنجليزية لأن الذكال الاصطناعي اعتاد التفكير بالإنجليزية.

الحل: "المُضبط الانتقائي"

عادةً، لإصلاح ذكاء اصطناعي معطل، عليك إعادة تدريبه بالكامل. تخيل لو أردت إصلاح صنبور مياه يسرب، ولكن كان عليك إعادة بناء المنزل بأكم له. هذا أمر مكلف وبطيء.

ابتكر الباحثون حيلة ذكية تسمى "الضبط الدقيق الانتقائي" (Selective Fine-Tuning).

التشبيه: بدلاً من إعادة بناء المنزل بأكمله، أدركوا أن التسريب موجود فقط عند "باب الخروج" (الطبقات الأخيرة).
الإصلاح: قاموا بتجميد "البهو" و"غرفة الاجتماعات" (حتى لا ينسى الذكاء الاصطناعي كيف يفكر أو يفهم). وأخذوا "مفك براغي" فقط إلى آخر 3 إلى 5 طبقات (باب الخروج) وقاموا بضبطها خصيصاً لتلتزم باللغة التي طلبتها.

النتائج: إصلاح معجز

اختبروا ذلك على نموذجين كبيرين من الذكاء الاصطناعي (Qwen و Bloom).

قبل الإصلاح: عندما يُسأل سؤالاً بالإسبانية، كان الذكال الاصطناعي يجيب بالإنجليزية بنسبة تتراوح بين 50 إلى 90% من الوقت.
بعد الإصلاح: أجاب الذكاء الاصطناعي باللغة الصحيحة بنسبة 98% من الوقت.
الجزء الأفضل: لم يضطروا إلا لتعديل 3% إلى 5% فقط من إجمالي قدرة دماغ الذكاء الاصطناعي. كان الأمر يشبه ضبط موجة الراديو بدلاً من استبدال الراديو بالكامل. أصبح الذكاء الاصطناعي ذكياً بنفس القدر في حل المشكلات، ولكنه أصبح الآن يتحدث اللغة التي تريدها بالفعل.

لماذا يهم هذا؟

ورقة البحث هذه تشبه الخريطة (ومن هنا جاء الاسم LinguaMap) التي توضح لنا أين يعيش التحكم في اللغة داخل الذكاء الاصطناعي.

لعالم التكنولوجيا: إنها تثبت أننا لسنا بحاجة لحرق ملايين الدولارات لإعادة تدريب نماذج الذكاء الاصطناعي الضخمة لجعلها تتحدث لغات مختلفة. نحن نحتاج فقط لتعديل نهاية العملية.
بالنسبة لك: هذا يعني أن مساعدي الذكاء الاصطناعي في المستقبل سيكونون أفضل بكثير في الاستماع إليك. إذا سألتهم بالهندية، سيجيبون بالهندية، ولن ينتقلوا إلى الإنجليزية لمجرد أن ذلك "أسهل" بالنسبة لهم.

باختصار: لم يكن الذكاء الاصطناعي معطلاً؛ بل كان لديه فقط عادة سيئة في التحدث بالإنجليزية عند مخرج الكلام. وجد الباحثون باب الخروج، وأصلحوا تلك العادة، ووفروا الكثير من الطاقة في القيام بذلك.

1. بيان المشكلة

على الرغم من التدريب المسبق متعدد اللغات المكثف، تفشل النماذج اللغوية الكبيرة (LLMs) بشكل متكرر في التحكم في اللغة—أي القدرة على توليد استجابات باللغة المستهدفة بدقة. حدد المؤلفون نمطين محددين للفشل:

عنق زجاجة الانتقال متعدد اللغات (Multilingual Transfer Bottleneck): يولد النموذج مخرجات باللغة الصحيحة ولكنه يفشل في حل المهمة الأساسية (غالباً لأنه لا يستطيع التفكير بتلك اللغة).
عنق زجاجة اتساق اللغة (Language Consistency Bottleneck): يحل النموذج المهمة بشكل صحيح ولكنه يولد المخرجات باللغة الخاطئة (عادةً الإنجليزية)، متجاهلاً قيد اللغة الخاص بالمستخدم.

يفترض البحث أن هذه الإخفاقات تنبع من انفصال بين كفاءة المهمة وآليات التحكم في اللغة داخل البنية الداخلية للنموذج، وهو ما يحركه غالباً التحيزات "المتمحورة حول الإنجليزية" (Anglocentric) في التدريب المسبق.

2. المنهجية

أ. إطار التقييم

صمم المؤلفون بروتوكول تقييم "صفر استباقي" (zero-shot) يتكون من أربعة سيناريوهات لعزل إخفاقات التحكم في اللغة عبر ثلاثة معايير (MMLU، MGSM، XQuAD) وست لغات (الإنجليزية، الفرنسية، الإسبانية، العربية، الهندية، اليابانية):

التلقين المباشر أحادي اللغة: التعليمات والمحتوى باللغة المستهدفة.
التلقين مختلط اللغات (Code-Switched): التعليمات/البيانات الوصفية بالإنجليزية، بينما محتوى المهمة باللغة المستهدفة.
تلقين الإجابة ثنائية اللغة: يتم توفير الإجابات الصحيحة بكل من اللغة المستهدفة والإنجليزية لاختبار تفضيل اللغة.
تلقين المشتتات الإنجليزية: يتم تضمين بدائل إنجليزية غير صحيحة لاختبار المقاومة تجاه تحيز اللغة المهيمنة.

ب. تحليل القابلية للتفسير

لفهم أين تحدث هذه الإخفاقات، استخدم المؤلفون تقنيتين للقابلية للتفسير:

تحليل عدسة اللوجيت (Logit Lens Analysis): قاموا بإسقاط الحالات الخفية المتوسطة عبر مصفوفة عدم التضمين (unembedding matrix) لفك تشفير "اللوجيتات الزائفة" عند كل طبقة. سمح لهم ذلك بتتبع احتمالية انتماء الرمز المولد للغة المستهدفة مقابل الإنجليزية طبقة تلو الأخرى.
تشابه الحالة الخفية (Hidden State Similarity): قاموا بحساب تشابه جيب التمام (cosine similarity) بين الحالات الخفية للمطالبات المتكافئة دلالياً بالإنجليزية وباللغات الأخرى. قاس هذا مدى توافق التمثيلات عبر اللغات عند أعماق مختلفة.

ج. الحل المقترح: الضبط الدقيق الانتقائي

بناءً على نتائجهم، اقترح المؤلفون الضبط الدقيق الانتقائي للطبقات (Layer-wise Selective Fine-Tuning). فبدلاً من ضبط النموذج بأكج، افترضوا أن الطبقات النهائية المسؤولة عن التوليد الخاص باللغة هي فقط التي تحتاج إلى التعديل.

الاستراتيجية: تجميد جميع المعلمات باستثناء آخر $k$ من الطبقات (عادةً آخر 1–3 طبقات).
التدريب: ضبط هذه الطبقات فقط باستخدام مجموعة بيانات صغيرة مركزة على المجال (مجموعة MMLU للأعمال) باستخدام مسارات استدلال "سلسلة الأفكام" (chain-of-thought) المتوافقة مع اللغة المستهدفة.
الهدف: تعزيز اتساق اللغة دون تعطيل التوافق الدلالي وقدرات الاستدلال المتعلمة في الطبقات الوسطى المجمدة.

3. النتائج الرئيسية والمساهمات

أ. البنية الداخلية ثلاثية المراحل

كشف تحليل القابلية للتفسير عن بنية ثلاثية المراحل متسقة في النماذج اللغوية الكبيرة متعددة اللغات (تحديداً Qwen-3-32B و BLOOM-7.1B):

المحاذاة الدلالية (الطبقات المبكرة): يتم تطبيع المدخلات من لغات مختلفة في فضاء دلالي مشترك ومحايد لغوياً. يكون التشابه في الحالة الخفية عبر اللغات مرتفعاً هنا.
استدلال المهمة (الطبقات الوسطى): يقوم النموذج بعملية الاستدلال. في النماذج المتمحورة حول الإنجليزية، غالباً ما تظل هذه المرحلة منحازة نحو التمثيلات الإنجليزية حتى عندما تكون المدخلات بلغة غير الإنجليزية.
التحكم في مخرجات اللغة (الطبقات المتأخرة): ينحرف النموذج نحو التوليد الخاص بلغة معينة. هنا يحدث "التحول اللغوي".
- ملاحظة: في نماذج مثل Qwen، يحدث التحول إلى توليد اللغة المستهدفة في مرحلة متأخرة جداً (مثلاً بعد الطبقة 55 في نموذج مكون من 60 طبقة) ويكون هشاً. في BLOOM، يكون التحول أبكر ولكنه يظهر تبايناً عالياً.

ب. تشخيص أنماط الفشل

Qwen-3-32B: يتفوق في دقة المهمة ولكنه يعاني من انخفاض حاد في اتساق اللغة (غالباً أقل من 10%) تحت تأثير المطالبات مختلطة اللغات أو المشتتات. يميل إلى "التفكير" في تمثيلات إنجليزية والعودة إلى المخرجات الإنجليزية افتراضياً.
BLOOM-7.1B: يحافظ على اتساق لغوي أعلى ولكنه يفشل بشكل كبير في دقة المهمة، مما يشير إلى أنه يعاني في عمق الاستدلال متعدد اللغات.

ج. فعالية الضبط الدقيق الانتقائي

نجح الأسلوب المقترح في فصل التحكم في اللغة عن استدلال المهمة:

الأداء: في Qwen-3-32B و BLOOM-7.1B، حقق الضبط الدقيق الانتقائي لآخر 1–3 طبقات فقط (3–5% من المعلمات) اتساقاً لغوياً بنسبة >98% عبر جميع اللغات الست وأنواع المطالبات.
الكفاءة: هذا الأداء يكاد يكون متطابقاً مع الضبط الدقيق كامل النطاق (الذي يحدث 100% من المعلمات) ولكنه يتطلب جزءاً ضئيلاً من الموارد الحسابية.
الاستقرار: حافظت الطريقة على دقة المهمة (على عكس اختيار الطبقات العشوائي الذي تسبب في فشل كارثي) ولم تؤثر سلباً على المحاذاة الدلالية في الطبقات الوسطى المجمدة، كما أكد تحليل تشابه الحالة الخفية بعد الضبط.

4. ملخص النتائج

اتساق اللغة: تحسن من <20% (غالباً أرقام أحادية تحت التلقين المختلط) إلى >98% لكلا النموذجين.
دقة المهمة: تم الحفاظ عليها أو تحسينها قليلاً لـ Qwen-3-32B (على سبيل المثال، ظلت دقة MGSM عالية)، بينما شهد BLOOM مكاسب طفيفة لكنه ظل محدوداً بقدرته على الاستدلال.
كفاءة المعلمات: حقق أداء الضبط الكامل عبر تحديث 3–5% فقط من معلمات النموذج.

5. الأهمية

رؤية ميكانيكية: يقدم البحث أول دليل تجريبي على أن التحكم في اللغة يتركز في الطبقات النهائية للنماذج اللغوية الكبيرة، وهو منفصل عن طبقات الاستدلال الدلالي. وهذا يتحدى فكرة أن التكيف متعدد اللغات يتطلب إعادة تدريب النموذج بالكامل.
التكيف الفعال: يوفر حلاً عملياً ومنخفض التكلفة لنشر النماذج اللغوية الكبيرة متعددة اللغات. يمكن للمؤسسات تحقيق تحكم لغوي قوي دون التكلفة الباهظة للضبط الدقيق كامل النطاق.
أداة تشخيصية: يعمل إطار "LinguaMap" كأداة تشخيصية لتحديد ما إذا كان فشل النموذج ناتجاً عن عجز في الاستدلال (الطبقات الوسطى) أم عجز في التحكم في اللغة (الطبقات المتأخرة)، مما يوجه التدخلات المستهدفة.

في الختام، يثبت LinguaMap أن النماذج اللغوية الكبيرة متعددة اللغات تمتلك بنية داخلية نمطية حيث يمكن عزل التحكم في اللغة وضبطه بشكل مستقل، مما يسمح بتكيف فعال وفعال للتنوع اللغوي العالمي.