💬 NLP

Indic-TunedLens: Interpreting Multilingual Models in Indian Languages

تقدم الورقة البحثية Indic-TunedLens، وهو إطار عمل جديد لقابلية التفسير يستخدم تحويلات تآلفية مشتركة لمحاذاة الحالات الخفية مع توزيعات اللغات الهندية المستهدفة، مما يحسن بشكل كبير من فك تشفير تمثيلات النماذج اللغوية الكبيرة متعددة اللغات عبر عشر لغات متنوعة مقارنة بالأساليب الحالية.

المؤلفون الأصليون: Mihir Panchal, Deeksha Varshney, Mamta, Asif Ekbal

نُشر 2026-02-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mihir Panchal, Deeksha Varshney, Mamta, Asif Ekbal

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً عبقرياً متعدد اللغات (النموذج الذكي) يمكنه طهي وجبات لذيذة بعشر لغات هندية مختلفة. ومع ذلك، هناك مشكلة: "كتاب الوصفات" الداخلي للطباخ وطريقة تفكيره في المكونات مكتوبة بالكامل باللغة الإنجليزية.

عندما يفكر الطباخ في "كاري حار"، يستحضر دماغه أولاً المفهوم الإنجليزي لكلمة "حار" (spicy)، ثم يحاول ترجمتها إلى الهندية أو التاميلية أو البنغالية. هذا يعمل بشكل جيد في الأطباق البسيطة، ولكن عندما تطلب منه طهي وجبة تقليدية معقدة تحتوي على العديد من التوابل المحددة (وهذا يشبه القواعد اللغوية وهياكل الكلمات الغنية للغات الهندية)، تصبح الترجمة فوضوية. قد يرتبك الطباخ، أو يسقط بعض المكونات، أو يقدم طبقاً يبدو كأنه مزيج من كل شيء ولكن لا يشبه أي شيء محدد.

المشكلة: "المترجم المتحدث بالإنجليزية"

صنع العلماء أداة تسمى Logit Lens (أو العدسة المضبوطة) تعمل كنافذة تطل على عقل الطباخ. وهي تتيح لنا إلقاء نظرة على ما يفكر فيه الطباخ في كل خطوة من عملية الطهي.

ولكن العيب هو أن: النافذة الحالية مصممة للمطابخ الإنجليزية.

عندما تستخدم هذه "النافذة الإنجليزية" للنظر إلى الطباخ وهو يطهو بالهندية أو التاميلية، تكون الرؤية ضبابية.
"المترجم" داخل النافذة يستمر في محاولة فرض الأفكار الهندية في قوالب إنجليزية.
والنتيجة هي أن النافذة تظهر فوضى عارمة من الارتباك العالي (الاعتلاج/الإنتروبيا العالية) والتخمينات الخاطئة، خاصة في المراحل الأولى من الطهي. الأمر يشبه محاولة قراءة كتاب مكتوب بخط "ديفاناغاري" من خلال نظارات تركز فقط على الحروف اللاتينية.

الحل: Indic-TunedLens

قام مؤلفو هذه الورقة البحثية ببناء نافذة جديدة مخصصة تسمى Indic-TunedLens.

فكر في الأمر بهذه الطريقة:

النافذة القديمة (Logit Lens): تنظر إلى عقل الطباخ فترى كلمات إنجليزية تطفو حوله، حتى وهو يحاول التحدث بالهندية. الأمر يشبه مشاهدة فيلم بترجمة نصية خاطئة.
النافذة الجديدة (Indic-TunedLens): هذه النافذة قد تم "ضبطها" خصيصاً للغات الهندية. لقد تعلمت الأشكال والإيقاعات والهياكل الفريدة للغات مثل الهندية والتاميلية والبنغالية.

بدلاً من فرض أفكار الطباخ على القالب الإنجليزي، تقوم هذه العدسة الجديدة بضبط الرؤية لتناسب اللغة التي يتم التحدث بها. فهي تتعلم "مفتاح ترجمة" خاصاً (تحويلاً تآلفياً/affine transformation) يربط أفكار الطباخ الداخلية مباشرة بالكلمات الهندية الصحيحة.

ماذا حدث عندما جربوا ذلك؟

اختبر الباحثون هذه العدسة الجديدة على نموذج يسمى Sarvam-1 باستخدام 10 لغات هندية مختلفة. وإليكم ما وجدوه:

رؤية أوضح منذ البداية:
- مع العدسة الإنجليزية القديمة، كان عليك الانتظار حتى ينتهي الطباخ تقريباً من الطهي (حوالي الطبقة 20 من النموذج) قبل أن تتمكن من فهم ما يفكر فيه. قبل ذلك، لم يكن الأمر سوى ضجيج.
- مع Indic-TunedLens، يمكنك فهم أفكار الطباخ فوراً من الخطوة الأولى (الطبقة 1). يمكنك رؤيته وهو يختار التوابل الصحيحة ويفهم هيكل الوصفة على الفور.
ارتباك أقل:
- أظهرت العدسة القديمة رؤية "ضبابية" حيث بدا أن الطباخ غير متأكد مما سيفعله بعد ذلك.
- أظهرت العدسة الجديدة مساراً سلساً وواضحاً. فقد نمت ثقة الطباخ تدريجياً أثناء الطهي، تماماً كما يفعل البشر.
براعة أكبر في الأطباق المعقدة:
- اللغات الهندية "غنية صرفياً"، مما يعني أن الكلمات يتغير شكلها كثيراً بناءً على من يقوم بالفعل، ومتى، وأين (مثل إضافة العديد من اللواحق إلى الكلمة).
- عانت العدسة القديمة مع هذه الكلمات المعقدة. أما العدسة الجديدة فقد تعاملت معها ببراعة، حيث أظهرت بدقة كيف يقوم النموذج بتفكيك وإعادة بناء هذه الكلمات المعقدة طبقة تلو الأخرى.

لماذا يهم هذا الأمر؟

تخيل أنك طبيب تحاول فهم سبب مرض مريض ما. إذا كان جهاز الفحص الطبي الخاص بك يعمل جيداً فقط مع بنية جسدية واحدة، فقد تفوتك الإصابة في شخص لديه بنية جسدية مختلفة.

وبالمثل، إذا استخدمنا أدوات تعتمد على الإنجليزية لفهم نماذج الذكاء الاصطناعي في الهند، فنحن "عميان" عن كيفية تفكير هذه النماذج فعلياً عند التحدث باللغات الهندية. قد نعتقد أن الذكاء الاصطناعي مرتبك أو منحاز بينما هو في الواقع مجرد ضحية لسوء فهم أدواتنا له.

Indic-TunedLens هي بمثابة إعطاء الأطباء ماسحاً ضوئياً جديداً وعالمياً يعمل بشكل مثالي مع كل بنية جسدية. إنها تسمح للباحثين بـ:

الثقة في الذكاء الاصطناعي أكثر لأنهم يستطيعون حقاً رؤية كيف يفكر.
إصلاح الأخطاء بشكل أسرع لأنهم يستطيعون تحديد المكان الذي يرتبك فيه النموذج بالضبط.
بناء ذكاء اصطناعي أكثر عدلاً يحترم الجمال والتعقيد الفريد للغات الهندية، بدلاً من إجبارها على التكيف مع قالب إنجلي.

باختصار، تقول هذه الورقة البحثية: "لفهم ذكاء اصطناعي متعدد اللغات، لا يمكنك مجرد استخدام مترجم إنجليزي. أنت بحاجة إلى عدسة تتحدث لغة الناس الذين تحاول فهمهم."

إليك ملخص تقني مفصل لورقة البحث بعنوان "Indic-TunedLens: تفسير النماذج متعددة اللغات في اللغات الهندية".

1. بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) متعددة اللغات بشكل متزايد في مناطق متنوعة لغوياً مثل الهند. ومع ذلك، فإن أدوات التفسير الحالية (مثل Logit Lens وTuned Lens) مصممة أساساً للغة الإنجليزية وتفشل في التعميم بفعالية على اللغات الهندية بسبب عدة عوامل حاسمة:

الفضاءات الكامنة المتمحورة حول الإنجليزية: تشير الأبحاث إلى أنه حتى عند توليد مخرجات بلغات غير الإنجليزية، فإن النماذج اللغوية الكبيرة متعددة اللغات تعمل غالباً في فضاء تمثيل متمحور حول الإنجليزية، حيث تقوم بتنشيط تمثيلات الكلمات الإنجليزية قبل ترجمتها.
التباين اللغوي: تظهر اللغات الهندية خصائص بنيوية متميزة مقارنة بالإنجليزية، بما في ذلك الصرف الغني (أنظمة تصريف معقدة)، وترتيب الكلمات المرن، والسكربتات (الخطوط) الفريدة (مثل Devanagari وGurmukhi).
عدم تطابق الإسقاط: تطبق طرق التفسير القياسية تحويلاً أفينياً (affine transformation) واحداً (مدرب على الإنجليزية) لفك تشفير الحالات الخفية المتوسطة. وهذا يفشل في مواءمة التمثيلات الغنية صرفياً والمتنوعة تركيبياً للغات الهندية مع فضاء المفردات النهائي، مما يؤدي إلى ارتفاع عدم اليقين (الإنتروبيا) والتحليل الدلالي المجزأ في الطبقات المبكرة والمتوسطة.

2. المنهجية: Indic-TunedLens

يقترح المؤلفون Indic-TunedLens، وهو إطار عمل جديد للتفسير مصمم خصيصاً لسد الفجوة بين الحالات الخفية المتوسطة وتوزيعات المخرجات النهائية للغات الهندية.

الآلية الجوهرية: على عكس الـ Logit Lens القياسي (الذي يستخدم مصفوفة عدم التضمين المدربة مسبقاً مباشرة) أو الـ Tuned Lens القياسي (الذي يتعلم تحويلاً أفينياً واحداً)، يتعلم Indic-TunedLens تحويلات أفينية خاصة بكل لغة.
الصياغة الرياضية:
للطبقة $n$ من المحول (transformer) ذات الحالة الخفية $h_n$ ، يطبق إطار العمل مُترجماً مُتعلمًا يتكون من مصفوفة $M_n \in \mathbb{R}^{d \times d}$ ومتجه انحياز $b_n \in \mathbb{R}^d$ :
$\tilde{h}_n = M_n h_n + b_n$
ثم يتم تمرير الحالة المتحولة عبر رأس الطبقة النهائية للنموذج لإنتاج لوجيتات الرموز (token logits):
$\text{Indic-TunedLens}_n(h_n) = \text{LogitHead}(\tilde{h}_n)$
هدف التدريب: يتم تدريب إطار العمل لإعادة إنتاج توزيع احتمالية الرمز التالي للطبقة النهائية للنموذج الأساسي ( $p_{final}$ ). وهو يقلل من تباعد كولباك - ليبلر (KL divergence) بين توزيع الطبقة النهائية والتوزيع الذي يتنبأ به العدسة (lens) في الطبقات المتوسطة:
$\min_{M_n, b_n} \mathbb{E}_{h_n} [ D_{KL} ( p_{final}(x) \parallel \text{Indic-TunedLens}_n(h_n) ) ]$
البيانات والنموذج:
- النموذج الأساسي: Sarvam-1 (وهو نموذج لغوي كبير متعدد اللغات).
- اللغات: 10 لغات هندية (البنغالية، الإنجليزية، الغوجاراتية، الهندية، الكانادا، الماليالامية، الماراثية، البنجابية، النيبالية، التاميلية، التيلوغوية).
- مجموعات البيانات: تم التدريب على مجموعة بيانات Sangraha وتم التقييم على مجموعة فرعية متعددة اللغات من معيار MMLU.

3. المساهمات الرئيسية

تحديد مشكلة الإسقاط: تثبت الورقة أن فشل التفسير في اللغات الهندية هو في الأساس مشكلة إسقاط، وليس فشلاً في المعالجة الداخلية. تعالج النماذج المحتوى الدلالي بشكل صحيح، لكن عدسات المركزية الإنجليزية تفشل في فك تشفيره.
إطار عمل Indic-TunedLens: أول أداة تفسير لكل طبقة مصممة خصيصاً للنماذج متعددة اللغات في اللغات الهندية، باستخدام تحويلات أفينية مشتركة متكيفة مع الخطوط الهندية.
تقييم شامل: تقييم صارم عبر 10 لغات باستخدام معيار MMLU، مع تحليل دقة الطبقات، والإنتروبيا، وديناميكيات موقع الرمز.
رؤى لغوية: اكتشاف مسارات حوسبية خاصة بكل لغة، مما يكشف أن التحليل الصرفي والتركيب الدلالي يحدثان في أعماق مختلفة اعتماداً على البنية النمطية للغة (مثل اللغات الإلصاقية مقابل التحليلية).

4. النتائج الرئيسية

يُظهر التقييم أن Indic-TunedLens يتفوق بشكل كبير على الطرق المتمحورة حول الإنجليزية (Logit Lens وTuned Lens القياسي):

الدقة لكل طبقة والتفسير المبكر:
- Standard Tuned Lens: يُظهر دقة ضئيلة في الطبقات المبكرة (0–15) للغات الهندية (غالباً أقل من 0.02)، مع تحسينات ملحوظة تظهر فقط بعد الطبقة 20.
- Indic-TunedLens: يحقق تفسيراً فورياً من الطبقة 1. على سبيل المثال، يحقق دقة 0.13 للإنجليزية و0.11 للتيلوغوية في الطبقة الأولى، مع الحفاظ على دقة قوية (0.03–0.06) طوال الطبقات الوسطى.
تحليل الإنتروبيا (عدم اليقين):
- تنتج العدسات القياسية إنتروبيا عالية وغير منتظمة عبر الطبقات للغات الهندية، مما يشير إلى تمثيلات غير مستقرة.
- يُظهر Indic-TunedLens انخفاضاً منتظماً ومنهجياً في الإنتروبيا عبر الطبقات، مما يشير إلى تكثيف معلوماتي وتوافق تدريجي مع البنى اللغوية الهندية.
أداء التصنيف (Ranking):
- يضع Indic-TunedLens الرموز الصحيحة باستمرار في مراتب أعلى (أرقام رتب متوسطة أقل) عبر جميع الطبقات مقارنة بالنموذج المرجعي. على سبيل المثال، تُظهر الماليالامية تحسناً كبيراً، حيث انتقلت من رتب مرجعية ضعيفة إلى مرشحات من الفئة العليا باستمرار في وقت مبكر من عملية فك التشفير.
الحساسية الصرفية:
- يلتقط إطار العمل أنماطاً متميزة بناءً على الصرف. اللغات ذات الأنظمة التصريفية الغنية (مثل البنغالية، الهندية، النيبالية) تُظهر أقوى التحسينات في الطبقات الأولى (1–4)، وهو ما يتوافق مع التحليل الصرفي.
- اللغات الإلصاقية (مثل التاميلية، التيلوغوية) تُظهر مسارات معالجة تُغير التوزيع المكاني لخطوات الاستدلال بسبب تعقيد تقسيم الرموز (tokenization).

5. الأهمية والآثار المترتبة

ما وراء المركزية الإنجليزية: يثبت هذا العمل أن طرق التفسير لا يمكن أن تكون محايدة تجاه اللغة. يتطلب التفسير الفعال للنماذج متعددة اللغات عدسات "واعية للعائلة اللغوية" تحترم الاختلافات النمطية.
دمقرطة شفافية الذكاء الاصطناائي: من خلال تمكين فك التشفير الأمين للحالات المتوسطة في اللغات ذات الموارد المنخفضة والغنية صرفياً، تدعم هذه الأداة تطوير أنظمة ذكاء اصطناعي أكثر إنصافاً وموثوقية وجدارة بالثقة لشبه القارة الهندية.
نموذج منهجي: يوفر هذا النهج مخططاً لتوسيع التفسير ليشمل عائلات لغوية أخرى غير الإنجليزية ومعقدة صرفياً على مستوى العالم.
رؤية في بواطن النماذج: تشير النتائج إلى أن "عنق الزجاجة الحوسبي" لتفسير النماذج متعددة اللغات يكمن في آلية الإسقاط (العدسة)، وليس في المعالجة الداخلية للنموذج نفسه. يسمح التدريب المتخصص للباحثين بالوصول إلى حالات ذات معنى دلالي في مراحل أبكر بكثير داخل الشبكة.

التوفر: النموذج والبرمجيات متاحة للعموم على Hugging Face وGitHub، مما يسهل المزيد من الأبحاث في مجال التفسير اللغوي متعدد اللغات.