How Far Can a Single Vector Carry a Language? Mechanistic Limits of Inference-Time Steering for Low-Resource Devanagari Languages
تتقصى هذه الورقة الحدود الميكانيكية للتوجيه أثناء الاستدلال لتوليد لغات ديفاناغاري قليلة الموارد (الميثيلي، والنيبالية، والبوهجورية) باستخدام تمثيلات اللغة الهندية في النماذج اللغوية الكبيرة متعددة اللغات، حيث وجدت أنه بينما يمكن لإزاحة متجه واحدة أن تحفز الالتزام باللغة المستهدفة، إلا أنها تؤدي حتماً إلى انهيار الطلاقة، مما يكشف أن القدرة على التوجيه مقيدة بالانفصال الخطي بدلاً من كفاءة النموذج أو تداخل المفردات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة المحركات الكامنة وراء العديد من الأدوات الحديثة التي تكتب وتترجم وتتحاور بعشرات اللغات البشرية. تُدرب هذه الأنظمة على كميات هائلة من النصوص، حيث تتعلم التنبؤ بالكلمة التالية في الجملة من خلال التعرف على الأنماط في كيفية ترابط الكلمات معاً. ورغم قوتها الهائلة، إلا أنها تأتي مع قائمة مدمجة من اللغات التي تدعمها رسمياً. فإذا كانت اللغة غير موجودة في تلك القائمة، غالباً ما يعاملها النموذج كأنها غير معروفة، حتى لو كانت تشترك في نفس الأبجدية والعديد من الكلمات مع لغة يعرفها بالفعل. لطالما تساءل الباحثون عما إذا كان بإمكانهم دفع هذه النماذج للتحدث بلغة غير مدعومة دون إعادة تدريبها من الصفر. وبدلاً من تعليم النموذج حقائق جديدة، جربوا نهجاً مختلفاً: البحث عن "اتجاه" محدد داخل الرياضيات الداخلية للنموذج يشير نحو اللغة المفقودة. تعتمد هذه الفكرة على مفهوم أن فهم النموذج للغات المختلفة يوجد في شكل مسارات أو أشكال متميزة داخل دماغه الرقمي، وربما يمكن لدفعة واحدة أن تنقل مخرجاته من مسار إلى آخر.
وضع فريق من الباحثين هدفاً لاختبار حدود هذه الفكرة باستخدام أربع لغات تشترك في خط "ديفاناغاري"، وهو نظام كتابة مستخدم في جميع أنحاء جنوب آسيا. تعد اللغة الهندية لغة رئيسية مدعومة في معظم النماذج الكبيرة، بينما تعتبر لغات "الميثيلي" و"النيبالية" و"البوجبورية" لغات "شقيقة" وثيقة الصلة بها، وغالباً ما تُستبعد من القوائم الرسمية رغم تحدث الملايين بها. طرح الباحثون سؤالاً بسيطاً ولكنه عميق: إذا أخذوا فهم النموذج الداخلي للغة الهندية وحاولوا دفعه نحو إحدى هذه اللغات الشقيقة غير المدعومة باستخدام دفعة رياضية واحدة، فإلى أي مدى يمكنهم الوصول؟ لم يقوموا بتغيير أوزان النموذج أو تغذيته ببيانات جديدة، بل قاموا بدلاً من ذلك بتحليل سلوك النموذج أثناء معالجته للنص، وحددوا "المركز" المتوسط لكيفية تمثيله للغة الهندية، وقارنوه بمركز اللغة المستهدفة. خلق الفرق بين هذين المركزين "متجهاً" (vector)، وهو اتجاه ثابت في الفضاء الداخلي للنموذل. وخلال عملية توليد النص، أضافوا هذا الاتجاه إلى تدفق المعلومات في النموذج، آملين في توجيه المخرجات بعيداً عن الهندية ونحو اللغة المستهدفة.
اكتشف الباحثون أن البنية الداخلية للنموذج تشبه الساعة الرملية. في بداية معالجته، تكون تمثيلات اللغات المختلفة متميزة. ومع انتقال المعلومات إلى عمق الشبكة، تندمج هذه المسارات في جوهر مشترك وعام حيث تصبح اللغات غير قابية للتمييز. وبالقرب من النهاية، وقبل أن ينتج النموذج كلماته النهائية، تنفصل المسارات مرة أخرى. ومن المثير للدهشة أن الباحثين وجدوا أنهم استطاعوا توجيه النموذج نحو اللغة المستهدفة بنجاح فقط خلال القسم الأوسط من هذه الرحلة، بينما كانت اللغات في طور الاندماج. وبمجرد أن بدأت المسارات في الانفصال مرة أخرى بالقرب من المخرجات، لم يكن للدفعة أي تأثير. كان هذا أمراً منافياً للمنطق، إذ قد يتوقع المرء أن النقطة التي تكون فيها اللغات أكثر اختلافاً هي الأسهل للتبديل بينهما، ولكن بدلاً من ذلك، كان النموذج أكثر استجابة للدفعة عندما كانت اللغات أكثر اختلاطاً وامتزاجاً.
عندما طبقوا تقنية التوجيه هذه، كانت النتائج مزيجاً من النجاح والفشل. استطاع النموذج أن يُدفع لإنتاج نص يستخدم المفردات وعلامات القواعد الصحيحة للغة المستهدفة، مثل اللغة النيبالية. وفي اختبار محدد، حقق النموذج درجة عالية في التحدث باللغة المستهدفة، وصولاً إلى مستوى يمكن فيه لمقيم بشري أن يتعرف عليها كأنها نيبالية في الغالب. ومع ذلك، جاء هذا النجاح بتكلفة باهظة؛ فكلما دُفع النموذج بقوة أكبر للتحدث باللغة الجديدة، فقد قدرته على التحدث بطلاقة. بدأ النص يكرر نفسه، حيث يدور في حلقات مفرغة حول نفس الكلمات أو العبارات، وأصبحت الجمل مكسرة. وجد الباحثون أنه لا توجد إعدادات يمكن للنموذج من خلالها التحدث باللغة المستهدفة بطلاقة وصحة في آن واحد. استطاعت الدفعة تغيير الهوية السطحية للغة، مما يجعلها تبدو كالنيبالية، لكنها لم تستطع استعادة التدفق الطبيعي والتماسك الذي يميز المتحدث الطليق.
ولضمان أن هذا لم يكن مجرد صدفة أو خدعة خاصة بنموذج معين، قارن الفريق نتائجهم بطريقة مختلفة تسمى "التحفيز عبر أمثلة قليلة" (few-shot prompting)، حيث يعرضون ببساة أمثلة على اللغة المستهدفة قبل الطلب منه الكتابة. سمحت هذه الطريقة البديلة للنموذج بإنتاج نصوص سلسة وطبيعية في اللغات المستهدفة، مما أثبت أن النموذج يمتلك بالفعل القدرة على التحدث بها. أكد هذا أن فشل طريقة التوجيه لم يكن بسبب نقص المعرفة لدى النموذج، بل كان نتيجة لمحدودية استخدام دفعة واحدة مستقيمة للتحرك بين حالات لغوية معقدة. كما كشفت الدراسة أن اختيار اللغة الأصلية كان مهماً للغاية؛ فاستخدام الهندية كنقطة انطلاق كان يعمل بشكل أفضل بكثير من استخدام الإنجليزية، رغم أن الإنجليزية هي اللغة المهيمنة في تدريب النموذج. حدث هذا لأن الهندية أقرب لغوياً إلى اللغات المستهدفة، حيث تشترك معها في المفردات والبنية، مما جعل المسار بينهما أقصر وأسهل في الملاحة.
تخلص الدراسة إلى أنه بينما يمكن لاتجاه رياضي واحد أن يغير مخرجات النموذج لمحاكاة لغة جديدة، فإنه لا يمكنه فتح آفاق طلاقة تلك اللغة بالكامل. تعمل هذه التقنية أشبه بمسبار، يكشف عن المواضع التي تكون فيها الهوية اللغوية مرنة داخل بنية النموذج، بدلاً من كونها أداة عملية للنشر. لقد أظهرت أن قدرة النموذج على التحدث بهذه اللغات موجودة، لكن الوصول إليها يتطلب أكثر من مجرد دفعة بسيطة؛ إنها تتطلب السياق والأمثلة التي يوفرها التحفيز عبر الأمثلة القليلة. كما لاحظ الباحثون أن فعالية هذه الطريقة تعتمد بشدة على مدى قرب اللغة الأصلية من اللغة المستهدفة، حيث أثبتت الهندية أنها جسر أفضل بكثير من الإنجليزية. وفي النهاية، ترسم هذه الدراسة حدود ما هو ممكن في عملية التوجيه أثناء الاستنتاج، مبينة أنه بينما يمكننا دفع النموذج نحو لغة جديدة، لا يمكننا إجباره على أن يصبح طليقاً في تلك اللغة دون تغييرات أو سياقات أكثر جوهرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.