🤖 machine learning

LLiMba: Sardinian on a Single GPU -- Adapting a 3B Language Model to a Vanishing Romance Language

تقدم الورقة البحثية نموذج LLiMba، وهو نموذج لغوي للغة السردينية بـ 3 مليارات معلمة تم تكييفه على وحدة معالجة رسومات استهلاكية واحدة عبر التدريب المسبق المستمر والضبط الدقيق، مما يثبت أن تكوين rsLoRA عالي الرتبة يتفوق على طرق التكيف الأخرى في جودة الترجمة مع تسليط الضوء على القيود الحرجة للمقاييس القياسية في رصد الإخفاقات النوعية مثل تسرب النصوص (script leakage) والهلوسة الواقعية.

المؤلفون الأصليون: Luca Ballore

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Luca Ballore

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً، متعدد اللغات (وهو نموذج الذكاء الاصطناعي)، قد قرأ كل كتاب تقريباً في مكتبة اللغات الكبرى مثل الإنجليزية والإسبانية والإيطالية. ومع ذلك، لم يسمع قط عن اللغة السردينية، وهي لغة جميلة ومهددة بالانقراض يتحدث بها حوالي مليون شخص في جزيرة إيطالية. عندما تطلب من هذا الطالب التحدث بالسردينية، فإنه يكتفي بالتخمين ويتحدث بالخطأ الإيطالية أو الإسبانية بدلاً منها.

ورقة "LLiMba" هي قصة كيف علّف المؤلف هذا الطالب التحدث بالسردينية بطلاقة باستخدام جهاز كمبيوتر منزلي عادي واحد (بطاقة رسوميات بقوة 24 جيجابايت)، بدلاً من استخدام كمبيوتر خارق ضخم.

إليك كيف فعلوا ذلك، مقسماً إلى خطوات بسيطة:

1. معسكر التدريب ذو المرحلتين

لتعليم الطالب السردينية، استخدم المؤلف عملية تدريب مكونة من مرحلتين:

المرحلة الأولى: "القراءة الغامرة" (التدريب المسبق المستمر)
أولاً، تم إعطاء الطالب مكتبة ضخمة من النصوص السردينية (حوالي 11.5 مليون كلمة) ليقرأها. شمل ذلك الأخبار، ومقالات ويكيبيديا، والكتب، والشعر. وللحفاظ على قدرة الطالب على عدم نسيان كيفية التحدث بالإيطالية أو الإسبانية، قاموا بخلط بعض النصوص من لغات رومانسية أخرى ذات صلة (مثل الإيطالية والإسبانية) كـ "مواد استرجاع".
- النتيجة: بعد مرحلة القراءة هذه، أصبح بإمكان الطالب فهم السردينية بشكل أفضل بكثير. إذا طلبت منه ترجمة الإنجليزية إلى السردينية، فقد انتقل من كونه عديم الفائدة تقريباً إلى كونه جيداً.
المرحلة الثانية: "ممارسة المحادثة" (الضبط الدقيق الخاضع للإشراف)
القراءة جيدة، لكن التحدث أفضل. بعد ذلك، تدرب الطالب على الإجابة على أسئلة محددة واتباع التعليمات بالسردينية. اختبر المؤلف خمس طرق مختلفة لتعليم مهارة المحادثة هذه لمعرفة أي طريقة تعمل بشكل أفضل دون الحاجة إلى الكثير من ذاكرة الكمبيوتر.

2. طرق التدريس الخمس (تجربة "المهايئ")

لم يقم المؤلف بإعادة تدريب عقل الطالب بالكامل من الصفر (لأن ذلك سيكون ثقيلاً على الكمبيوتر). بدلاً من ذلك، جرب خمس "قبعات تدريب" (تقنيات تسمى المهايئات/Adapters) لتعديل دماغ الطالب:

الضبط الدقيق الكامل (Full Fine-Tuning): إعادة كتابة دماغ الطالب بالكامل. (ثقيل، ولكنه أساس جيد).
LoRA (Rank 64): قبعة صغيرة وخفيفة الوزن.
rsLoRA (Rank 128): قبعة أكبر قليلاً و"مستقرة".
rsLoRA (Rank 256): أكبر وأقوى قبعة خفيفة الوزن.
DoRA (Rank 256): قبعة فاخرة تحاول الحفاظ على شخصية الطالب الأصلية مع إضافة مهارات جديدة.

3. النتائج المفاجئة

وجد المؤلف أشياء غير متوقعة:

الأكبر ليس دائماً الأفضل (بالنسبة لقبعة "DoRA"): صُممت قبعة "DoRA" لتكون حذرة جداً وتحافظ على معرفة الطالب الأصلية. ومع ذلك، كانت الأسوأ في قول الحقيقة. لقد تحدثت بطلاقة ولكنها اختلقت أكاذيب واثقة حول التاريخ والثقافة.
قبعة "rsLoRA" هي الفائزة: كانت أكبر قبعة خفيفة الوزن (rsLoRA برتبة 256) هي البطلة. فقد قدمت أفضل الترجمات، والأهم من ذلك، كانت الأكثر دقة في عرض الحقائق.
"الرتبة" أهم من "النوع": وجدت الدراسة أن جعل المهايئ "أكبر" (زيادة الرتبة) كان أكثر أهمية من الاختيار بين أنواع القبعات المختلفة. القبعة الأكبر (rsLoRA 256) هزمت القبعات الأصغر وحتى طريقة إعادة التدريب الكاملة في مهام الترجمة.

4. فخ "الهلوسة"

تسلط الورقة الضوء على مشكلة مخادعة تغفل عنها الاختبارات القياسية (التي تحصي فقط عدد الكلمات المتطابقة): الأكاذيب الواثقة.

اختبار التحقق من الحقائق: سأل المؤلف النماذج أسئلة محددة، مثل "من هو جيجي ريفا؟" (لاعب كرة قدم سرديني شهير).
- نموذج rsLoRA حصل على الحقائق صحيحة.
- نموذج LoRA اختلق سيرة ذاتية مزيفة (ادعى أنه فاز بكأس العالم في اسكتلندا، وهو أمر مستحيل).
- نموذج DoRA اختلق أكاذيب أكثر غرابة (ادعى أنه لعب لفرق لم يلعب لها أبداً، وأن ملعباً قد أُعيد تسميته باسمه بينما لم يحدث ذلك).
اختبار "الكلمات المزيفة": عندما طُلب من أفضل نموذج كتابة مقال طويل ومفتوح عن الثقافة السردينية، قام أحياناً باختراع كلمات تبدو وكأنها سردينية ولكنها لا توجد في الواقع. إنه يشبه طالباً يعرف قواعد النحو جيداً لدرجة أنه يمكنه اختراع كلمة جديدة تبدو مثالية ولكنها لا تعني شيئاً.

5. الدرس المستفاد من "الدرجات"

تحذرنا الورقة من الثقة الزائدة في درجات "الارتباك/Perplexity" (مقياس رياضي شائع لتقييم الذكاء الاصطناعي)، خاصة للغات التي تستخدم نصوصاً مختلفة.

التشبيه: تخيل تصحيح اختبار لطالب حيث الإجابات مكتوبة بشفرة. إذا كانت الشفرة قابلة للتنبؤ بها جداً، فقد يحصل الطالب على درجة كاملة بمجرد تخمين النمط، حتى لو لم يفهم المعنى. تُظهر الورقة أنه بالنسبة لبعض اللغات، تبدو الدرجة الرياضية رائعة، لكن جودة الترجمة الفعلية تكون سيئة للغاية. أنت بحاجة إلى بشر حقيقيين للتحقق مما إذا كان الذكاء الاصطناعي يقول الحقيقة بالفعل.

الملخص

تثبت الورقة أنه يمكنك تعليم نموذج ذكاء اصطناٍ صغير التحدث بلغة نادرة مثل السردينية باستخدام كمبيوتر منزلي واحد. السر يكمن في استخدام "مهايئ" (adapter) محدد وأكبر (rsLoRA) الذي يوازن بين الذاكرة والإبداع بشكل جيد. ومع ذلك، لا يزال لدى أفضل النماذج ميل لافتعال الأمور بثقة، مما يثبع أننا بحاجة إلى مدققين بشريين للحقائق، وليس فقط درجات رياضية، للحكم على ما إذا كان الذكاء الاصطناعي مفيداً حقاً.

ملخص تقني: LLiMba — تكييف نموذج لغوي بحجم 3 مليار معلمة للغة السردينية

بيان المشكلة
تعاني اللغة السردينية (sardu)، وهي لغة رومانسية يتحدث بها حوالي مليون شخص، من غياب شبه تام في معالجة اللغات الطبيعية (NLP) الحديثة. فالخدمات التجارية لا تدعمها، والنماذج اللغوية الكبيرة الحالية تفشل في توليدها بشكل موثوق، وغالبًا ما تعود إلى الإيطالية أو الإسبانية أو غيرها من اللغات الرومانسية الكبرى. إن ندرة البيانات السردينية في مجموعات البيانات الضخمة على الويب تمنع النماذج المفتوحة القياسية من تعلم اللغة، بينما تعتبر النماذج المملوكة أن قاعدة المستخدمين صغيرة جدًا للاستحواذ على البيانات. علاوة على ذلك، تحتوي مجموعات البيانات منخفضة الموارد القياسية (مثل OSCAR وLeipzig Corpora) على نصوص سردينية صالحة للاستخدام ضئيلة للغاية. التحدي يكمن في تكييف نموذج متعدد اللغات مسبق التدريب مع لغة رومانسية وثيقة الصلة ومنخفضة الموارد باستخدام بيانات ضئيلة وأجهزة حاسوب استهلاكية، مع تجنب النسيان الكارثي وضمان التأسيس الواقعي.

المنهجية
يقدم المؤلفون LLiMba، وهو نموذج جاهز للسردينية بحجم 3 مليارات معلمة، تم تكييفه من نموذج Qwen2.5-3B-Instruct. يتم تنفيذ خط معالجة التكييف على بطاقة رسوميات واحدة من نوع NVIDIA RTX 4090 (بذاكرة 24 جيجابايت VRAM) باستخدام عملية مكونة من مرحلتين:

التدريب المسبق المستمر (CPT):
- البيانات: متن لغوي يتكون من حوالي 11.5 مليون توكن (كلمة/وحدة) سرديني (يشمل متغيرات LSC وLogudorese وCampidanese) مدعومًا بنحو 2.4 مليون توكن من نصوص رومانسية ذات صلة (الإيطالية، الإسبانية، البرتغالية، والكتالونية) لمنع النسيان الكارثي وتداخل السجلات.
- التقنية: الضبط الدقيق الكامل (تحديث جميع المعلمات) بتنسيق bfloat16. اختار المؤلفون الضبط الدقيق الكامل بدلاً من المهايئات فعالة المعلمات لهذه المرحلة لأن التحول في النطاق (تعلم لغة جديدة) كبير، وتشير الدراسات السابقة إلى أن تقنية LoRA تؤدي أداءً أقل من الضبط الدقيق الكامل عندما يكون التوزيع المستهدف بعيدًا عن التدريب المسبق.
- قيود الأجهزة: ليتناسب نموذج 3B مع ذاكرة 24 جيجابايت VRAM، استخدم المؤلفون مُحسنات paged 8-bit AdamW، وتقنية فحص النقاط (gradient checkpointing)، وحجم دفعة فعال قدره 16 عبر تراكم التدرج (gradient accumulation). تم تعطيل تعبئة التسلسل (sequence packing) لمنع تسرب الانتباه عبر أنواع الوثائق غير المتجانسة.
الضبط الدقيق الخاضع للإشراف (SFT):
- البيانات: حوالي 14,404 زوجًا من التعليمات المستمدة من بيانات Capybara المترجمة آليًا، وأزواج الترجمة المتوازية، والتعليمات المصنعة والمعدة محليًا، والاستعلامات المتعلقة بالأغاني.
- مقارنة الإعدادات: تمت مقارنة خمس إعدادات لـ SFT تحت ظروف متطابقة (نفس البيانات، الأجهزة، والمعلمات الفائقة):
  - الضبط الدقيق الكامل (Full Fine-Tuning).
  - تقنية LoRA (الرتبة 64، $\alpha=128$ ).
  - تقنية rsLoRA (الرتبة 128، $\alpha=128$ ، باستخدام مقياس $\alpha/\sqrt{r}$ ).
  - تقنية rsLoRA (الرتبة 256، $\alpha=256$ ، باستخدام مقياس $\alpha/\sqrt{r}$ ).
  - تقنية DoRA (الرتبة 256، $\alpha=256$ ، مع تفكيك الأوزان إلى مقدار واتجاه).

النتائج الرئيسية

أداء الترجمة: وفر التدريب المسبق المستمر غالبية مكاسب الأداء، حيث حسن درجات BLEU بمقدار 4 إلى 7 أضعاف مقارنة بالنموذج الأساسي. قدمت مرحلة SFT تحسينات تدريجية.
- الأفضل أداءً: حققت تقنية rsLoRA عند الرتبة 256 أعلى الدرجات للترجمة إلى السردينية (على سبيل المثال، 28.47 BLEU للترجمة من الإنجليزية إلى السردينية، مقارنة بـ 17.26 بعد CPT وحده و21.04 للضبط الدقيق الكامل).
- اختبار حذف الرتبة (Rank Ablation): تصاعد الأداء في مقاييس الترجمة بسلاسة مع الرتبة: rsLoRA r256 > rsLoRA r128 > LoRA r64.
- ضعف أداء DoRA: على الرغم من امتلاكها نفس الرتبة (256) لإعداد rsLoRA الأفضل، إلا أن DoRA كان أداؤها أقل من LoRA r64 في أربعة من أصل ستة اتجاهات ترجمة، وفشلت في مضاهاة مكاسب الضبط الدقيق الكامل.
النتائج النوعية وأنماط الفشل:
- التأسيس الواقعي: لم ترتبط مقاييس الترجمة (BLEU/chrF) بالدقة الواقعية. أنتجت rsLoRA r256 حقائق بيوغرافية وثقافية دقيقة وقابلة للتحقق. في المقابل، أنتجت LoRA r64 تفاصيل واثقة ولكنها مختلقة، بينما أنتجت DoRA r256 أكثر حالات الاختلاق حدة، مما يتناقض مع فرضية تصميمها القائمة على الحفاظ على بنية النموذج الأساسي.
- الأمانة المعجمية: بينما كانت rsLoRA r256 متفوقة واقعيًا، إلا أنها أظهرت "هلوسة صرفية" في المطالبات الطويلة والمفتوحة، حيث ولدت كلمات سردينية تبدو صوتيًا منطقية ولكنها غير مثبتة في اللغة. ظل الضبط الدقيق الكامل هو الأقرب إلى المفردات المثبتة.
- تسرب النصوص: قدم إعداد rsLoRA r128 نمط فشل فريدًا: تسرب رموز (tokens) من نصوص غير لاتينية (صينية/إنجليزية) إلى الجمل السردينية، وهي ظاهرة لم تُلاحظ في النسخ الأخرى.
مقاييس الفقد مقابل الواقع: كانت قيم الفقد في التدريب والتقييم متشابهة عبر جميع الطرق ولم تتنبأ بالاختلافات النوعية في الواقعية أو سلامة النصوص. يشير البحث إلى أن مقاييس الارتباك (perplexity) يمكن خفضها اصطناعيًا بواسطة الترميز بنظام fallback للبايت في النصوص غير اللاتينية (وهي مشكلة معروفة في تكييف اللغة التبتية)، رغم أن النص السرديني (اللاتيني) يتجنب هذه المشكلة تحديدًا.

الأهمية والمساهمات
يثبت البحث أن تكييف نموذج بحجم 3 مليارات معلمة للغة رومانسية منخفضة الموارد أمر ممكن باستخدام وحدة معالجة رسوميات استهلاكية واحدة عبر مسار مكون من مرحلتين: CPT كامل يليه SFT فعال في المعلمات.

المساهمات الرئيسية تشمل:

دليل تجريبي على سعة المهايئ (Adapter Capacity): توضح الدراسة أن تكييف نموذج أساسي مدرب على لغة رومانسية لغرض لغة رومانسية أخرى منخفضة الموارد، فإن رتبة المهايئ (adapter rank) أهم من نوع المهايئ المحدد. أدى رفع رتبة rsLoRA إلى 256 إلى مكاسب كبيرة، بينما فشلت DoRA عند نفس الرتبة في تقديم نتائج مماثلة، مما يشير إلى أن المعلمة المحددة (التحديثات منخفضة الرتبة غير المقيدة مقابل تفكيك المقدار والاتجاه) تتفاعل بشكل حرج مع المهمة.
محدودية المقاييس القياسية: يسلط العمل الضوء على أن مقاييس الترجمة (BLEU/chrF) ومنحنيات الفقد يمكن أن ترتب الإعدادات بسلاسة بينما تخفي اختلافات فئوية في السلوك النوعي، مثل الهلوسة الواقعية وتسرب النصوص.
كفاءة الموارد: يوفر مسارًا قابلاً لإعادة الإنتاج لتكييف اللغات منخفضة الموارد لا يتطلب مجموعات حوسبة ضخمة، بل يعتمد على تنسيق دقيق للبيانات وتحسين مدروس للأجهزة (المحسنات 8-bit، وفحص النقاط).

يخلص المؤلفون إلى أنه بينما تعد rsLoRA r256 هي الإعداد الأمثل للترجمة والتأسيس الواقعي في هذا السياق المحدد، فإن التباين بين المقاييس الكمية والواقع النوعي يستوجب استراتيجيات تقييم تتضمن اختبارات المتحدثين الأصليين وفحوصات الواقعية، خاصة عندما تكون المقايسات القائمة على الفقد مضللة أو غير كافية.