← أحدث الأبحاث
🤖 machine learning

LARA: Lightweight Adapters in the Residual Stream for Composable Adaptation and Alignment

تُعد LARA طريقة تكيف خفيفة الوزن تقوم بحقن تصحيحات منخفضة الرتبة مباشرة في المجرى المتبقي لنموذج مجمد، مما يتيح أداءً مطابقاً للمعلمات بكفاءة، وتحكماً سلسًا عند الاستدلال عبر عامل قياس، واستضافة سلوكيات متعددة ومتميزة في آن واحد على جهاز واحد.

المؤلفون الأصليون: Pascal Ekin, Hyosun Choi, Wei Jie

نُشر 2026-08-03
📖 6 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Pascal Ekin, Hyosun Choi, Wei Jie

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا فائق الذكاء، قد قرأ كل شيء تقريبًا على الإنترنت. إنه عبقري، لكنه أيضًا عنيد بعض الشيء: بمجرد أن يتعلم دروسه، لا يمكنك تعليمه حيلًا جديدة بسهولة دون كسر دماغه أو الحاجة إلى كمية هائلة من الذاكرة لتخزين نسخة جديدة كاملة من نفسه. هذا هو عالم النماذج اللغوية الكبيرة (LLMs). ولجعل هذه الروبوتات مفيدة لمهام محددة — مثل كتابة لغة بايثون (Python) أو تقديم نصائح طبية — يستخدم العلماء عادةً تقنية تسمى الضبط الدقيق (Fine-tuning). فكر في هذا الأمر كأنك تعطي الروبوت كتابًا مدرسيًا جديدًا. الطريقة المهيمنة القديمة، والتي تسمى LoRA، تشبه تفكيك دماغ الروبوت، وإعادة كتابة بضع صفحات من دليل تعليماته الداخلي، ثم لصقه مرة أخرى. إنها تعمل بشكل جيد، لكنها ثقيلة. إذا كنت تريد للروبوت أن يكون مبرمجًا وطبيبًا وشاعرًا، فعليك أن تحمل ثلاث نسخ مختلفة وثقيلة من دماغه، وهو أمر مستح مستحيل لجهاز صغير مثل الهاتف.

إليك LARA (التكيف المتبقي الإضافي خفيف الوزن)، وهي فكرة جديدة من باحثين في "رويال هولواي" وجامعة "غرب لندن". بدلًا من إعادة كتابة دليل الروبوت الداخلي، تتعامل LARA مع دماغ الروبوت كقاعدة ثابتة وغير قابلة للتغيير. إنها تضيف "ملاحظة" صغيرة وقابلة للفصل إلى تدفق أفكار الروبوت قبل أن يتحدث مباشرة. هذه الملاحظة صغيرة وخفيفة الوزن جدًا بحيث يمكنك امتلاك مكتبة كاملة من "الشخصيات" المختلفة (واحدة للبرمجة، وواحدة للرياضيات، وواحدة لتكون لطيفًا) تعيش على نفس الروبوت في نفس الوقت. يمكن للروبوت بعد ذلك التبديل بين هذه الشخصيات فورًا، كلمة بكلمة، دون الحاجة إلى إعادة تحميل دماغه بالكامل. تشير هذه الورقة البحثية إلى أن طريقة "تدوين الملاحظات" هذه تعمل بنفس كفاءة طريقة "إعادة الكتابة" الثقيلة، ولكن مع قوة خارقة: يمكنك رفع مستوى صوت السلوك الجديد أو خفضه، ويمكنك حزم العديد من السلوكيات في مساحة صغيرة جدًا، مما يجعل من الممكن تشغيل ذكاء اصطناعي متعدد المواهب مباشرة على جهازك.

المشكلة: الدماغ الثقيل

تخيل أن لديك تمثالًا ضخمًا ومتجمدًا لعبقري. إنه مثالي، لكنه لا يستطيع التغيير. إذا أردت أن يبدأ بالتحدث بالفرنسية، فلا يمكنك مجرد الهمس له؛ بل يجب عليك نحت عضلات جديدة في الحجر. هذا ما يفعله معظم تعديلات الذكاء الاصطناعي: إنها تحاول نحت التمثال. طريقة LoRA الشهيرة، تشبه إضافة طبقة رقيقة من الطين فوق عضلات التمثال. إنها تعمل، ولكن إذا أردت للتمثال أن يتحدث الفرنسية والإسبانية والألمانية، فستحتاج إلى ثلاثة تماثيل مختلفة، أو ثلاث طبقات من الطين التي يتعين عليك تبديلها وتغييرها. هذا بطيء ويستهلك الكثير من المساحة.

الحل: الملاحظة اللاصقة

تساءل الباحثون وراء LARA سؤالًا مختلفًا: "ماذا لو لم نلمس التمثال على الإطلاق؟" بدلًا من النحت أو إضافة الطين، قرروا لصق "ملاحظة لاصقة" صغيرة وسحرية على يد التمثال في كل مرة يمد فيها يده ليمسك بشيء ما.

في عالم الذكاء الاصطناعي، تسمى "اليد" المجرى المتبقي (Residual Stream). إنه تدفق المعلومات الذي يمر عبر طبقات النموذج، مثل نهر يحمل أفكار الروبوت. لا تغير LARA مجرى النهر (الأوزان المجمدة)؛ بل تغمس فقط إسفنجة صغيرة منخفضة الرتبة في النهر، وتعصر منها القليل من "التصحيح"، وتضيفه مرة أخرى إلى الماء.

  • الإسفنجة: هي وحدة صغيرة تحتوي على حوالي 2.39 مليون معلمة قابلة للتدريب فقط.
  • النهر: النموذج الأساسي (نموذج بـ 1.5 مليار معلمة) يبقى مجمدًا تمامًا ولم يُلمس.

بما أن النموذج الرئيسي لا يُلمس أبدًا، فإن الروبوت "الأساسي" يكون دائمًا هناك، جاهزًا للانطلاق. الإسفنجة تضيف فقط نكهة بسيطة إلى الأفكار أثناء تدفقها.

الخدع السحرية

وجدت الورقة البحثية ثلاث أشياء رائعة حول هذا النهج:

1. إنها بجودة الطريقة الثقيلة
اختبر الباحثون LARA في مهمة كتابة الأكواد ومهمة "التفضيل" (تعليم الروبوت أن يكون أكثر فائدة وأقل فظاظة). قارنوا LARA بطريقة الطين الثقيلة (LoRA) باستخدام نفس عدد المعلمات القابلة للتدريب تمامًا. والنتيجة؟ LARA طابقت LoRA. لقد تعلمت كتابة الأكواد واتباع التفضيلات بنفس الكفاءة، رغم أنها لم تلمس الدماغ الأصلي أبدًا. الأمر يشبه أن الملاحظة اللاصقة كانت بنفس فعالية إعادة كتابة الدليل.

2. مقبض التحكم في الصوت
هنا تصبح LARA أكثر مرحًا. نظرًا لأن "التصحيح" هو مجرد ملاحظة إضافية، يمكنك تدوير مقبض يسمى γ\gamma (جاما) في لحظة تحدث الروبوت.

  • إذا ضبطت γ=0\gamma = 0، سيتجاهل الروبوت الملاحظة ويتصرف تمامًا مثل القاعدة المجمدة.
  • إذا ضبطت γ=1\gamma = 1، فإنه يستخدم الملاحظة بالكامل.
  • إذا ضبطت γ=0.5\gamma = 0.5، فسيكون نصف ونصف.

تظهر الورقة أنه يمكنك الانتقال بسلاسة بين "القاعدة المملة" و"المبرمج الخبير" بمجرد تدوير هذا المقبض. لا يمكنك القيام بذلك مع طريقة الطين الثقيلة (LoRA) بمجرد لصقها؛ فهذا تغيير دائم. مع LARA، يمكنك القول: "هيا أيها الروبوت، كن مبرمجًا بنسبة 70% وشاعرًا بنسبة 30%"، وذلك بمجرد ضبط مستوى الصوت.

3. مكتبة الشخصيات
هذه هي النقطة الأهم. نظرًا لأن القاعدة مجمدة والملاحظات صغيرة جدًا، يمكنك امتلاك سبعة سلوكيات مختلفة تعيش على نفس نموذج الـ 1.5 مليار معلمة في نفس الوقت.

  • وضع الباحثون ستة سلوكيات مضبوطة بدقة (البرمجة، الدردشة العامة، الرياضيات، الطب، مجموعة برمجة ثانية، والتلخيص) وسلوك "تفضيل" واحد على نموذج واحد مجمد.
  • الوزن الإضافي الإجمالي لكل السلوكيات السبعة؟ 33 ميجابايت فقط.
  • إذا استخدمت الطريقة القديمة، فستحتاج إلى سبع نسخ كاملة من النموذج، مما سيشغل مساحة 21.6 جيجابايت.

تخيل وضع سبع شخصيات مختلفة في حجم ملف MP3 واحد. يستخدم النموذج "موجهًا" (Router) صغيرًا (مثل شرطي المرور) لينظر إلى كل كلمة على وشك أن يقولها الروبوت ويقرر أي شخصية سيستعيرها لتلك الكلمة المحددة. إذا كانت الجملة عن الرياضيات، فإنه يأخذ ملاحظة الرياضيات. إذا كانت عن البرمجة، فإنه يأخذ ملاحظة البرمجة. يمكنه حتى المزج بينهما إذا كانت الجملة غامضة.

العقبة (والمستقبل)

توضح الورقة البحثية بحذر أن هذا ليس حلًا سحريًا لكل شيء بعد.

  • اختبار "البرمجة": تم إثبات أن LARA تعمل بقدر كفاءة LoRA في معظمها على مجموعة بيانات برمجية. ويشير المؤلفون إلى أنها من المرجح أن تعمل لأشياء أخرى، لكنهم لم يختبروها بالكامل في جميع المواضيع الممكنة بعد.
  • حد "التضخيم": إذا رفعت مقبض الصوت (γ\gamma) كثيرًا (مثل ضبطه على 3)، سيبدأ الروبوت في التلعثم وارتكاب الأخطاء، خاصة إذا كان لديك العديد من الملاحظات المتراكمة. الملاحظة الواحدة مستقرة، لكن تكديس ست ملاحظات ورفع مستوى الصوت يجعل النهر يفيض.
  • ارتباك الموجه: عندما يكون السلوكان متشابهين جدًا (مثل مجموعتي بيانات برمجية مختلفتين)، يصاب "شرطي المرور" بالارتباك أحيانًا ويقسم الأصوات. ومع ذلك، وجدت الورقة أنه حتى عندما يرتبك، لا يزال الروبوت يقوم بعمل جيد لأن كلتا الملاحظتين تحاولان المساعدة في البرمجة.

لماذا يهم هذا؟

تشير الورقة البحثية إلى أننا قد لا نحتاج إلى بناء أدمغة ضخمة ومنفصلة لكل مهارة جديدة. بدلاً من ذلك، يمكننا امتلاك دماغ واحد صلب ومجمد وحقيبة ظهر مليئة بالملاحظات الصغيرة والقابلة للتبديل. هذا أمر ضخم لتشغيل الذكاء الاصطناعي على أجهزة مثل الهواتف أو أجهزة الكمبيوتر المحمولة، حيث تكون الذاكرة محدودة. إنه يشير إلى مستقبل حيث يمتلك هاتفك نموذج ذكاء اصطناعي واحد يمكنه التبديل فورًا من كون معلم رياضيات إلى مساعد برمجة إلى شريك في الكتابة الإبداعية، كل ذلك دون الحاجة إلى تحميل تطبيق جديد أو انتظار تحديث ضخم. يسمي الباحثون هذا "التكيف التركيبي"، ولكن يمكنك ببساال التفكير فيه كمنح روبوتك خزانة ملابس من الملاحظات اللاصقة الصغيرة والسحرية.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →