Figurative and Cultural Knowledge in LLMs: Investigating Cross-Domain Transfer through Fine-Tuning
تتقصى هذه الورقة ما إذا كان الضبط الدقيق على البيانات الثقافية يعزز فهم اللغة المجازية في النماذج اللغوية الكبيرة، حيث وجدت أنه بينما يحسن التدريب على الشعر استيعاب الاصطلاحات بطريقة قابلة للنقل، فإن الضبط الدقيق الثقافي غالبًا ما يؤدي إلى تدهور تفسير الأمثال ويكشف عن علاقة معقدة وغير خطية بين الانغماس الثقافي واكتساب اللغة المجازية لا يمكن استيعابها ببساطة من خلال الضبط الدقيق وحده.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إن اللغة أكثر من مجرد مجموعة من القواعد لترتيب الكلمات؛ فهي أرشيف حي لتاريخ مجتمع ما، وقيمه، وتجاربه المشتركة. وينطبق هذا بشكل خاص على اللغة المجازية — أي الأمثال والتعابير الاصطلاحية والشعر التي تعتمد على السياق الثقافي لكي تُفهم. فعبارة مثل "إنها تمطر قططاً وكلاباً" (it's raining cats and dogs) لا تعني شيئاً لشخص لم يسمع بهذا التعبير من قبل، ولكن بالنسبة للمتحدث الأصلي للغة، فإنها تستحضر فوراً صورة محددة لهطول أمطار غزيرة. وبالنسبة للذكاء الاصطناعي، الذي يتعلم من خلال معالجة كميات هائلة من النصوص، فإن إتقان هذا النوع من اللغة يمثل عقبة كبيرة. وبينما تستطيع نماذج الذكاء الاصطناي الحديثة القراءة والكتابة بطلاقة، إلا أنها غالباً ما تجد صعوبة في فهم المعاني العميقة غير الحرفية المنسوجة في نسيج الثقافة. والسؤال الذي طالما طرحه الباحثون هو: هل تعليم الذكاء الاصطناعي عن الحياة اليومية والتقاليد الثقافية سيساعده على فهم استعاراتها، أم أن تعلم تفسير الاستعارات سيساعده على استيعاب الحقائق الثقافية؟
لقد وضع فريق من الباحثين هدفاً لاختبار هذا الارتباط باستخدام اللغة العربية، وهي لغة غنية باللهجات المتنوعة والتقاليد الأدبية العميقة. وعملوا مع أربعة نماذج لغوية كبيرة مختلفة، وهي الأنظمة الحاسوبية القوية التي تشغل العديد من تطبيقات الذكاء الاصطناعي الحديثة. ولرؤية ما إذا كانت المعرفة الثقافية والفهم المجازي مرتبطين، أجرى الباحثون سلسلة من التجارب المنضبطة. حيث أخذوا هذه النماذج وقاموا بإعطائها تدريباً إضافياً، أو ما يسمى "الضبط الدقيق" (fine-tuning)، على أنواع محددة من البيانات. في إحدى المجموعات، قاموا بتغذية النماذج بآلاف الأمثلة من المعرفة الثقافية، مثل الحقائق حول العادات الاجتماعية، والممارسات الإقليمية، والحياة اليومية عبر العالم العربي. وفي مجموعة أخرى، قاموا بتدريب النماذج على اللغة المجازية، باستخدام مجموعات بيانات مليئة بالأمثال والتعابير الاصطلاحية والشعر. كما تضمنت الدراسة مجموعة ضابطة تم تدريبها على قواعد اللغة العربية العامة لضمان أن أي تغييرات ناتجة كانت بسبب المحتوى المحدد للتدريب وليس مجرد فعل تعلم المزيد من اللغة العربية.
كشفت النتائج عن صورة معقدة ومثيرة للدهشة نوعاً ما. فقد وجد الباحثون أن تعليم النموذج عن الثقافة لم يجعله بالضرورة أفضل في فهم الأمثال أو التعابير الاصطلاحية. في الواقع، بالنسبة للنماذج التي كانت متخصصة بالفعل في اللغة العربية، فإن تدريبها على بيانات ثقافية جعل أداءها يسوء أحياناً. فهذه النماذج، التي ربما امتصت بالفعل قدراً كبيراً من المعرفة الثقافية خلال تدريبها الأولي، بدت وكأنها تصاب بالارتباك عند تعرضها لمجموعة مختارة وأكثر تحديداً من الحقائق الثقافية. وعلى العكس من ذلك، لم يساعد تدريب النماذج على البيانات الثقافية في قدرتها على الإجابة عن أسئلة عامة حول الحقائق الثقافية أيضاً. إذ لم يبدُ أن هذين النوعين من المعرفة — المعرفة الثقافية والحقيقة المجازية — يدعمان بعضهما البعض بالطريقة التي كان يأملها الباحثون.
ومع ذلك، كانت هناك استثناءة واحدة واضحة برزت في الدراسة. فعندما قام الباحثون بتدريب النماذج خصيصاً على الشعر، أصبحت النماذج أفضل بشكل ملحوظ في فهم التعابير الاصطلاحية. وكان هذا التحسن قابلاً للقياس وموثوقاً من الناحية الإحصائية، حيث أظهر نموذج معين قفزة ملحوظة في الدقة. والأهم من ذلك، أن هذا المكسب لم يحدث عندما تم تدريب النماذج على النصوص العربية العامة أو القواعد، مما يشير إلى أن التحسن جاء من المحتوى الشعري نفسه، وليس فقط من رؤية المزيد من الكلمات العربية. ويبدو أن الشعر، باعتماده على الصور البيانية والإيقاع والمعنى غير الحرفي، قد علم النماذج مهارة أوسع: وهي القدرة على التعرف على المعنى وتفسيره بما يتجاوز التعريف الحرفي للكلمات. وقد انتقلت هذه المهارة بنجاح إلى التعابير الاصطلاحية، رغم أن الشعر والتعابير الاصطلاحية شكلان مختلفان من أشكال التعبير.
كما سلطت الدراسة الضوء على أن النتائج اعتمدت بشكل كبير على النموذج المستخدم. فالنماذج التي صُممت خصيصاً للغة العربية بدأت بمستوى معرفي أساسي أعلى وغالباً ما تراجعت، أو ساء أداؤها، بعد عملية الضبط الدقيق على بيانات جديدة. وهذا يشير إلى أنها تعلمت بالفعل قدر المستطاع من المواد التدريبية المتاحة. وفي المقابل، أظهرت النماذج متعددة اللغات، التي يتم تدريبها على لغات عديدة، مساحة أكبر للتعلم وتحسنت بشكل أكثر اتساقاً عند تعرضها لبيانات جديدة. وعندما فحص الباحثون الأخطاء عن كثب، وجدوا أن التدريب يميل إلى تعزيز المعرفة حول الأشياء التجريبية اليومية مثل الطعام والألعاب والاحتفالات، بينما يضعف أحياناً من استيعاب النماذج للحقائق التاريخية أو التفاصيل السياسية المحددة.
في الختن، تشير الأبحاث إلى أن العلاقة بين الثقافة واللغة المجازية ليست مجرد مفتاح بسيط يمكن تشغيله عبر تغذية الذكاء الاصطناعي بمزيد من البيانات. وبينما يرتبط الاثنان ارتباطاً وثيقاً في التجربة البشرية، فإن تعليم الذكاء الاصطناعي أحدهما لا يضمن إتقانه للآخر. وكان الجسر الوحيد الموثوق الذي وجدته هذه الدراسة هو الانتقال من الشعر إلى التعابير الاصطلاحية، مما يشير إلى أن التعرض للجانب الفني وغير الحرفي من اللغة يمكن أن يساعد النموذج على التنقل في مشهده المجازي. ولهذا السبب، لا يزال المسار نحو ذكاء اصطناعي مدرك ثقافياً حقاً مساراً غير مستوٍ، ويتطلب ما هو أكثر من مجرد انتقال بسيط للمعرفة من مجال إلى آخر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.