💻 computer science

Reconciling Contradictory Views on the Effectiveness of SFT in LLMs: An Interaction Perspective

تقترح هذه الورقة منظوراً قائماً على التفاعل لتفسير عدم اتساق فعالية الضبط الدقيق الخاضع للإشراف (SFT) على النماذج اللغوية الكبيرة، كاشفةً أن الضبط الدقيق الخاضع للإشراف يزيل في البداية التفاعلات الشبيهة بالضجيج، ولكنه يؤدي سريعاً إلى تفاعلات مفرطة في التخصيص إذا استمر التدريب لما بعد مرحلة إزالة الضجيج الوجيزة.

المؤلفون الأصليون: Junpeng Zhang, Lei Cheng, Guoxi Zhang, Hua Cai, Qing Xu, Quanshi Zhang

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junpeng Zhang, Lei Cheng, Guoxi Zhang, Hua Cai, Qing Xu, Quanshi Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

السؤال الكبير: لماذا قد تجعل "الممارسة" الذكاء الاصطناعي أسوأ أحياناً؟

تخيل أن لديك طالباً عبقرياً (نموذج لغوي كبير، أو LLM) قد قرأ بالفعل المكتبة الكاملة للمعرفة البشرية. إنه ذكي، لكنه يتحدث أحياناً بطريقة مربكة أو يستخدم مصطلحات غريبة.

لإصلاح ذلك، يعطي المعلمون له "الضبط الدقيق الخاضع للإشراف" (SFT). هذا يشبه إعطاء الطالب كراسة تمارين محددة تحتوي على إجابات "صحيحة"، وقول: "تدرب على هذه الأمثلة لتتمكن من التحدث كمساعد مفيد".

التناقض:

بالنسبة للطلاب الصغار: هذه الممارسة تعمل العجائب؛ فهم يتحسنون فوراً.
بالنسبة للطالب العبقري (LLM): أحياناً، تعمل هذه الممارسة بشكل رائع، ولكن في أحيان أخرى، تجعله أسوأ. يبدأ في حفظ كراسة التمارين بدقة مبالغ فيها، مما يجعله ينسى كيف يتحدث مع الناس الحقيقيين، أو حتى يبدأ في اختلاق حقائق من العدم (الهلوسة).

هدف الورقة البحثية:
أراد الباحثون معرفة لماذا يحدث هذا. لم ينظروا فقط إلى درجات الاختبار النهائية؛ بل نظروا داخل عقل الطالب ليروا ما الذي يتغير أثناء ممارسته.

الأداة: "تفاعلات الكلمات" كقطع الليغو

للكشف عما يدور داخل عقل الذكاء الاصطناعي، استخدم الباحثون أداة خاصة تسمى "تحليل التفاعل" (Interaction Analysis).

تخيل عقل الذكاء الاصطنا ليس كصندوق أسود، بل كمجموعة ضخمة من تعليمات الليغو (Lego).

تعليمات بسيطة: "إذا رأيت كلمة 'نار'، فمن المحتمل أن أقول 'ساخنة'". (هذا تفاعل بسيط وموثوق).
تعليمات معقدة وفوضوية: "إذا رأيت 'نار' وَ 'حمراء' وَ 'سماء' وَ 'سحابة' وَ 'ربما' وَ 'أمس'..." (هذا تفاعل معقد وفوضوي).

وجد الباحثون أن مخرجات الذكاء الاصطناعي هي في الواقع مجرد مجموع لهذه التعليمات (قطع الليغو). بعض التعليمات مفيدة (موثوقة)، وبعضها مجرد ضجيج (مربك أو يلغي بعضه بعضاً).

الاكتشاف: رقصة "إزالة الضجيج" مقابل "الإفراط في التخصيص"

راقب الباحثون الذكاء الاصطناعي وهو يتدرب خطوة بخطوة، واكتشفوا أن العملية تحدث في مرحلتين متمايزتين تماماً، مثل دفعة قصيرة من التنظيف تليها فترة طويلة من إفساد الأمور.

المرحلة الأولى: "التنظيف الربيعي" (الجزء الجيد)

المدة: قصيرة جداً (الخطوات القليلة الأولى فقط من التدريب).

تخيل أن عقل الذكاء الاصطناعي غرفة فوضوية مليئة بالألعاب القديمة والمكسورة التي لا تتناسب مع بعضها البعض.

ماذا يحدث: بمجرد أن يبدأ الذكاء الاصطناعي في الممارسة، فإنه يتخلص فوراً من الألعاب المكسورة.
العلم وراء ذلك: يقوم الذكاء الاصطناعي بسرعة بإزالة "التفاعلات الشبيهة بالضجيج". وهي تلك التعليمات المعقدة والمربكة حيث تلغي التأثيرات الإيجابية والسلبية بعضها البعض (مثلاً: قاعدة تقول "اذهب يساراً"، وأخرى تقول "اذهب يميناً").
النتيجة: تصبح الغرفة أكثر نظافة. يحتفظ الذكاء الاصطناعي فقط بالتعليمات البسيطة والموثوقة (مثل "نار = ساخنة"). وهذا هو سبب حصول الذكاء الاصطناعي على دفعة سريعة في الأداء في بداية الأمر.

المرحلة الثانية: "الإفراط في التزيين" (الجزء السيئ)

المدة: بقية فترة التدريب (المدى الطويل).

بمجرد أن تصبح الغرفة نظيفة، يستمر الذكاء الاصطناعي في الممارسة. ولكن بدلاً من تعلم قواعد جديدة ومفيدة، يبدأ في الإفراط في التزيين.

ماذا يحدث: يبدأ الذكاء الاصطناعي في ابتكار قواعد جديدة ومعقدة للغاية لا تصلح إلا لأمثلة كراسة التمارين المحددة، وليس للعالم الحقيقي.
العلم وراء ذلك: يبدأ الذكاء الاصطنا في تعلم "التفاعلات المفرطة في التخصيص" (Overfitted interactions). وهي أنماط عالية التعقيد تبدو وكأنها منطقية، لكنها في الواقع مجرد حفظ للأمثلة المحددة في بيانات التدريب. إنها أنماط هشة ولا يمكن تعميمها.
النتيجة: يبدأ الذكاء الاصطناعي في "نسيان" كيف يكون مساعداً عاماً، ويتحول إلى روبوت يعرف فقط كراسة التمارين المحددة. وهذا هو السبب في أن الأداء قد ينخفض أو يصبح غير مستقر إذا تم التدريب لفترة طويلة جداً.

النقاط الرئيسية المستخلصة

"النقطة المثالية" صغيرة جداً: تدعي الورقة أن الوقت الوحيد الذي يتعلم فيه الذكاء الاصطناعي شيئاً مفيداً حقاً (من خلال إزالة الضجيج) هو في تلك اللحظة الأولى القصيرة جداً.
البيانات الأكثر ليست دائماً أفضل: إذا استمررت في تدريب الذكاء الاصطناعي بعد مرحلة التنظيف القصيرة تلك، فأنت لا تجعله أكثر ذكاءً؛ بل تعلمه فقط حفظ بيانات التدريب بدقة مبالغ فيها (الإفراط في التخصيص).
"الهيكل الأساسي" موجود بالفعل: القواعد الأكثر موثوقية التي يستخدمها الذكاء الاصطناعي للإجابة على الأسئلة كانت موجودة بداخله بالفعل قبل أن يبدأ الممارسة. الضبط الدقيق ساعد فقط في جعل الذكاء الاصطناعي يتوقف عن استخدام القواعد المربكة والمكسورة. لم يبنِ عقلاً جديداً، بل قام فقط بتنظيف عقله القديم.

النصيحة العملية (التوقف المبكر)

تقترح الورقة طريقة جديدة لتدريب الذكاء الاصطناعي: توقف مبكراً.

بدلاً من تدريب الذكاء الاصطناعي لأيام على مجموعات بيانات ضخمة، يجب عليك مراقبة "تعليمات الليغو" هذه. بمجرد أن يتوقف الذكاء الاصطنا عن التخلص من "الألعاب المكسورة" (الضجيج) ويبدأ في التقاط "زينة غريبة جديدة" (الإفراط في التخصيص)، يجب عليك الضغط على زر الإيقاف.

باخت-صار: تجادل الورقة بأن "الأقل هو الأكثر" بالنسبة للنماذج اللغوية الكبيرة. القليل من الممارسة ينظف الفوضى، لكن الكثير من الممارسة يخلق فقط فوضى جديدة وأكثر تعقيداً.

ملخص تقني: التوفيق بين الرؤى المتناقضة حول فعالية الضبط الدقيق تحت الإشراف (SFT) في النماذج اللغوية الكبيرة (LLMs): منظور التفاعل

بيان المشكلة

يعد الضبط الدقيق تحت الإشراف (SFT) استراتيجية قياسية لتكييف الشبكات العصبية العميقة (DNNs) سابقة التدريب مع مهام محددة النطاق. ومع ذلك، تظل فعالية هذه العملية في النماذج اللغوية الكبيرة (LLMs) موضوعًا لوجهات نظر متناقضة. فبينما تشير بعض الدراسات إلى أن SFT ضروري لتحسين اتباع التعليمات والقدرة على الاستخدام، يرى آخرون أنه يؤدي إلى الإفراط في التخصيص (Overfitting)، ويحد من القدرة على التعميم، وقد يؤدي حتى إلى تدهور الأداء. تعالج هذه الورقة السؤال العلمي التالي: ما هي العوامل الداخلية التي تفسر عدم الاتساق في فعالية SFT عبر مختلف النماذج اللغوية الكبيرة؟ وتحديدًا، يسعى المؤلفون إلى قياس أنماط الاستدلال التي يتم تعلمها أثناء SFT لتفسير سبب تحسين الأداء في بعض الحالات مقابل التسبب في الإفراط في التخصيص في حالات أخرى.

المنهجية

تستخدم الورقة إطار تفسير قائم على التفاعل لتحليل أنماط الاستدلال الداخلية للنماذج اللغوية الكبيرة. يعامل هذا النهج التفاعلات بين متغيرات المدخلات (الكلمات/الرموز) كأنماط استدلال أولية (أنماط العبارات) التي تمثل منطق النموذج بشكل أمين.

المفاهيم الجوهرية

تعريف التفاعل: يقوم المؤلفون بنمذجة درجة مخرجات النموذج اللغوي الكبير $v(x)$ باستخدام نموذج منطقي $\phi(x)$ يتكون من تفاعلات (و - AND) و (أو - OR).
- تفاعلات (و - AND): تمثل نمط عبارة حيث يجب تواجد مجموعة من متغيرات المدخلات جميعها لإحداث تأثير.
- تفاعلات (أو - OR): تمثل نمطًا حيث يؤدي وجود أي متغير في مجموعة ما إلى إحداث تأثير.
- تم إثبات أن النموذج المنطقي هو تقريب أمين لمخرجات النموذج اللغوي الكبير عبر جميع حالات القناع الـ $2^n$ للمدخلات.
تصنيف التفاعلات: أثناء عملية SFT، يتم تتبع التفاعلات وتصنيفها إلى ثلاثة أنواع بناءً على تطورها من حالة ما قبل التدريب ( $t=0$ ) إلى الخطوة $t$ :
- التفاعلات المُزالة: كانت مشفرة قبل SFT ولكن تم إلغاؤها أثناء التدريب.
- التفاعلات المحفوظة: كانت مشفرة قبل SFT واستمرت طوال فترة التدريب.
- التفاعلات الناشئة حديثًا: اكتُسبت خلال عملية SFT.
مقاييس الجودة: لتقييم موثوقية هذه التفاعلات، يستخدم المؤلفون:
- الرتبة/التعقيد: عدد المتغيرات المشاركة. التفاعلات ذات الرتبة المنخفضة هي عمومًا أكثر موثوقية.
- القدرة على التعميم ( $\gamma$ ): ما إذا كان التفاعل يُستخرج باستمرار عبر بنيات مختلفة للنماذج اللغوية الكبيرة (الهدف مقابل النموذج المرجعي).
- نسبة التأثير غير الملغي ( $\rho$ ): نسبة صافي تأثير التفاعل إلى إجمالي التأثيرات المطلقة. تشير قيمة $\rho$ المنخفضة إلى إلغاء متبادل قوي بين التأثيرات الإيجابية والسلبية، مما يشير إلى وجود ضجيج.
الإعداد التجريبي: تجري الدراسة SFT على نماذج لغوية كبيرة متعددة (مثل Llama-2/3، Qwen2.5، Gemma-3) عبر مجموعات بيانات متنوعة (GoEmotions، Unilaw-R1-Data، Databricks-Dolly-15k) باستخدام تقنية LoRA. ويتم تتبع تطور توزيعات التفاعل عبر خطوات التدريب.

النتائج الرئيسية

يكشف التحليل عن تطور متميز في مرحلتين من التفاعلات أثناء عملية SFT:

1. مرحلة إزالة الضجيج الوجيزة

الآلية الأساسية: في المراحل المبكرة جدًا من SFT (على سبيل المثال، ضمن أول 1,000 خطوة تدريب)، يقوم النموذج أساسًا بإزالة التفاعلات الشبيهة بالضجيج.
خصائص التفاعلات المُزالة:
- هي في الغالب عالية الرتبة (معقدة).
- تظهر إلغاءً متبادلاً قويًا (تتلاشى التأثيرات الإيجابية والسلبية، $\rho \approx 0$ ).
- تظهر قدرة ضعيفة على التعميم عبر بنيات النماذج المختلفة.
خصائص التفاعلات الناشئة مبكرًا: يحدث عدد قليل من التفاعلات الناشئة حديثًا في هذه المرحلة. تميل هذه التفاعلات إلى كونها منخفضة الرتبة، وقابلة للتعميم، ولها تأثيرات غير ملغاة عالية، مما يمثل أنماطًا موثوقة.

2. مرحلة الإفراط في التخصيض المطولة

الآلية الأساسية: بمجرد انتهاء مرحلة إزالة الضجيج الأولية، يؤدي الاستمرار في الضبط الدقيق إلى ظهور تفاعلات مفرطة في التخصيص.
خصائص التفاعلات الناشئة لاحقًا:
- ينشأ حجم كبير من التفاعلات الجديدة، لكنها في الغالب عالية الرتبة.
- تظهر قدرة منخفضة على التعميم (خاصة بالنموذج) وإلغاءً متبادلاً قويًا، حيث تتصرف بشكل مشابه للضجيج الذي تمت إزالته.
التفاعلات المحفوظة: تستقر مجموعة التفاعلات المحفوظة في وقت مبكر. هذه التفاعلات هي في الغالب منخفضة الرة، عالية التعميم، وتساهم باستمرار في التنبؤ (نسبة $\rho$ عالية). وهي تشكل "العمود الفقري" لاستدلال النموذج.

المساهمات الرئيسية

التشخيص القائم على التفاعل: تقدم الورقة تطور التفاعل كمقياس أمين لقياس الديناميكيات الداخلية لـ SFT في النماذج اللغوية الكبيرة، متجاوزة مجرد منحنيات الخسارة البسيطة.
التوفيق بين التناقضات: تفسر النتائج عدم اتساق فعالية SFT:
- الفائدة: يكون SFT فعالًا لأنه يزيل بسرعة التفاعلات غير الموثوقة والشبيهة بالضجيج الموجودة في النموذج قبل التدريب.
- الضرر: يصبح SFT ضارًا عندما يستمر التدريب لما بعد نافذة إزالة الضجيج الوجيزة، مما يؤدي إلى إدخال فيض من أنماط الضجيج المفرطة في التخصيص وغير القابلة للتعميم.
تحديد "العمود الفقري": تثبت الدراسة أن مجموعة صغيرة من التفاعلات المحفوظة (وبعض التفاعلات الناشئة مبكرًا) تشكل جوهر منطق الاستدلال الموثوق للنموذج اللغوي الكبير، بينما تساهم التفاعلات المُزالة والمتأخرة المنشأ بشكل هامشي أو تعمل كضجيج.

الأهمية والادعاءات

تدعي الورقة أن نتائجها توفر معيارًا مبدئيًا للإيقاف المبكر في عمليات SFT كاملة المسار.

توجيه عملي: إن "النطاق الفعال" لـ SFT قصير بشكل مفاجئ. لذا فإن جمع كميات هائلة من بيانات SFT أو التدريب لفترات طويلة قد يقدم قيمة إضافية محدودة ويخاطر بتدهور الأداء عن طريق إدخال أنماط مفرطة في التخصيص.
أداة مراقبة: يمكن لمقاييس التفاعل (تحديدًا ظهور التفاعلات عالية الرتبة والملغاة) أن تعمل كإشارات تشخيصية لمراقبة جودة التمثيل وتحديد نقطة التوقف المثلى للضبط الدقيق.
رؤية نظرية: تتحدى الورقة الاعتقاد السائد بأن مجموعات البيانات الأكبر وجداول التدريب الأطول مفيدة بطبيعتها للنماذج اللغوية الكبيرة، وتقترح بدلاً من ذلك أن الفائدة الأساسية لـ SFT هي إزالة الضجيج السريعة بدلاً من اكتساب قدرات استدلال جديدة وموثوقة.