ملخص تقني: TRIM (البروز المستمد من الانتباه على مستوى الرمز لضبط التعليمات بكفاءة البيانات)

1. بيان المشكلة

يعد ضبط التعليمات (Instruction tuning) أمراً حاسماً لمواءمة النماذج اللغوية الكبيرة (LLMs) مع نوايا المستخدم، ومع ذلك، فإنه يعتمد تقليدياً على مجموعات بيانات ضخمة ومتنوعة. وبينما تشير الأبحاث الحديثة إلى أن المجموعات الفرعية الصغيرة عالية الجودة (coresets) يمكن أن تضاهي أو تتفوق على أداء البيانات الكاملة، فإن تنسيق هذه المجموعات الفرعية يظل تحدياً كبياً.

تواجه طرق اختيار البيانات الحالية عائقين رئيسيين:

1. التكلفة الحسابية: تعتمد الأساليب المتطورة غالباً على دالات التأثير (influence functions) أو الإشارات القائمة على التدرج (مثل LESS وTAGCOS)، والتي تتطلب عمليات تمرير خلفي (backward passes) مكلفة لكل عينة مرشحة، مما يجعلها غير مجدية لمجموعات تعليمات ضخمة.
2. التحيز والتدريج (Granularity): تعمل الطرق الحالية عادةً على مستوى العينة، حيث تخصص درجة أهمية واحدة للتسلسل بأكمله. هذا النهج الفضفاض يؤدي إلى تحيزات منهجية:
   • تحيز الطول: غالباً ما يؤدي تجميع الإشارات على مستوى الرمز (مثل مقدار الخسارة أو مقدار التدرج) إلى ربط الدرجات بطول التسلسل، مما يفضل الأمثلة الأقصر حتى لو كانت تحتوي على قدر أقل من الاستنتاج.
   • التحيز المتمحور حول الخسارة (Loss-Centric Bias): يقوم التنبؤ بالرمز التالي بتوزيع "الائتمان" بشكل موحد عبر الرموز، متجاهلاً حقيقة أن الأدلة ذات الصلة بالمهمة غالباً ما تكون نادرة وموضعية في رموز محددة (مثل العمليات الرياضية أو الروابط المنطقية).

السؤال الجوهري الذي تعالجه هذه الدراسة هو: بالنظر إلى عدد قليل فقط من الأمثلة المستهدفة، كيف يمكننا تحديد بيانات التعليمات عالية التأثير بكفاءة من خلال الانتقال من تسجيل المستوى العينة إلى إشارات مستوى الرمز؟

2. المنهجية: TRIM

يقترح المؤلفون TRIM (البروز عبر الانتباه متعدد الطبقات القابل للتفسير)، وهو إطار عمل مركزي للرموز يعمل في الاتجاه الأمامي فقط (forward-only)، ويتجنب حساب التدرج تماماً. تعمل الطريقة في مرحلتين باستخدام نموذج "مُقيّم" ($M_{warmup}$) تم تسخينه لفترة وجيزة على مجموعة فرعية عشوائية صغيرة من مجموعة المرشحين.

المرحلة الأولى: بناء بصمات الرموز المرجحة بالبروز

باست using مجموعة تحقق مستهدفة صغيرة ($T_{val}$)، يبني TRIM قاموساً من "البصمات" التي تمثل كيفية ظهور الرموز المحددة للمهمة في السياق.

• حساب بروز الرمز (Token Saliency): بدلاً من استخدام التدرجات، يستمد TRIM أهمية الرمز من آليات الانتباه. يقوم بحساب إشارتين متكاملتين لكل رمز $i$:
  • بروز الصف ($Q_i$): يقيس "حدة" توزيع انتباه الرمز (الإنتروبيا المنخفضة تشير إلى أن الرمز يركز على مفاتيح محددة).
  • بروز العمود ($K_j$): يقيس مدى تلقي الرمز للانتباه من الرموز الأخرى (باعتباره "مركزاً" أو hub).
  • يتم تجميع هذه القيم عبر الطبقات والرؤوس، وتطبيعها، ودمجها عبر متوسط مرجح ($\alpha_i$) لإنتاج درجة بروز نهائية.
• بناء البصمة: لكل فئة رمز (رمز المفردات الفريد)، يتم إنشاء متجه بصمة ($f_t$). وهذا هو المتوسط المرجح بالبروز للحالات المخفية (hidden states) للطبقة الأخيرة لجميع حالات ظهور ذلك الرمز في $T_{val}$.
• إعادة وزن التكرار: لمنع رموز التنسيق الشائعة من الهيمنة، يتم قياس أوزان البروز بواسطة تردد المستند العكسي (IDF) المحسوب عبر مجموعة المرشحين.

المرحلة الثانية: تسجيل النقاط واختيار المرشحين

يقوم TRIM بتسجيل نقاط كل عينة مرشحة في المجموعة الكبيرة ($S$) عن طريق مطابقة تمثيلات الرموز الخاصة بها مع البصمات.

• المطابقة على مستوى الرمز: لكل رمز في العينة المرشحة، يحسب النموذج تشابه جيب التمام (cosine similarity) بين الحالة المخفية للرمز وبصمة الفئة المقابلة لها.
• التعامل مع الرموز غير المرئية: إذا لم تظهر فئة رمز في $T_{val}$، فسيتم رسم خرائط لها إلى أقرب فئة مبصمة في مساحة التضمين (embedding space)، مع معاقبة درجة التشابه بمعامل $\lambda$.
• التجميع المتين (Robust Pooling): يتم تجميع درجات مستوى الرمز في درجة عينة واحدة باستخدام مزيج من:
  • المتوسط (Mean): المعلوماتية العامة.
  • الحد الأقصى (Max): وجود رموز حاسمة للغاية.
  • التغطية (Coverage): مصطلح يكافئ العينات التي تكون فيها الرموس المسجلة أقل تشتتاً، مما يخفف من تحيز الطول.
• الاختيار: تشكل العينات الأعلى تصنيفاً المجموعة الفرعية النهائية.

3. المساهمات الرئيسية

1. النموذج المركزي للرموز: ينقل TRIM التركيز من تسجيل مستوى العينة الفضفاض إلى مطابقة التمثيل على مستوى الرمز، مما يلتقط الميزات الهيكلية (النحو، العمليات) التي تحدد المهمة.
2. كفاءة الاتجاه الأمامي فقط: من خلال الاعتماد حصرياً على البروز المستمد من الانتباه والحالات المخفية، يلغي TRIM الحاجة إلى عمليات التمرير الخلفي أثناء مرحلة الاختيار، مما يحقق تسارعاً بمقدار عدة أوامر من مضاعفات القدر (orders-of-magnitude) مقارنة بالطرق القائمة على التدرج.
3. تخفيف التحيز: يقلل التجميع على مستوى الرمز بطبيعته من تحيز الطول، مما يسمح باختيار أمثلة استنتاج أطول وأكثر تعقيداً والتي غالباً ما تستبعدها الطرق على مستوى العينة.
4. القابلية للنقل: تثبت الطة أن المجموعات الفرعية التي اختارها نموذج مُقيّم صغير (مثل 7B) تنتقل بفعالية إلى نماذج أكبر (مثل 13B) وبنيات مختلفة (مثل Mistral)، مما يلتقط أنماطاً هيكلية مستقلة عن النموذج.

4. النتائج التجريبية

قيم المؤلفون TRIM على نموذج LLAMA-2-7B (مع النقل إلى 13B/Mistral) عبر اختبارات الاستدضاء العامة (MMLU, BBH, TYDIQA) ومهمة رياضية صعبة (GSM8K) باستخدام مجموعة مرشحة مكونة من 270 ألف مثال تعليمي.

• الأداء: باستخدام مجموعة فرعية بنسبة 5%، حقق TRIM متوسط دقة قدره 48.56% في الاختبارات العامة، متفوقاً على أقوى خط أساس (LESS, 48.27%) ومتجاوزاً الضبط الدقيق للبيانات الكاملة في TYDIQA.
• المهام الصعبة (GSM8K): في إعداد منخفض التداخل (اختيار بيانات الرياضيات من مجموعة عامة)، وصلت مجموعة TRIM الفرعية بنسبة 5% إلى دقة 29.52%، وهي تقارب تقريباً الضبط الدقيق للبيانات الكاملة (30.25%) وتتفوق على LESS بنسبة تقارب 8.8%. وحتى عند ميزانية 1%، تفوقت TRIM (22.33%) بشكل كبير على البدائل.
• الكفاءة: قلل TRIM وقت تشغيل الاختيار إلى 4.40 ساعة مقارنة بـ 35.76 ساعة لـ LESS و87.95 ساعة لـ S2L، ويرجع ذلك أساساً إلى إلغاء عمليات التمرير الخلفي وجمع المسارات.
• تحيز الطول: أظهر التحليل أن TRIM اختار مجموعات فرعية بمتوسط طول 446 رمزاً، وهو أطول بكثير من LESS (323) وTAGCOS (259)، مما يؤكد قدرته على اختيار أمثلة استنتاج معقدة.
• الاختيار داخل النطاق: تم تكييف TRIM لاختيار البيانات دون أمثلة مستهدفة خارجية، محققاً أداءً يضاهي S2L وLESS مع كونه أكثر كفاءة في الحوسبة.

5. الأهمية والادعاءات

تضع الورقة البحثية TRIM كبديل قابل للتوسع وفعال لبناء مجموعات بيانات ضبط التعليمات عالية الجودة. يدعي المؤلفون أنه من خلال الاستفادة من "البصمات" المستمدة من الانتباه، يمكن لـ TRIM تحديد بيانات التدريب التي تطابق الأنماط الهيكلية التي تحدد المهمة، بدلاً من الاعتماد على حسابات التدرج المكلفة أو التشابه السطحي.

تؤكد الدراسة أن:

• يوفر TRIM مساراً عملياً للضبط الفعال للبيانات، مما يمكن الممارسين من تنسيق مجموعات بيانات أصغر وأعلى جودة بتكلفة حسابية أقل بكثير.
• التسجيل على مستوى الرمز هو إشارة متفوقة لضبط التعليمات، خاصة للمهام التي تتطلب استنتاجاً مهيكلاً، لأنه يتجنب التحيزات المنهجية المتأصلة في المقاييس على مستوى العينة.
• الطريقة قوية عبر مقاييس النماذج والبنيات المختلفة، مما يشير إلى أن الأنماط الهيكلية المحددة للمهمة قابلة للنقل عبر عائلات LLM المختلفة.

يحافظ المؤلفون على موقف متواضع بشأن السلامة، مشيرين إلى أنه بينما يحسن TRIM الكفاءة، فإنه لا يكتشف المحتوى الضار بطبيعته؛ لذلك يجب استخدامه جنباً إلى جنب مع ممارسات حوكمة البيانات الراسخة (التصفية، التدقيق) للتخفيف من مخاطر تضخيم التحيز.