Prompting Underestimates LLM Capability for Time Series Classification

إليك ملخص تقني مفصل لورقة البحث "Prompting Underestimates LLM Capability for Time Series Classification" (التحفيز يقلل من تقدير قدرة النماذج اللغوية الكبيرة في تصنيف السلاسل الزمنية) للباحثين شومر وآخرون.

1. بيان المشكلة

تشير التقييمات الأخيرة إلى أن النماذج اللغوية الكبيرة (LLMs) تؤدي أداءً ضعيفًا في مهام تصنيف السلاسل الزمنية، حيث تحقق غالبًا دقة تقارب العشوائية عند استخدام التحفيز صفري المحتوى (zero-shot prompting). وقد أدى ذلك إلى فرضية مفادها أن النماذج اللغوية الكبيرة تفتقر إلى القدرة على ترميز البنى الزمنية ذات المعنى.

يجادل المؤلفون بأن هذا الاستنتاج معيب لأنه يخلط بين القدرة التمثيلية للنموذج (ما "يعرفه" النموذج داخليًا) وبين قيود واجهة فك التشفير (مدى جودة قدرة النموذج على التعبير عن تلك المعرفة عبر توليد النصوص). وتفترض الورقة أن التقييمات الحالية القائمة على التحفيز تقلل بشكل منهجي من القدرات الحقيقية للنماذج اللغوية الكبيرة في مهام السلاسل الزمنية بسبب صعوبة استخراج المعلومات التمييزية من خلال توليد اللغة الطبيعية بدلاً من الوصول المباشر إلى الحالات الداخلية.

2. المنهجية

تستخدم الدراسة إطار عمل مقارن للفصل بين أداء التحفيز وجودة التمثيل الداخلي.

أ. الإعداد التجريبي

• النماذج: قيم المؤلفون العديد من النماذج المتطورة، بما في ذلك:
  • نماذج الرؤية واللغة (vLLMs): Llama-3.2-11B-Vision، Mistral-Small-3.1-24B، Qwen2.5-VL-32B.
  • النماذج اللغوية الكبيرة النصية فقط: Gemma-2-9B، GPT-oss.
• مجموعات البيانات: تم استخدام ست مجموعات متنوعة من بيانات السلالة الزمنية، تغطي مجالات مثل الرعاية الصحية (EMG، TEE)، التعرف على النشاط البشري (HAR، HAD)، التمويل/الطاقة (CTU)، والعلوم البيئية (RWC).
• أنماط المدخلات:
  1. النص (d): قيم عددية تمت تسلسليتها إلى رموز تعتمد على الأرقام (على سبيل المثال، 1.2 $\to$ 1 2) لتجنب تفتت ترميز بايت-زوج-الزوج (BPA).
  2. البصري (v): سلاسل زمنية مُصورة كرسوم بيانية خطية أو مخططات طيفية (spectrograms).
  3. متعدد الوسائط (d + v): مزيج من المدخلات النصية والبصرية.

ب. نماذج التقييم

تتضمن منهجية الدراسة الأساسية مقارنة طريقتين مختلفتين للتقييم على نفس التمثيلات الداخلية:

1. التصنيف القائم على التحفيز (Prompt-Based Classification): يتم تحفيز النموذج لتوليد تسمية الفئة مباشرة (مثل "صنف هذه السلسلة كـ A أو B"). ويُقاس الأداء من خلال النص المولد.
2. المسبار الخطي (Linear Probing): بدلاً من توليد النصوص، يستخرج المؤلفون تمثيلات الحالة المخفية ($h^{(\ell)}$) من طبقات محددة ($\ell$) من النموذج اللغوي الكبير المجمد. يتم تدريب مصنف خطي خفيف الوزن (انحدار لوجستي) على هذه التمثيلات للتنبؤ بتسمية الفئة.
   • عناصر التحكم: لضمان أن المسبار لا يقوم بمجرد الحفظ، استخدموا خط أساس المسبار العشوائي (تدريب مسبار على نموذج بأوزان عشوائية) وقارنوه مع خطوط الأساس القياسية للسلاسل الزمنية (Attend، TS2Vec، Moment، OneFitsAll).

ج. دراسات الاستئصال (Ablation Studies)

اختبر المؤلفون تأثير:

• سلسلة الأفكام (Chain-of-Thought - CoT): هل يحسن الاستنتاج التمثيل أم التحفيز؟
• التعلم داخل السياق (In-Context Learning - Few-Shot): هل يساعد تقديم الأمثلة؟
• استقرار التحفيز: الحساسية لتغيرات صياغة التحفيز واتساق أخذ العينات.

3. المساهمات الرئيسية

1. الفصل بين القدرة والواجهة: هذا هو العمل الأول الذي يفصل صراحة بين أداء مستوى التحفيز والقدرة التمثيلية في تصنيف السلاسل الزمنية. لقد أظهروا أنه بينما تفشل النماذج اللغوية الكبيرة في توليد الإجابات الصحيحة عبر التحفيز، فإن حالاتها الداخلية تحتوي على معلومات زمنية تمييزية عالية.
2. تفوق المسبار على التحفيز: تظهر الدراسة أن المسبارات الخطية البسيطة على الحالات المخفية للنماذج اللغوية الكبيرة المجمدة تتفوق باستمرار أو تضاهي مسارات السلاسل الزمنية المعقدة والمصقولة (fine-tuned) وأساليب التحفيز.
3. التحليل على مستوى الطبقات: حدد المؤلفون أن المعلومات الزمنية المميزة للفئات تظهر مبكرًا في هيكل المحول (Transformer) (غالبًا ضمن الطبقات الـ 5 إلى 12 الأولى) ويتم تعزيزها بواسطة المدخلات البصرية، مما يشير إلى أن النماذج اللغية الكبيرة تعمل كمشفرات تسلسل فعالة قبل مراحل الاستنتاج عالية المستوى.

4. النتائج الرئيسية

أ. فجوة الأداء (التحفيز مقابل المسبار)

هناك تباين هائل بين ما يمكن للنماذج اللغوية الكبيرة أن "تقوله" وما "تعرفه":

• متوسط درجات F1:
  • التحفيز: Llama (0.15)، Mistral (0.26)، Qwen (0.24). هذه القيم تقارب الصدفة العشوائية.
  • المسبار: Llama (0.61)، Mistral (0.65)، Qwen (0.67).
• حالة محددة (مجموعة بيانات EMG):
  • تحفيز Llama: 0.175 F1.
  • مسبار Llama: 1.00 F1 (فصل مثالي).
    هذا يشير إلى أن النموذج يرمز الإشارة بشكل مثالي ولكنه يفشل في استرجاعها عبر توليد النصوص.

ب. المقارنة مع أحدث التقنيات (SOTA)

• أداء المسبار: حققت المسبارات الخطية على نماذج الرؤية واللغة (vLLMs) متوسط درجات F1 (0.61–0.67) تنافس، وفي بعض الحالات تتجاوز، نماذج السلاسل الزمنية التأسيسية المتخصصة مثل Moment (0.76) و OneFitsAll (0.61).
• الوسيط البصري: أدى تضمين المدخلات البصرية (v) إلى رفع أداء المسبار بشكل كبير، خاصة لنموذجي Mistral و Qwen، مما يشير إلى أن نماذج الرؤية واللغة (vLLMs) تستفيد بفعالية من التعرف البصري على الأنماط للسلاسل الزمنية.

ج. استقرار وحساسية التحفيز

التقييم القائم على التحفيز غير مستقر للغاية. أدت التغييرات الصغيرة في صياغة التحفيز إلى متوسط تباين ($\Delta$) قدره 0.088 في Macro F1.
أدى تكرار أخذ العينات (Pass@20) إلى تحسين الدقة بنسبة ~0.048 فقط، مما يشير إلى أن الفشل ليس ناتجًا فقط عن ضوضاء أخذ العينات ولكن عن عدم قدرة جوهرية لواجهة التوليد على الوصول إلى المنطق الزمني.

د. النماذج اللغوية الكبيرة النصية فقط

تمتد النتائج إلى النماذج النصية فقط (Gemma، GPT-oss)، حيث تفوق المسبار (F1 ~0.46–0.60) بشكل كبير على التحفيز (F1 ~0.20)، مما يؤكد أن القصور يكمن في واجهة التحفيز، وليس في البنية متعددة الوسائط.

5. الأهمية والخاتمة

إعادة صياغة قدرات النماذج اللغوية الكبيرة:
تخلص الورقة إلى أن الفشل المتصور للنماذج اللغوية الكبيرة في تصنيف السلاسل الزمنية هو أثر ناتج عن واجهة التقييم، وليس نقصًا في القدرة التمثيلية. فالنماذج اللغوية الكبيرة تشفر بنى زمنية غنية وتمييزية في طبقاتها الأولى، لكن استراتيجيات التحفيز الحالية لا يمكنها استخراج هذه المعلومات بشكل موثوق عبر توليد النصوص.

الآثار المترتبة:

1. استخراج الميزات: يجب النظر إلى النماذج اللغوية الكبيرة (وvLLMs) كأدوات قوية وعامة لاستخراج الميزات للوسائط غير اللغوية. يمكن للمسبارات الخطية البسيطة على حالاتها المخفية أن تحل محل مسارات الضبط الدقيق المعقدة والمخصصة للمهام.
2. معايير التقييم: يجب أن تتجاوز التقييمات المستقبلية للنماذج اللغوية الكبيرة في المهام غير المتعلقة بمعالجة اللغات الطبيعية مجرد التحفيز صفري المحتوى. الاعتماد فقط على مقاييس التوليد يؤدي إلى تقليل منهجي لقدرات النماذج.
3. الاتجاهات المستقبلية: تشير الفجوة إلى الحاجة إلى آليات فك تشفير أفضل (مثل الاستخراج القائم على الانتباه، أو هندسة التحفيز الأفضل، أو البنى الهجينة) التي يمكن أن تسد الفجوة بين التمثيل الداخلي والمخرجات الخارجية.

باختدال، تثبت الورقة أن النماذج اللغوية الكبيرة "تعرف" أكثر عما يمكنها "قوله"، وأن المسبار الخطي يكشف عن قدرة كامنة تفوتها تقييمات التحفيز تمامًا.