🤖 machine learning

LASER: Language Model Regression for Semi-Structured Workflow Resource and Runtime Estimation

يُعد LASER إطار عمل مبتكرًا يقوم بضبط النماذج اللغوية الكبيرة على تكوينات سير عمل شبه مهيكلة متسلسلة للتنبؤ بدقة باستهلاك الموارد ووقت التشغيل، متفوقًا بذلك على النماذج المرجعية التقليدية لتعلم الآلة والخبراء البشريين من خلال الاستفادة من ترميز التدوين العلمي، وفك التشفير المقيد، وآليات الانتباه الكامل.

المؤلفون الأصليون: Yuxuan Yin, Shengke Zhou, Yunjie Zhang, Ajay Mohindra, Boxun Xu, Peng Li

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuxuan Yin, Shengke Zhou, Yunjie Zhang, Ajay Mohindra, Boxun Xu, Peng Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدير مطبخ ضخم ومزدحم (نظام حوسبة سحابية). في كل يوم، يقدم مئات الطهاة (المهام) وصفات معقدة (تكوينات سير العمل) ليتم طهيها. بعض الوصفات بسيطة، مثل غلي الماء؛ والبعض الآخر معقد، مثل مأدبة مكونة من 10 أطباق تتطلب أفرانًا محددة، وكميات دقيقة من المكونات، وتوقيتًا محددًا.

لتشغيل هذا المطبخ بكفاءة، تحتاج إلى معرفة شيئين قبل البدء في الطهي:

كم سيستغرق هذا من الوقت؟ (وقت التشغيل)
كم سيحتاج من الوقود والمساحة؟ (الموارد مثل وحدة المعالجة المركزية، والذاكرة، والقرص الصلب)

إذا أخطأت في التقدير، فإما ستضيع المال بطلب الكثير من الوقود (الإفراط في التخصيص) أو ستتسبب في حرق المطبخ لأنك لم تملك ما يكفي من الطاقة (نقص التخصيص).

الطريقة القديمة: مشكلة "قائمة التحقق"

تقليديًا، حاول المدراء التنبؤ بذلك عن طريق تحويل كل وصفة إلى قائمة طويلة ومملة من الأرقام. كان عليهم ترجمة أشياء مثل "استخدم مترجم aarch64" أو "اضبط إصدار Python إلى 3.11" يدويًا إلى أرقام محددة في جدول بيانات.

المشكلة هي أن هذه القائمة هشة.

إذا ظهرت أداة جديدة في المطبخ، تنكسر القائمة لأنه لم يكتب أحد رقمًا لها.
إنها تفقد "قصة" الوصفة. فهي ترى "Python 3.11" كمجرد رقم، متجاهلة حقيقة أنه إصدار محدد يتصرف بشكل مختلف عن الإصدار 3.9.
الأمر يشبه محاولة التنبؤ بمدة فيلم من خلال عد عدد الصفحات فقط، مع تجاهل الحبكة، أو الممثلين، أو المؤثرات الخاصة.

الطريقة الجديدة: LASER (المساعد الذكي)

يقدم البحث نظام LASER، وهو نظام يستخدم نموذج لغة كبير (LLM) — وهو ببساطة ذكاء اصطناعي فائق الذكاء قرأ الملايين من الوصفات، والأكواد، والكتيبات — ليعمل كـ "مساعد طاهٍ".

بدلاً من إجبار الوصفات على التحول إلى قائمة تحقق، يقرأ LASER النص الخام لتكوين المهمة. إنه يفهم لغة الوصفة بشكل طبيعي.

يرى الأمر python script.py ويفهم السياق.
يرى التبعيات والتسلسل الهرمي دون الحاجة إلى ترجمتها يدويًا إلى أرقام أولاً.

كيف يحل LASER ثلاث مشكلات صعبة

1. مشكلة "كبير جدًا أو صغير جدًا" (الترميز العلمي)
تتفاوت الموارد بشكل هائل. قد تحتاج مهمة إلى 500 ميجابايت من الذاكرة، بينما قد تحتاج أخرى إلى 50 تيرابايت. هذه فجوة ضخمة.

التشبيه: تخيل محاولة قياس حبة رمل وجبل بنفس المسطرة. الأمر فوضوي.
حل LASER: يستخدم LASER الترميز العلمي (مثل $5.0 \times 10^2$ ). إنه يعلم الذكاء الاصطناعي التحدث بـ "قوى العشرة". هذا يسمح للذكاء الاصطناعي بالتعامل مع الأرقام الصغيرة والضخمة على حد سواء دون ارتباك أو الحاجة إلى تعديلات رياضية معقدة.

2. مشكلة "الهلوسة" (فك التشفير المقيد)
عندما تطلب من ذكاء اصطناٍك ذكي أن يعطيك أرقامًا، فإنه أحيانًا يصبح مبدعًا ويخترع أشياءً من عنده (الهلوسة). قد يخترع اسم ملف وهمي أو يكتب رقمًا لا معنى له.

التشبيه: تخيل أنك تطلب من النادل الفاتورة، فيبدأ باختراع أصناف جديدة لم تطلبها.
حل LASER: يستخدم LASER فك التشفير المقيد. الأمر يشبه إعطاء النادل نموذجًا مطبوعًا مسبقًا به مربعات محددة لـ "الوقت"، و"وحدة المعالجة المركزية"، و"الذاكرة". يُسمح للذكاء الاصطناعي فقط بملء الأرقام داخل تلك المربعات. لا يمكنه اختراع مربعات جديدة أو كتابة كلام غير مفهوم.
ميزة إضافية: نظرًا لأن الذكاء الاصطناعي ليس مضطرًا لـ "التفكير" في هيكل الجملة (بما أن الهيكل ثابت)، فإنه يجيب أسرع بنسبة 30%.

3. مشكلة "القصة الطويلة" (الانتباه الكامل)
بعض الوصفات تكون طويلة جدًا. تفصيل ذُكر في بداية الوصفة قد يكون حاسمًا لخطوة في نهاية الوصفة.

التشبيه: تخيل قراءة رواية طويلة ولكنك لا تتذكر سوى الصفحات الأخيرة. قد تفوتك الحبكة التي حدثت في الصفحة الأولى.
حل LASER: معظم نماذج الذكاء الاصطناعي الحديثة تنظر فقط إلى "نافذة" من النص في كل مرة (مثل قراءة بضع صفحات في كل مرة). يجبر LASER النموذج على استخدام الانتباه الكامل، مما يعني أنه يمكنه النظر إلى الوصفة بأكملها من البداية إلى النهاية في وقت واحد. هذا يساعده على ربط النقاط بين الأجزاء البعيدة من تكوين المهمة.

النتائج

اختبر المؤلفون LASER في نوعين من "المطابخ":

تصميم الرقائق (Chip Design): مطبخ صناعي شديد التعقيد حيث يمكن لتغيير بسيط في نص برمجي أن يجعل المهمة تستغرق 10 أضعاف الوقت.
GitHub Actions: مجموعة بيانات عامة تضم أكثر من 580,000 مهمة برمجية من 27,000 مستودع مختلف.

النتيجة:

كان LASER أكثر دقة من الخبراء البشريين.
كان أفضل من نماذج تعلم الآلة التقليدية (التي تعتمد على "قائمة التحقق" أو الجداول).
أصبح أفضل مع تغذيته بمزيد من البيانات واستخدام نماذج أكبر (قانون القياس).
استطاع التنبؤ باحتياجات مهام لم يرها من قبل، مما أظهر أنه تعلم منطق العمل، وليس مجرد حفظ الإجابات.

باختصار، يستبدل LASER العملية الهشة واليدوية لترجمة الوصفات إلى أرقام بذكاء اصطناعي ذكي وملم باللغة، يقرأ الوصفة، ويفهم السياق، ويعطي تقديرًا دقيقًا وموثوقًا للوقت والموارد.

ملخص تقني: LASER – نموذج لغوي للانحدار لتقدير موارد ووقت تشغيل سير العمل شبه المهيكل

بيان المشكلة

يعد التنبؤ الدقيق بوقت التشغيل واستهلاك الموارد (المعالج، الذاكرة، القرص) لمهام سير العمل السحابي أمراً ضرورياً لجدولة فعالة، والتحكم في التكاليف، وتخطيط البنية التحتية. تؤدي التنبؤات الخاطئة إما إلى الإفراط في التخصيص (هدر موارد الحوسبة) أو نقص التخصيص (مما يتسبب في فشل المهام وإعادة تشغيل مكلفة).

تتعامل النهج الحالية مع هذه المسألة كمسألة انحدار جدولي (tabular regression)، مما يتطلب هندسة ميزات هشة لتحويل تكوينات سير العمل المعقدة وشبه المهيكلة إلى متجهات ثابتة الحجم. تتضمن هذه التكوينات أوامر "shell"، ومعلمات خاصة بالأدوات، ورسوم بيانية للتبعية، وبيانات وصفية هرمية. وتواجه الطرق التقليدية صعوبات في:

الفقدان الدلالي (Semantic Loss): غالباً ما تفشل هندسة الميزات اليدوية في التقاط السياق الدلالي الحرج (مثل الفرق بين الأهداف aarch64 و x86_64).
الهشاشة (Fragility): تتعطل خطوط الأنابيب (pipelines) بصمت عند ظهور أدوات أو أوامر جديدة، وهو أمر شائع في الخدمات السحابية المتطورة.
انتهاك الافتراضات: تعتمد العديد من الطرق على افتراضات خطية بين حجم المدخلات ووقت التشغيل، وهي افتراضات لا تصمد أمام أعباء العمل غير المتجانسة مثل تصميم الرقائق أو التكامل المستمر/النشر المستمر (CI/CD).
محدودية البيانات: تفتقر مجموعات البيانات العامة الموجودة غالباً إلى التنوع الدلالي المطلوب لتدريب النماذج على سير عمل حقيقي وغير متجانس.

المنهجية: إطار عمل LASER

يعيد إطار LASER (النموذج اللغوي القائم على الانحدار لتقدير موارد ووقت تشغيل مهام سير العمل شبه المهيكلة) صياغة التنبؤ بالموارد كمسألة توليد من تسلسل إلى تسلسل (sequence-to-sequence generation). بدلاً من هندسة الميزات، يقوم LASER بضبط نماذج اللغات الكبيرة (LLMs) مباشرة على تكوينات المهام الخام والمتسلسلة لتوليد مخرجات JSON مهيكلة تحتوي على تنبؤات الموارد.

يعتمد إطار العمل على ثلاثة ابتكارات تقنية أساسية:

1. ترميز مخرجات الصيغة العلمية

تمتد مقاييس الموارد (مثل الذاكرة من ميجابايت إلى تيرابايت، ووقت التشغيل من ثوانٍ إلى ساعات) عبر عدة مراتب عشرية، مما يسبب عدم استقرار في رؤوس الانحدار الخطي القياسية.

النهج: يتم ترميز الأهداف كمتواليات ثابتة الطول مكونة من 8 رموز (tokens) باستخدام الصيغة العلمية ( $m \times 10^e$ )، حيث يكون الجزء المعتمد $m \in [1.00, 9.99]$ والأس $e \in \mathbb{Z}$ .
الفائدة: يلغي هذا الحاجة إلى تطبيع (normalization) لكل هدف على حدة، ويسمح للنموذج بتعلم تمثيلات عددية متسقة عبر المقاييس المختلفة.
قيد المرمز (Tokenizer Constraint): قيد المؤلفون تجاربهم على المرمّزات (مثل Qwen-3، Gemma-3) التي ترمز الأرقام 0-9 كرموز منفردة، لضمان صحة افتراض الترميز ثابت الطول.

2. فك التشفير المقيد مع الملء القبلي الحتمي

يمكن أن يؤدي فك التشفير التلقائي (autoregressive decoding) القياسي إلى إنتاج ملفات JSON غير صالحة أو تنسيقات عددية خاطئة.

النهج: هيكل المخرجات (مفاتيح JSON، الفواصل، وهياكل الصيغة العلمية) عبارة عن ثوابت معروفة. يقوم النظام بتقسيم المخرجات إلى رموز حتمية (تُملأ مباشرة دون تمرير أمامي) ورموز توليدية (الأرقام التي يولدها النموذج).
الفائدة: يفرض هذا الهيكل صحة البنية من خلال التصميم (منع الهلوسة) ويقلل زمن الاستدلال بنسبة تزيد عن 30% عبر تخطي عمليات التمرير الأمامي للرموز الهيكلية الثابتة.

3. الضبط الدقيق بآلية الانتباه الكامل (Full-Attention)

غالباً ما تلجأ نماذج اللغات الكبيرة ذات السياق الطويل إلى آلية "الانتباه بالنافذة المنزلقة" (sliding-window attention) لتوف مدار الحوسبة.

النهج: يستخدم LASER آليات الانتباه الكامل أثناء الضبط الدقيق.
التعليل: غالباً ما تحتوي تكوينات سير العمل على إشارات تنبؤية عبر حقول بعيدة (على سبيل المثال، الهدف الخاص بالترجمة المحدد في البداية قد يؤثر على أداة يتم استدعاؤها لاحقاً). يضمن الانتباه الكامل رؤية السياق العالمي، وهو ما قد تغفله النوافذ المنزلقة.

الإعداد التجريبي ومجموعات البيانات

تم التحقق من صحة إطار العمل على مجموعتي بيانات متميزتين:

ChipDV (خاصة): أكثر من 160,000 مهمة سحابية من سير عمل صناعي للتحقق من تصميم الرقائق. التكوينات حساسة للغاية؛ حيث يمكن لتغييرات طفيفة في السكربت أن تسبب زيادة في وقت التشغيل بمقدار عشرة أضعاف.
GHARuntime (معيار عام): معيار جديد مشتق من سجلات GitHub Actions (GHALogs)، يحتوي على 1.3 مليون سجل تنفيذ لسير عمل CI/CD عبر أكثر من 27,000 مستودع GitHub و27 لغة برمجة.

شملت النماذج المرجعية (Baselines) خبراء بشريين، والحدود القصوى التاريخية، ونماذج تعلم آلي جدولية متطورة (XGBoost, LightGBM, TabPFN).

النتائج الرئيسية

الأداء ضمن التوزيع (In-Distribution Performance)

دقة فائقة: تفوق LASER بشكل كبير على الخبراء البشريين والأسس التاريخية في مجموعة بيانات ChipDV. على سبيل المثال، في مجموعة "ChipDV-Unseen"، حقق نموذج Gemma-3-12B متوسط خطأ مطلق (MAE) قدره 23.76 دقيقة لوقت التشغيل، مقارنة بـ 53.60 دقيقة للخبراء البشريين.
توسع النموذج (Model Scaling): تحسن الأداء باستمرار مع حجم النموذج (من 270 مليون إلى 12 مليار معلمة)، حيث حققت النماذج الأكبر أفضل النتائج عبر جميع الأهداف (وقت التشغيل، المعالج، الذاكرة، القرص).

التعميم خارج التوزيع (Out-of-Distribution - OOD)

الانجراف الزمني (Temporal Drift): عند اختباره على مهام مستقبلية (قبل 26 يوماً)، حافظ LASER على دقة مستقرة لمقاييس الموارد (المعالج، الذاكرة، القرص)، مما أثبت أنه تعلم أنماط استهلاك قابلة للتعميم بدلاً من الإفراط في التخصيص لفترة التدريب.
التعميم عبر المستودعات: في معيار GHARuntime، أظهر LASER سلوكاً قوياً في توسع البيانات. وبينما أخفقت النماذج الصغيرة أمام النماذج الجدولية عند توفر بيانات محدودة (1k عينة)، استطاع LASER مضاهاة أو تجاوز TabPFN-v2.6 مع 10k إلى 100k عينة تدريب، بينما وصلت الطرق الجدولية إلى مرحلة الثبات مبكراً.

الكفاءة والدراسة الاستقصائية (Ablation)

زمن الاستجابة (Latency): قلل فك التشفير المقيد من وقت الاستدلال بنسبة 30-36% عبر أحجام النماذج المختلفة.
آلية الانتباه: تفوق الضبط الدقيق بالانتباه الكامل باستمرار على الانتباه بالنافذة المنزلقة، خاصة في النماذج الصغيرة (1 مليار معلمة)، مما يؤكد أهمية السياق العالمي.
طول التسلسل: تحسنت الدقة مع أطوال التسلسل حتى 2048 رمزاً، مع تناقص العوائد بعد ذلك.

الأهمية والادعاءات

يدعي البحث أنه يؤسس لنموذج جديد يعتمد على النماذج اللغوية الكبيرة للانحدار على بيانات سير العمل شبه المهيكلة. وتتمثل مساهماته الرئيسية في:

القضاء على هندسة الميزات الهشة: من خلال التعامل مع التكوينات الخام كنص، يتجنب LASER عملية استخراج الميزات اليدوية المرهقة والهشة، مما يتيح التعميم على أدوات وأوامر جديدة.
الابتكار التقني في الانحدار: يحل الجمع بين ترميز الصيغة العلمية وفك التشفيد المقيد التحديات المحددة للانحدار العددي عبر التوليد (التعامل مع المقياس والصلاحية).
معيار جديد: يوفر إصدار GHARuntime أول معيار عام غني دلالياً للتنبؤ بوقت تشغيل سير العمل، مما يعالج نقص مجموعات البيانات المتنوعة في هذا المجال.

يخلص المؤلفون إلى أن LASER يثبت أن النماذج اللغوية الكبيرة التي تم ضبطها بدقة يمكن أن تعمل بفعالية كأدوات انحدار لأعباء العمل الصناعية المعقدة وشبه المهيكلة، متفوقة بذلك على كل من التقديرات البشرية والنهج التقليدية للتعلم الآلي الجدولي.