💬 NLP

Lossless Prompt Compression via Dictionary-Encoding and In-Context Learning: Enabling Cost-Effective LLM Analysis of Repetitive Data

تقدم هذه الورقة طريقة لضغط المطالبات (prompt compression) غير معتمدة على التدريب وغير فاقدة للمعلومات، تُمكّن النماذج اللغوية الكبيرة من إجراء التعلم في السياق (in-context learning) على البيانات المتكررة المرمزة بقواميس (dictionary-encoded)، محققةً ضغطاً يصل إلى 80% مع الحفاظ على الدقة التحليلية وتقليل تكاليف واجهة برمجة التطبيقات (API) وحدود الرموز (tokens) بشكل كبير.

المؤلفون الأصليون: Andresa Rodrigues de Campos, David Lee, Imry Kissos, Piyush Paritosh

نُشر 2026-04-16

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Andresa Rodrigues de Campos, David Lee, Imry Kissos, Piyush Paritosh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من الكتب، ولكن كل صفحة فيها مليئة بنفس الجمل المملة المكررة مراراً وتكراراً. إذا أردت أن تطلب من أمين مكتبة فائق الذكاء (ذكاء اصطناعي) تحليل هذه الكتب، فسيتعين عليك قراءة كل كلمة بصوت عالٍ له. وبما أن أمين المكتبة يتقاضى أجراً مقابل كل كلمة تنطق بها، فإن هذا سيكلف ثروة ويستغرق وقتاً طويلاً جداً.

تقدم هذه الورقة البحثية حيلة ذكية لحل هذه المشكلة دون فقدان أي معلومات. وإليك كيف تعمل، مشروحة ببساطة:

المشكلة: "ضريبة الكلمات"

النماذج اللغوية الكبيرة (LLMs) تشبه المحققين العباقرة، لكن لديها نقطتا ضعف كبيرتان:

تتعب: لا يمكنها قراءة كمية معينة من النصوص في المرة الواحدة (نافذة السياق).
مكلفة: أنت تدفع مقابل كل كلمة (توكن/Token) تعالجها.

عند التعامل مع بيانات متكررة — مثل سجلات الكمبيوتر حيث تظهر نفس رسالة الخطأ 10,000 مرة — فأنت تدفع "ضريبة الكلمات" لنفس المعلومة مراراً وتكراراً.

الحل: قاموس "الشيفرة السرية"

أدرك المؤلفون أنه بدلاً من ضغط النص إلى تنسيق لا يستطيع الذكاء الاصطناعي قراءته (مثل ملف ZIP)، يمكنهم تعليم الذكاء الاصطناعي شيفرة سرية مباشرة قبل أن يبدأ القراءة.

فكر في الأمر كالتالي:

الطريقة القديمة: تسلم الذكاء الاصطناعي وثيقة من 100 صفحة حيث تتكرر عبارة "System Error Code 404" 50 مرة. أنت تدفع مقابل 500 كلمة.
الطريقة الجديدة: تسلمه ملاحظة صغيرة تقول: "القاعدة: كلما رأيت الرمز ، فهذا يعني 'System Error Code 404'."
ثم تسلمه الوثيقة، ولكنك استبدلت كل عبارة طويلة بالرمز القصير .

الآن، الوثيقة صغيرة جداً. يقرأ الذكاء الاصطناعي الرموز القصيرة، ويتذكر القاعدة التي أعطيتها له، ويفهم المعنى الكامل تماماً.

كيف فعلوا ذلك (الـ "مُصنف الذكي")

تصف الورقة برنامجاً حاسوبياً يعمل كـ محرر فائق الكفاءة:

يمسح النص: يبحث عن الأنماط المتكررة، مثل "Error: Connection failed at 10:00 AM".
يتحقق من الحسابات: يسأل نفسه: "هل هذه العبارة طويلة بما يكفي بحيث يؤدي استبدالها برمز قصير إلى توفير المال فعلياً؟" إذا كان الرمز طويلاً جداً أو العبارة لا تتكرر كثيراً، فإنه يتخطاها.
يبني القاموس: ينشئ قائمة بهذه الاختصارات (على سبيل المثال: <M1> تعني "Error: Connection failed...").
يستبدل النص: يستبدل العبارات الطويلة في النص الأصلي بالرموز القصيرة.

الجزء "السحري": التعلم في السياق (In-Context Learning)

الجزء الأكثر إثارة للإعجاب هو أنهم لم يضطروا لإعادة تدريب الذكاء الاصطناعي.

عادةً، لجعل الذكاء الاصطناعي يفهم شفرة جديدة، يجب عليك قضاء شهور في تعليمه (ضبط النموذج/Fine-tuning). هنا، قمت فقط بوضع القاموس في "كتيب التعليمات" الخاص به (الـ system prompt) مباشرة قبل المهمة. الذكاء الاصطناعي ذكي جداً لدرجة أنه يتعلم الشفرة فوراً، ويقرأ النص المضغوط، ويعطي نفس الإجابة تماماً كما لو كان قد قرأ النص الكامل غير المضغوط.

النتائج: توفير المال دون فقدان الجودة

اختبروا ذلك على ملايين السطور من سجلات الكمبيوتر.

الضغط: قاموا بتقليص النص بنسبة 60% إلى 80%. تخيل تقليص كتاب من 100 صفحة إلى 20 صفحة فقط.
الدقة: عندما طلبوا من الذكاء الاصطناعي تحليل النص المضغوط، حصلوا على الإجابات الصحيحة بنسبة 99% من المرات.
المفاجأة: وجدوا أن مقدار ضغطهم للنص لم يكن مهماً. سواء ضغطوا النص قليلاً أو كثيراً، ظلت قدرة الذكاء الاصطناعي على الفهم كما هي. الشيء الوحيد الذي كان يهم هو مدى فوضوية أو تكرار البيانات الأصلية.

لماذا يهم هذا؟

التكلفة: إذا ضغطت بياناتك بنسبة 70%، فستوفر 70% من فاتورة الذكاء الاصطناعي الخاصة بك.
السرعة: الملفات الأصغر تعني أن الذكاء الاصطناعي يقرأ بشكل أسرع.
لا حاجة للتدريب: لا تحتاج إلى فريق من المهندسين لإعادة تدريب النموذج. فقط استخدم "خدعة القاموس" هذه وانطلق.

باختصار: تعلمنا هذه الورقة كيفية التحدث بلغة "مختصرة" مع الذكاء الاصطناعي. من خلال تزويد الذكاء الاصطناعي بقاموس سريع للاختصارات، يمكننا تغذيته بكميات هائلة من البيانات المتكررة بجزء بسيط من التكلفة، وسيفهمها تماماً كما لو كنا نتحدث بجمل كاملة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "ضغط المطالبات بدون فقدان عبر ترميز القاموس والتعلم داخل السياق: تمكين التحليل منخفض التكلفة لبيانات LLM المتكررة."

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) عوائق كبيرة في التكلفة وزمن الاستجابة عند معالجة البيانات النصية المتكررة، مثل سجلات النظام (system logs)، وذلك بسبب التسعير القائم على عدد الرموز (tokens) وقيود نافذة السياق.

التحدي: تحقق خوارزميات الضغط التقليدية (مثل ZIP و GZIP) نسب ضغط عالية للبيانات المتكررة، لكنها تجعل البيانات غير قابلة للقراءة بالنسبة للنماذج اللغوية الكبيرة، التي لا تستطيع معالجة التنسيقات الثنائية أو المضغوطة بشكل أصيل.
الفجوة: تعتمد طرق الضغط الحالية الخاصة بالنماذج اللغوية الكبيرة غالبًا على تقنيات فقدان البيانات (lossy) (أي التخلص من المعلومات) أو ضبط النموذج (fine-tuning) لجعله يفهم مخططات ضغط مخصصة. ويعد الضبط عملية غير عملية للبيانات الديناميكية حيث تتطور الأنماط، كما أن الطرق التي تؤدي لفقدان البيانات تخاطر بتدهور دقة التحليل.
الهدف: تطوير طريقة بدون فقدان (lossless) ولا تتطلب تدريبًا (training-free) لضغط مدخلات المطالبات (prompts) تتيح للنماذج اللغوية الكبيرة تحليل البيانات المضغوطة مباشرة دون الحاجة لفك الضغط، مما يقلل عدد الرموز وتكاليف واجهة برمجة التطبيقات (API) مع الحفاظ على دقة التحليل.

2. المنهجية

يقترح المؤلفون نهج ترميز قاموسي هرمي يستفيد من قدرات التعلم داخل السياق (in-context learning) للنماذج اللغوية الكبيرة. يعمل النظام في مرحلتين: مرحلة ضغط المعالجة المسبقة ومرحلة التحليل داخل السياق.

أ. خوارزمية الضغط الهرمي

تحدد الخوارزمية المتواليات الفرعية المتكررة وتستبدلها بـ "رموز ميتا" (meta-tokens) مدمجة (مثل <M1>, <M2>).

التقسيم (Segmentation): يتم تقسيم النص المدخل إلى وحدات كلمات.
المسح الهرمي: تقوم الخوارذمية بالمرور من أقصى طول للمتوالية الفرعية ( $L_{max}$ ) نزولاً إلى الحد الأدنى (عادةً 2). وهي تعطي الأولوية للأنماط الأطول لزيادة الكفاءة.
تحليل التكرار: تحدد المتواليات الفرعية التي تظهر بشكل متكرر ( $\ge f_{min}$ ).
تحسين توفير الرموز: يضمن معيار حاسم أن الضغط لا يتم تطبيقه إلا إذا حقق تقليلاً صافياً في عدد الرموز. الشرط هو:
$(1 + f) \cdot n_{token}(M) + n_{token}(S) < f \cdot n_{token}(S)$
حيث $f$ هو التكرار، و $S$ هي المتوالية الفرعية، و $M$ هو رمز الميتا. هذا يمنع عبء القاموس من تجاوز التوفير المحقق.
الاستبدال غير المتداخل: يتم استبدال المتواليات الفربية المختارة برموز ميتا، ويتم إنشاء قاموس يربط رموز الميتا بالتسلسلات الأصلية.
المعالجة بالدفعات (Batch Processing): بالنسبة لمجموعات البيانات الكبيرة، يتم تطبيق الضغط لكل دفعة مع قاموس خاص بالدفعة لتحسين الأنماط المحلية.

ب. التعلم داخل السياق والتحليل

مطالبة النظام (System Prompt): يتم تقديم القاموس الناتج للنموذج اللغوي الكبير في مطالبة النظام.
مطالبة المستخدم (User Prompt): يتم تقديم النص المضغوط (الذي يحتوي على رموز الميتا) كمدخل للمستخدم.
الآلية: يتعلم النموذج اللغوي الكبير مفتاح الترميز "داخل السياق" (دون ضبط دقيق) ويقوم بمهام تحليلية (مثل اكتشاف الأخطاء، أو تنقيب الأنماط) مباشرة على التمثيل المضغوط، حيث يفسر رموز الميتا كمعادلاتها الدلالية الأصلية.

3. المساهمات الرئيسية

التحقق التجريبي من تعلم القاموس داخل السياق: تثبت الورقة أن النماذج اللغوية الكبيرة يمكنها تعلم قواميس الضغط فقط من مطالبة النظام وإنتاج مخرجات مكافئة تحليلياً من المدخلات المضغوطة. هذا يلغي الحاجة إلى ضبط النموذج.
خوارزمية الضغط الهرمي: خوارزمية مبتكرة تحدد الأنماط على مستويات متعددة من الطول، وتتعامل مع الأنماط المتداخلة، وتمنع الاستبدالات المتداخلة، وتدمج معيار تحسين توفير الرموز لضمان الفعالية من حيث التكلفة.
النشر بدون تدريب (Training-Free): تعمل هذه الطريقة مع النماذج اللغوية القياسية المتاحة عبر واجهات برمجة التطبيقات (APIs)، مما يعالج قيود النشر (مثل حدود الرمونات والتكاليف) دون الحاجة إلى بنية تحتية متخصصة أو تكاليف إعادة تدريب.

4. النتائج التجريبية

قيم المؤلفون نهجهم باستخدام معيار LogHub 2.0 (14 مجموعة بيانات متنوعة لسجلات الأنظمة) مع نماذج Claude 3.7 Sonnet و Nova Premier.

أ. كفاءة الضغط

النسب: حققت نسب ضغط تتراوح بين 60%–80% لمجموعات البيانات ذات الانتظام الهيكلي العالي (مثل Apache و OpenSSH و Linux).
التحسين: نجح معيار توفير الرموز في منع عبء القاموس من إلغاء المكاسب، حتى في مجموعات البيانات ذات الأنماط المعقدة.

ب. فك الضغط والدقة التحليلية

استُخدم فك الضغط كمهمة وسيطة للتحقق من فهم النموذج اللغوي للبيانات المضغوطة.

الضغط القائم على القوالب (Template-Based): باستخدام قوالب السجلات المعروفة، حقق النموذج اللغوي معدلات مطابقة تامة أعلى من 99% (بمتوسط 0.994) عبر 12 من أصل 14 مجموعة بيانات.
الضغط الخوارزمي: باستخدام الخوارزمية الهرمية، حقق النموذج اللغسي متوسط درجة تشابه "ليفنشتاين" (Levenshtein similarity) بلغ 0.91 (وأكثر من 0.90 لـ 12/14 مجموعة بيانات) حتى عند نسب ضغط عالية (60–80%).
القابلية للتوسع: ظل الأداء مستقرًا مع زيادة أحجام القواميس من 29 إلى 626 إدخالاً، ومع زيادة أحجام مجموعات البيانات من 2 ألف إلى أكثر من 100 ألف سجل.

ج. النتيجة الرئيسية: الضغط مقابل الجودة

الاستقلالية: كشف تحليل الانحدار الخطي أن نسبة الضغط تفسر أقل من 2% من التباين في جودة إعادة البناء ( $R^2 < 0.02$ ).
الاستنتاج: شدة الضغط لا تؤدي إلى تدهور أداء النموذج اللغوي. التباينات في الأداء مدفوعة بـ خصائص مجموعة البيانات (مثل وجود سياق اللغة الطبيعية) وليس بدرجة الضغط. كانت مجموعات البيانات ذات التسلسلات الأبجدية الرقمية الكثيفة التي تفتقر إلى السياق (مثل HPC و Thunderbird) هي الاستثناءات الوحيدة.

5. الأهمية والأثر

خفض التكلفة: يؤدي خفض عدد الرموز بنسبة 60-80% مباشرة إلى تقليل متناسب في تكاليف واجهة برمجة التطبيقات، مما يجعل تحليل السجلات واسع النطاق مجدياً اقتصادياً.
استغلال نافذة السياق: يسمح باستيعاب المزيد من البيانات ضمن نوافذ السياق الثابتة، مما يتيح تحليلاً شاملاً دون الحاجة للقص أو أخذ العينات.
البساطة التشغيلية: باعتباره طريقة لا تتطلب تدريباً، يمكن نشره فوراً في بيئات الإنتاج حيث تتغير أنماط البيانات بمرور الوقت، مما يتجنب التكاليف الباهظة لإعادة تدريب النماذج المستمرة.
القدرة على التعميم: رغم اختباره على السجلات، إلا أن الطريقة تنطبق على أي مجال يحتوي على أنماط نصية متكررة، بما في ذلك تنقيب العمليات (process mining)، والمخرجات البرمجية، والوثائق القائمة على القوالب.

الخاتمة

تثبت الورقة البحثية أن الضغط بدون فقدان للمطالبات عبر ترميز القاموس هو استراتيجية قابلة للتطبيق وفعالة من حيث التكلفة للنماذج اللغوية الكبيرة. من خلال الاستفادة من التعلم داخل السياق، يمكن للنماذج اللغوية تفسير التمثيلات المضغوطة دون الحاجة لضبط دقيق، مما يحافظ على دقة تحليلية عالية مع تقليل استهلاك الرموز بشكل كبير. وهذا يحل عقبة أساسية في توسيع نطاق تطبيقات النماذج اللغوية الكبيرة لتحليل البيانات المتكررة.