Text-Preserving Lossy Text Compression: A Study of Strategic Deletion and LLM Reconstruction

ملخص تقني: ضغط النصوص الفاقد مع الحفاظ على النص

صياغة المشكلة
تتناول هذه الورقة البحثية القيود التي تواجه ضغط النصوص التقليدي غير الفاقد (مثل zlib، bzip2، LZMA) في مسارات معالجة اللغات الطبيعية، حيث تكون مكاسب الضغط متواضلة وغالبًا ما تعيق الحاجة إلى إعادة بناء مطابقة بتًّا ببتّ (bit-for-bit) الفائدة في الإعدادات المقيدة بنطاق التردد أو نافذة السياق. يقترح المؤلفون إطار عمل لـ الضغط الدلالي الفاقد المحافظ على النص. وخلافًا للترميز الدلالي غير المقيد (الذي ينتج نواقل كامنة) أو التلخيص التجريدي (الذي يعيد كتابة المصدر)، يهدف هذا النهج إلى نقل "هيكل عظمي" للنص الأصلي — يتم إنشاؤه عبر حذف الرموز (tokens) بشكل استراتيجي — مع ضمان بقاء الأثر نصيًا. الهدف هو تمكين مُفكك شفرة (decoder) يعمل بنموذج لغوي كبير (LLM) عند المستقبِل من إعادة بناء المحتوى الأصلي بدقة دلالية عالية، مما يحافظ على فائدة النص للفحص، أو التحرير، أو التوجيه قبل أو بعد عملية إعادة البناء.

المنهجية
يعمل إطار العمل كمسألة ترميز وفك ترميز مكونة من مرحلتين:

1. المُرمِّز (الحذف الاستراتيجي): يقوم المُرمِّز بتقليل نص المصدر $T$ بطول $L$ إلى تمثيل متدهور $\tilde{T}$ بطول $r_{keep} \cdot L$ عن طريق حذف الرموز. تقيم الورقة تدرجًا في استراتيجيات الحذف عبر ثلاثة مستويات من التعقيد:
   • المستوى 1 (على مستوى الحرف): الحذف بخطوات موحدة والأسس العشوائية (التوزيع الطبيعي، بيرنولي، بواسون). تعمل هذه كمعايير مرجعية دنيا ولكنها تتجاهل البنية اللغوية.
   • المستوى 2 (على مستوى الكلمة):
     • WordLen: الإزالة التكيفية للكلمات الصغيرة والحروف المتحركة بناءً على قواعد طول الكلمة.
     • WordFreq: استراتيجية ثابتة تستخدم درجات تردد "زيبف" (Zipf) لإعطاء الأولوية لحذف الكلمات عالية التكرار والمتوقعة، مع الحفاظ على المحتوى النادر والكثيف معلوماتيًا.
     • Opt (المحسن بالبرمجة الخطية):* نهج برمجة خطية يخصص حصص الحذف عبر ست حاويات للرموز (تردد منخفض/متوسط/عالي، علامات ترقيم، أخرى، مسافات بيضاء) لتعظيم الحفاظ الدلالي المتوقع.
   • المستوى 3 (على المستوى الدلالي):
     • القائم على الإنتروبيا (Entropy-Based):* الحذف بناءً على مفاجأة (surprisal) نموذج GPT-2 (قابلية التنبؤ بالسياق لكل رمز).
     • الطرق الهجينة: مجموعات من إشارات التردد والإنتروبيا (مثل Entropy-LP، وEntropy-in-FreqBuckets، وHybrid-$\alpha$).
2. المُفكِّك (إعادة البناء الدلالي): يقوم نموذج لغوي كبير توليدي بإعادة بناء النص الأصلي من الهيكل العظمي. تقارن الدراسة بين:
   • التعلم من الصفر (Zero-Shot): استخدام Gemini 2.0 Flash كخط أساس ملكي قوي.
   • الضبط الدقيق (Fine-Tuned): استخدام تقنية QLoRA لضبط نموذج Llama-3.2-3B-Instruct على أنماط التدهور المحددة لاستراتيجيات الحذف لإنشاء مُفكِّك محلي خفيف الوزن.

النتائج الرئيسية
أدت التقييمات على مجموعة بيانات BBC News عبر معدلات الاحتفاظ ($r_{keep} \in [0.1, 0.9]$) باستخدام BERTScore، وROUGE-L، ومعدل الخطأ في الحروف (CER) إلى ثلاث نتائج رئيسية:

1. الأداء المعتمد على النظام (Regime-Dependent): لا توجد استراتيجية حذف واحدة تهيمن على جميع معدلات الضغط.
   • الضغط الخفيف إلى المتوسط: توفر الطرق الدلالية والهجينة (Entropy, Hybrid-$\alpha$) مكاسب واضحة على الأسس الثابتة.
   • الضغط الشديد (معدل احتفاظ منخفض): أثبتت طريقة WordFreq (الحذف الثابت القائم على التكرار) أنها الأكثر متانة. فعلى الرغم من استخدامها فقط لعملية بحث ثابتة، إلا أنها غالبًا ما تتفوق على الطرق الدلالية المكلفة عند أدنى معدلات الاحتفاظ ($r_{keep} \le 0.3$).
2. كفاءة المُرمِّز مقابل الجودة: الطرق الدلالية التي تتطلب استنتاج GPT-2 لحساب الإنتروبيا أبطأ بكثير (13–115 ضعفًا) من WordFreq. عند معدلات الاحتفاظ العالية ($r_{keep}=0.9$)، تكون الفجوة في الأداء بين WordFreq والطرق القائمة على الإنتروبيا ضئيلة جدًا (~0.002 في BERTScore)، مما يجعل WordFreq الخيار العملي للمُرمِّزات المحدودة الموارد.
3. تكيف المُفكِّك: يؤدي الضبط الدقيق الاستراتيجي لنموذج محلي مدمج (Llama-3.2-3B) إلى تحسين جودة إعادة البناء بشكل كبير مقارنة بنظيره في وضع التعلم من الصفر. وفي عدة مقارنات، كان النموذج المضبط (3B) منافسًا لنموذج Gemini 2.0 Flash في وضع التعلم من الصفر، خاصة في أنظمة الاحتفاظ المنخفض حيث يكون تعلم أنماط الحذف المحددة أمرًا حاسمًا.

تحليل النطاق العام والفشل

• القدرة على التعميم: ينتقل إطار العمل إلى Wikipedia (الموسوعي)، وReddit (الحواري)، والمجموعات الصينية. ومع ذلك، تظل قاعدة الحذف المثلى معتمدة على مجموعة البيانات. على سبيل المثال، تؤدي WordLen أداءً أفضل في النصوص الحوارية (Reddit) مقارنة بالأخبار، بينما تظهر الطرق الدلالية درجات متفاوتة من الميزة اعتمادًا على كثافة المعلومات في النطاق.
• الأمانة الواقعية: بينما يقيس BERTScore التشابه الدلالي، يكشف تحليل التعرف على الكيانات المسماة (NER) أن الحذف الموحد للحروف يدمر الركائز الواقعية حتى عندما يبدو BERTScore مقبولًا. تحافظ الطرق الهجينة عمومًا على الكيانات بشكل أفضل عند الضغط الخفيف، لكن جميع الطرق تعاني عند الضغط الشديد.
• المقارنة بالتلخيص: يؤدي التلخيص المباشر بواسطة LLM (إعادة كتابة النص للوصول إلى طول مستهدف) إلى أداء أسوأ بكثير من مسار "الحذف + إعادة البناء" في أنظمة الاحتفاظ العالية، لأنه يفقد الرموز الأصلية التي تعمل كركائز لإعادة البناء.

الأهمية والادعاءات
تدعي الورقة أنها وضعت أول معيار منهجي لـ الضغط الفاقد الموجه لإعادة البناء والمحافظ على النص. وتكمكن أهميتها من:

• تحديد نظام تشغيل عملي: حددت نقطة تشغيل محددة حيث يجب أن يظل المنتج المضغوط نصًا (للفحص البشري أو التوجيه) ولكن يكون الاسترداد الدلالي التقريبي مقبولًا، وهو ما يختلف عن كل من الترميز غير الفاقد والترميز الدلالي المتجهي الغامض.
• أسس مرجعية منخفضة التكلفة: أثبتت أن الحذف البسيط والثابت القائم على التكرار (WordFreq) هو خط أساس تنافسي للغاية ومنخفض التكلفة، وغالبًا ما يتفوق على الطرق الدلالية المعقدة في سيناريوهات الضغط الشديد، مما يوفر حلاً قابلاً للتطبيق في البيئات المقيدة بنطاق التردد أو النشر عند الحواف (edge-deployment).
• جدوى المُفكِّك المحلي: أظهرت أن الضبط الدقيق الاستراتيجي للنماذج المدمجة يمكن أن يجعل النماذج المحلية الصغيرة منافسة للنماذج الملكية الضخمة في وضع التعلم من الصفر، مما يفتح مسارات للنشر المحلي للضغط الدلالي.
• التكامل: يضع المؤلفون طريقتهم كمكمل، وليس كبديل، لخوارزميات الضغط غير الفاقد. إذ يمكن ضغط الهيكل العظمي الدلالي لاحقًا باستخدام خوارزميات غير فاقدة قياسية (مثل zlib) للأرشفة.

تحدد الورقة نطاقها صراحةً، مشيرة إلى أن الطريقة مصممة لتكون فاقدة (lossy) وبالتالي فهي غير مناسبة للمجالات عالية المخاطر التي تتطلب دقة مطلقة (مثل السجلات القانونية أو الطبية). كما تقر بأن التقييمات الحالية تعتمد على مقاييس آلية قد تكون متساهلة مع الهلوسة الواقعية عند معدلات الاحتفاظ المنخفضة جدًا.