🤖 machine learning

Embedding Compression via Spherical Coordinates

تقدم هذه الورقة طريقة ضغط محدودة بـ $\epsilon$ لتمثيلات الوحدة المعيارية تستفيد من تركيز الإحداثيات الكروية لتحقيق ضغط بنسبة 1.5 $\times$ مع انعدام تدهور الاسترجاع، متفوقة بذلك على أفضل التقنيات السابقة غير الفاقدة للبيانات بنسبة 25%.

المؤلفون الأصليون: Han Xiao

نُشر 2026-03-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Han Xiao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من الكتب (بيانات)، ولكن بدلاً من الكلمات، كُتبت هذه الكتب بلغة محددة للغاية وعالية الأبعاد تسمى التمثيلات المتجهة (embeddings). تُستخدم هذه التمثلات ليفهم الذكاء الاصطناعي المعنى، أو يجد صوراً متشابهة، أو لتشغيل محركات البحث.

ما المشكلة؟ هذه "الكتب" ضخمة جداً. الكتاب الواحد يشغل 4 كيلوبايت من المساحة. إذا كان لديك 100 مليون كتاب منها، فستحتاج إلى مستودع بحجم مدينة صغيرة (400 جيجابايت) لتخزينها. وإذا كان لديك نوع خاص من الكتب حيث تحصل كل كلمة فيه على صفحة خاصة بها (التمثلات متعددة المتجهات - multi-vector embeddings)، فستحتاج إلى مستودع بحجم دولة صغيرة!

حالياً، يحاول الناس تقليص حجم هذه الكتب باستخدام الضغط غير الفاقد للمعلومات (lossless compression) (مثل ملفات ZIP) أو الضغط الفاقد للمعلومات (lossy compression) (مثل ملفات JPEG، والتي تتخلص من بعض التفاصيل لتوفير المساحة).

الضغط غير الفاقد (Lossless): هو وسيلة آمنة ولكنه لا يقلص حجم الكتب كثيراً (فقط حوالي 1.2 ضعف أصغر).
الضغط الفاقد (Lossy): يقلص الحجم كثيراً ولكنه يجعل النص "ضبابياً"، مما قد يدمر قدرة الذكاء الاصطناعي على إيجاد الإجابات الصحيحة.

تقدم هذه الورقة البحثية خدعة ذكية جديدة تسمى الإحداثيات الكروية (Spherical Coordinates)، وهي تقلص هذه الكتب بمقدار 1.5 ضعف دون جعلها ضبابية على الإطلاق. وإليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة.

المشكلة: الإحداثيات الديكارتية "الفوضوية"

تخيل أنك تصف موقع نقطة على كرة عملاقة غير مرئية (سطح كرة).

الطريقة القديمة (الديكارتية): تصف النقطة بقولك: "إنها تقع على بُعد 0.123 وحدة شرقاً، و0.045 وحدة شمالاً، و0.999 وحدة للأعلى".
- في عالم الكمبيوتر، هذه الأرقام تشبه الأعداد ذات الفاصلة العائمة (floating-point numbers) (فكر فيها كأرقام بفاصلة عشرية يمكنها التحرك).
- ولأن هذه الأرقام مبعثرة في كل مكان (بعضها صغير جداً، وبعضها متوسط)، يجب على الكمبيوتر استخدام العديد من "الإعدادات" المختلفة (تسمى الأسس - exponents) لكتابتها. الأمر يشبه محاولة كتابة قصة باستخدام قاموس يتطلب لكل كلمة فيه حجم خط ونمط مختلف. هذا أمر غير فعال ويصعب ضغطه.

الحل: خدعة "الإحداثيات الكروية"

أدرك المؤلفون أنه بما أن جميع هذه المتجهات (embeddings) هي متجهات ذات طول وحدة (unit-norm) (أي أن لها جميعاً نفس الطول تماماً، مثل كونها جميعاً على سطح نفس الكرة)، فهناك طريقة أفضل بكثير لوصفها.

بدلاً من قول "شرق، شمال، فوق"، تصف النقطة باستخدام الزوايا (مثل خطوط الطول والعرض).

الطريقة الجديدة (الكروية): تقول: "النقطة عند زاوية 90 درجة، ثم زاوية أخرى 90 درجة..."
السحر: في الفضاء عالي الأبعاد (عندما يكون للكرة أبعاد كثيرة)، تتجمع كل هذه الزوايا بشكل طبيعي حول 90 درجة (أو $\pi/2$ ).

فكر في الأمر كحشد من الناس يحاولون الوقوف في دائرة. إذا طلبت منهم الوقوف في أماكن عشوائية، فسيكونون في كل مكان. ولكن إذا طلبت منهم الوقوف عند زاوية محددة، فسيتجمعون جميعاً في بقعة واحدة.

لماذا يوفر هذا المساحة؟

بسبب تجمع معظم هذه الزوايا حول 90 درجة، تصبح الأرقام التي يمثلها الكمبيوتر متوقعة للغاية.

انهيار "الأس" (The Exponent Collapse): في الطريقة "الفوضوية" القديمة، احتاج الكمبيوتر إلى 23 "حجم خط" مختلف (أس) لكتابة الأرقام. في الطة الجديدة "المتجمعة"، يستخدم ما يقرب من 100% من الأرقام نفس "حجم الخط" تماماً. الأمر يشبه كتابة كتاب كامل باستخدام حجم خط واحد فقط. هذا يجعل البيانات سهلة الضغط بشكل مذهٍ.
نمط "الكسر" (The Mantissa Pattern): الأجزاء من الرقم التي تحمل التفاصيل الدقيقة (الكسور العشرية) تصبح أيضاً متوقعة لأن الأرقام قريبة جداً من بعضها البعض.

بعد ذلك، يأخذ المؤلفون هذه الأرقام المتوقعة، ويعيدون ترتيبها (مثل تنظيم مجموعة من أوراق اللعب بحيث تكون جميع أوراق "الآس" معاً)، ثم يمررونها عبر ضاغط قياسي (مثل zstd).

النتيجة: انكماش مثالي

الحجم: لقد قلصوا البيانات بمقدار 1.5 مرة (أفضل من أفضل نتيجة سابقة كانت 1.2 مرة).
الجودة: لأنهم استخدموا خدعة رياضية خاصة (الدقة المزدوجة - double precision) أثناء عملية التحويل، فإن الخطأ ضئيل جداً لدرجة أنه أصغر من خطأ القياس الخاص بالكمبيوتر نفسه.
- تشبيه: إذا قمت بقياس طاولة بمسطرة، ثم قمت بقياسها مرة أخرى بالليزر، وكان الفرق أصغر من سمك ذرة واحدة، فلن تستطيع ملاحظة الفرق. سيرى الذكاء الاصطناعي نفس البيانات تماماً كما كانت.
السرعة: العملية سريعة. يمكنك ضغط وفك ضغط البيانات بمعدل مئات الميجابايت في الثانية.
لا حاجة للتدريب: لا تحتاج لتعليم ذكاء اصطناعي كيفية القيام بذلك. فهو يعمل على أي نص أو صورة أو بيانات متعددة المتجهات فوراً.

التأثير في العالم الحقيقي

تخيل أن لديك قاعدة بيانات لمليون مستند.

قبل: تشغل مساحة 240 جيجابايت.
بعد: تشغل مساحة 160 جيجابايت.
ميزة إضافية: يمكنك البحث في البيانات المضغوطة مباشرة دون الحاجة لفك ضغطها بالكامل، مما يجعل البحث أسرع وأرخص.

الملخص

وجد المؤلفون أن التمثلات المتجهة (embeddings) تشبه نقاطاً على كرة تميل طبيعياً للتجمع عند زاوية 90 درجة. ومن خلال وصفها باستخدام الزوايا بدلاً من الإحداثيات الخام، تصبح البيانات متوقعة للغاية بحيث يمكن ضغطها بشكل أفضل، مما يوفر مبالغ هائلة من تكاليف التخزين دون فقدان أي دقة. إنها "خدعة" هندسية تحول مشكلة بيانات فوضوية إلى حل مضغوط ومنظم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ضغط التضمينات عبر الإحداثيات الكروية" (Embedding Compression via Spherical Coordinates) المقدمة في ورشة عمل GRaM في مؤتمر ICLR 2026.

1. بيان المشكلة

تُعد متجهات التضمين (Embedding vectors) أساسية لأنظمة التوليد المعزز بالاسترجاع (RAG) الحديثة، والبحث الوكيل (agentic search)، وأنظمة الاسترجاع متعددة الوسائط.

عنق زجاجة التخزين: يتطلب متجه تضمين نموذجي بـ 1024 بُعدًا من نوع float32 حوالي 4 كيلوبايت. قاعدة بيانات تحتوي على 100 مليون تضمين تستهلك 400 جيجابايت. يتوسع هذا بشكل سيئ مع النماذج متعددة المتجهات (مثل ColBERT)، والتي تولد تضمينًا واحدًا لكل رمز (token)، مما يزيد من متطلبات التخزين بنحو 100 ضعف.
محدودية الأساليب الحالية:
- الكمية الفاقدة (Lossy Quantization): رغم توفيرها لضغط عالٍ (4×+)، إلا أنها تسبب أخطاء في إعادة البناء يمكن أن تؤدي إلى تدهور أداء الاسترجاع.
- الضغط غير الفاقد (Lossless Compression): تحقق الأساليب الحديثة (مثل ZipNN وbyte-shuffling) ضغطًا بنسبة ~1.2× فقط. فهي تفشل في استغلال البنية الهندسية للتضمينات لأن بتات المانتيسا (mantissa) في float32 تمتلك إنتروبيا قريبة من الحد الأقصى، وتتعامل الأساليب الحالية مع الأسس (exponents) والمانتيسا بشكل مستقل دون الاستفادة من قيد الوحدة المعيارية (unit-norm constraint).

2. المنهجية: الضغط الكروي المقيد بـ $\epsilon$ ( $\epsilon$ -Bounded Spherical Compression)

تقترح الورقة خط معالجة جديد للضغط غير الفاقد (ضمن حدود الماشين إبسيلون $\epsilon$ ) يستغل الخصائص الهندسية للمتجهات ذات الوحدة المعيارية على كرة فائقة الأبعاد.

الرؤية الجوهرية

تنتج معظم نماذج التضمين متجهات ذات وحدة معيارية ( $\|x\|_2 = 1$ ). في الأبعاد العالية، تتركز الإحداثيات الكروية (الزوايا) لهذه المتجهات بكثافة حول $\pi/2$ ( $\approx 1.57$ ).

التمثيل الكارتيزي (Cartesian Representation): تمتد القيم عبر نطاق واسع (على سبيل المثال، من $0.001 $إلى$ 0.3$)، مما يتطلب العديد من أسس IEEE 754 المختلفة (22-40 قيمة فريدة) ويؤدي إلى إنتروبيا عالية.
التمثيل الكروي (Spherical Representation): تتركز الزوايا الكروية $d-1$ $d - 1$ حول $\pi/2$ $π /2$ . يتسبب هذا في:
1. انهيار الأس (Exponent Collapse): ينهار بايت الأس في نظام IEEE 754 إلى قيمة مهيمنة واحدة (127) باحتمالية تزيد عن $0.999$.
2. قابلية التنبؤ بالمانتيسا (Mantissa Predictability): تصبح بتات المانتيسا عالية الرتبة قابلة للتنبؤ بدرجة كبيرة لأن القيم تتجمع بإحكام حول ثابت محدد.

خط المعالجة (The Pipeline)

التحويل الكروي: تحويل الإحداثيات الكارتيزية ( $x \in \mathbb{R}^d$ $x \in R^{d}$ ) إلى $d-1$ $d - 1$ من الزوايا الكروية ( $\theta \in \mathbb{R}^{d-1}$ $θ \in R^{d - 1}$ ).
- ملاحظة الدقة: تستخدم الحسابات الوسيطة الدقة المزدوجة (float64) لضمان بقاء خطأ إعادة البناء أقل من ماشين إبسيلون لـ float32 ( $1.19 \times 10^{-7}$ ).
التبديل (Transpose): تجميع الزوايا حسب الموقع عبر دفعة المتجهات لمحاذاة القيم المتشابهة.
خلط البايتات (Byte Shuffle): فصل بايتات الأس عن بايتات المانتيسا. نظرًا للتركز، تكون بايتات الأس شبه منتظمة.
ترميز الإنتروبيا (Entropy Coding): ضغط البايتات المخلطة باستخدام zstd.

الميزات الرئيسية

مقيد بـ $\epsilon$ ( $\epsilon$ -Bounded): هذه الطريقة تقنيًا "غير فاقدة" لتطبيقات float32 لأن خطأ إعادة البناء مقيد بماشين إبسيلون. القيم المعاد بناؤها لا يمكن تمييزها عن القيم الأصلية عند دقة float32.
التشابه المباشر: تقدم الورقة خوارزمية لحساب تشابه جيب التمام (cosine similarity) مباشرة من الزوايا الكرية المضغوطة دون الحاجة لإعادة بناء كارتيزي كامل، مما يسمح بالفك المتدفق (streaming decompression) والإنهاء المبكر في استرجاع الـ top- $k$ .
لا يتطلب تدريبًا: الطريقة حتمية ولا تتطلب تدريب نموذج أو أكواد برمجية متعلمة.

3. المساهمات الرئيسية

نسبة ضغط مبتكرة: تحقق نسبة ضغط قدرها 1.5× على تضمينات الوحدة المعيارية، متفوقة بشكل كبير على أفضل الطرق السابقة غير الفاقدة (~1.2×) وتقترب من كفاءة بعض الطرق الفاقدة دون عقوبة الدقة.
الأساس النظري: تثبت أن الزوايا الكروية للمتجهات ذات الوحدة المعيارية في الأبعاد العالية تتبع توزيعًا يؤدي إلى انهيار أسس IEEE 754 إلى قيمة واحدة (النظرية 1)، مما يقلل إنتروبيا الأس من ~2.5 بت/بايت إلى أقل من 0.1 بت/بايت.
صفر تدهور في الاسترجاع: أظهرت نتائج صفر تدهور ملموس في مقاييس الاسترجاع (nDCG@10، Recall@10) على اختبارات BEIR عبر النصوص، الصور، والنماذج متعددة المتجهات.
الكفاءة: يحقق تنفيذ لغة C++ سرعة تزيد عن 1 جيجابايت/ثانية للتحويل وحوالي 487 ميجابايت/ثانية لإنتاجية الترميز من البداية للنهاية.

4. النتائج التجريبية

تم تقييم الطريقة عبر 26 تكوينًا، بما في ذلك 20 نموذج نصي، 3 نماذج صور، و3 نماذج ColBERT متعددة المتجهات.

أداء الضغط:
- نسبة ضغط ثابتة تتراوح بين 1.47× و 1.59× عبر جميع النماذج.
- تحسن بنسبة 20% إلى 32% مقارنة بمرجع ZipNN (التحويل + الخلط + Zstd).
- مثال: فهرس ColBERT لمليون وثيقة (100 تضمين/وثيقة) يقلل التخزين من 240 جيجابايت إلى 160 جيجابايت.
الدقة (Fidelity):
- أقصى خطأ في إعادة البناء: $< 9 \times 10^{-8}$ (أقل بكثير من إبسيلون float32).
- اختبارات BEIR: كانت درجات nDCG@10 و Recall@10 متطابقة (حتى 6 خانات عشرية) قبل وبعد الضغط.
دراسات الاستئصال (Ablation Studies):
- الأبعاد: تزداد مكاسب الضغط مع زيادة الأبعاد (1.39× عند 64d $\leftarrow$ 1.50× عند 1024d).
- التوزيع: تعمل الطريقة بغضًا عن توزيع المتجهات (منتظم، متكتل، متناثر، أو تضمينات واقعية).
- الدقة: الطريقة مخصصة لـ float32. هي لا تستفيد (بل قد تزيد الحجم) من تنسيقات BF16 أو FP16 أو Int8 لأن التحويل ينتج زوايا بصيغة float32 مما يلغي ميزة التخزين الأصغر لتلك التنسيقات.

5. الأهمية والأثر

سد فجوة الدقة: تسد الفجوة بين طرق الضغط غير الفاقدة منخفضة الضغط (1.2×) والطرق الفاقدة عالية الضغط (4×+)، مما يوفر تخزينًا عالي الدقة للتطبيقات الحرجة مثل تسلسل واجهة برمجة التطبيقات (API serialization)، التخزين المؤقت (caching)، والأرشفة.
القابلية للتوسع: توفر وفورات كبيرة في التكاليف لقواعد بيانات المتجهات واسعة النطاق دون الحاجة لإعادة تدريب النماذج أو عمليات كمية معقدة.
الابتكار الخوارزمي: تقدم نموذجًا جديدًا لضغط المتجهات عبر الاستفادة من التركز الهندسي بدلاً من مجرد التكرار الإحصائي، وتمكن عمليات جديدة مثل حساب التشابه المباشر على البيانات المضغوطة.
القيود: تم تحسينها حاليًا لـ float32. يتطلب تكييفها مع BF16 أو INT8 استراتيجيات مختلفة لأن آلية تركيز الأس تعتمد على بنية الأس (8 بت) والمانتيسا (23 بت) الخاصة بـ float32.

باختصار، تقدم هذه الورقة طريقة غير معتمدة على التدريب ومبنية على أسس رياضية، تستغل الهندسة المتأصلة للمتجهات ذات الوحدة المعيارية في الأبعاد العالية لتحقيق ضغط غير فاقد متفوق، مما يجعلها حلاً عمليًا للغاية لتوسيع أنظمة الاسترجاع القائمة على التضمين.