Semantic Compression Trees: Multi-Resolution Knowledge Retrieval via Hierarchical Semantic Residuals
تقدم هذه الورقة أشجار الضغط الدلالي (SCT)، وهي فهرس استرجاع هرمي يستخدم البواقي الدلالية لتقليل تكاليف التخزين والتوسع، وتجد أنه بينما يحسن تمثيل الباقي نفسه من الكفاءة والأداء، فإن آلية توجيه الهبوط التدريجي من الأعلى إلى الأسفل المقترحة تقل أداءً بشكل كبير مقارنة بالاسترجاع المسطح عندما يتعين على النظام أولاً اختيار المستند ذي الصلة.
في عالم الذكاء الاصطناعي المعاصر، تعمل النماذج اللغوية الكبيرة كمحركات قوية للمعرفة، قادرة على الكتابة والاستنتاج والإجابة على الأسئلة المعقدة. ومع ذلك، فإن هذه النماذج ليست كليّة العلم؛ فقد تم تدريبها على مجموعات بيانات ضخمة، لكنها لا تستطيع تذكر كل حقيقة محددة أو حدث حديث. ولحل هذه المشكلة، يستخدم الباحثون تقنية تُسمى "التوليد المعزز بالاسترجاع". تخيل طالباً يؤدي امتحاناً بنظام الكتاب المفتوح: بدلاً من الاعتماد فقط على الذاكرة، يُسمح للطالب بالبحث عن المعلومات في مكتبة من الوثائق قبل كتابة إجابته. الحاسوب يفعل الشيء نفسه؛ فعندما يطرح المستخدم سؤالاً، يبحث النظام في قاعدة بيانات نصية، ويجد المقاطع الأكثر صلة، ثم يغذي النموذج بها للمساعدة في صياغة استجابة دقيقة.
الطريقة القياسية لعملية البحث هذه بسيطة ولكنها فجة. يقوم النظام بتقطيع الوثائق الطويلة إلى قطع موحدة وثابتة الحجم، مثل قص كتاب إلى شرائط ورقية متطابقة. ثم يحول كل شريط إلى بصمة رياضية ويقارنها بسؤال المستخدم للعثور على أفضل تطابق. هذه الطريقة تعمل بشكل جيد بما يكفي، لكنها تتجاهل البنية الطبيعية للنص. فالكتاب ليس مجرد كومة من الشرائط؛ بل يتكون من فصول وأقسام وفقرات تنظم الأفكار من نظرات عامة واسعة وصولاً إلى التفاصيل الدقيقة. ومن خلال معاملة كل قطعة نصية ككتلة مسطحة ومتساوية، يفتقد النظام إلى التسلسل الهرمي الذي يجعل الكتابة البشرية متماسكة. كما أنه يواجه مشكلة في التوسع: فكلما نمت مكتبة الوثائق، يتعين على الحاسوب مقارنة السؤال مع المزيد والمزيد من الشرائط، مما يجعل البحث أبطًع وأكثر تكلفة.
وضع فريق من الباحثين هدفاً لبناء طريقة أكثر ذكاءً لتنظيم هذه المعلومات، طريقة تحترم الطبقات الطبيعية للوثيقة وتتوسع بكفاءة. اقترحوا هيكلاً جديداً يُسمى "شجرة الضغط الدلالي". وبدلاً من تخزين ملخصات كاملة عند كل مستوى من مستويات الشجرة، وهو ما سيؤدي إلى هدر المساحة عبر تكرار المعلومات، صمموا نظاماً يخزن فيه كل عقدة فقط "المتبقي الدلالي" (semantic residual). وبعبارة أخرى، تعني هذه الكلمة أن العقدة تحتوي فقط على المعلومات الجديدة التي تضيفها بما يتجاوز ما ذكرته العقدة الأب بالفعل. فإذا كانت العقدة الأب تلخص فصلاً ما، فإن العقدة الابنة لا تكرر ذلك الملخص، بل تحمل فقط التفاصيل المحددة التي أغفلها الملخص. هذا يخلق سلماً من المعلومات، يبدأ بنظرة عامة واسعة في الأعلى وينحدر نحو تفاصيل تزداد تحديداً في الأسفل.
اختبر الباحثون هذه الفكرة على مجموعة من خمسين ورقة علمية و173 سؤالاً حولها. وقارنوا نظامهم الجديد القائم على الشجرة مقابل الطريقة القياسية للبحث عبر الكتل المسطحة. وعندما عرف الباحثون بالضبط الورقة التي تحتوي على الإجابة وطلبوا من النظام فقط العثور على المقطع الصحيح داخل تلك الوثيقة الواحدة، أدى النظام القائم على الشجرة أداءً ممتازاً. فقد طابق دقة النظام القياسي، ولكنه استخدم كلمات أقل بنسبة 30 بالمائة للقيام بذلك. وجاءت هذه الكفاءة دون أي تكلفة إضافية لبناء الفهرس، حيث يمكن إنشاء النظام دون الحاجة إلى استدعاءات مكلفة للذكاء الاصطناعي لتلخيص النص. وكان الاكتشاف الرئيسي هنا هو أن تخزين المعلومات "الجديدة" فقط في كل خطوة كان متفوقاً بمراحل على تخزين الملخصات الكاملة، مما حافظ على الحقائق والأرقام المحددة التي غالباً ما تتخلص منها الملخصات.
ومع ذلك، تغيرت القصة عندما كان على النظام العثور على الوثيقة الصحيحة من مكتبة تضم خمسين ورقة دون إخباره بالورقة التي يجب البحث فيها. في هذا السيناريو، عانى النظام القائم على الشجرة بشكل كبير. تطلبت الطريقة من الحاسوب البدء من أعلى الشجرة تماماً، بالنظر إلى الملخص الأكثر ضغطاً وعالية المستوى لكل وثيقة لتقرير أي واحدة يستكشفها. ولأن هذه الملخصات رفيعة المستوى كانت موجزة للغاية — وغالباً ما تكون جملة أو جملتين تمثلان ورقة بحثية كاملة — فقد افتقرت إلى التفاصيل الدقيقة اللازمة لمطابقة سؤال مفصل. فغالداً ما اختار النظام الورقة الخطأ للاستقصاء، وبمجرد ارتكاب هذا الخطأ، لم يكن بإمكانه التعافي، بغض النظر عن مدى عمقه في الشجرة. وفي المق المقابل، كان النظام المسطح القياسي، الذي يقارن السؤال مقابل كل مقطع في المكتبة، أفضل بكثير في العثور على الوثيقة الصحيحة في المقام الأول.
خلص الباحثون إلى أن الفكرة الجوهرية المتمثلة في تخزين المعلومات الجديدة فقط في كل مستوى كانت نجاحاً، لكن استراتيجية البحث من الأعلى إلى الأسفل كانت فشلاً. فالهيكل الشجري نفسه لم يساعد عندما كان على النظام اختيار وثيقة؛ بل في الواقع، أضر بالأداء لأن الاختيار الأولي تم بناءً على النسخة الأقل إخباراً من النص. أظهرت الدراسة أنه بينما يمثل التمثيل الهرمي قيمة في تنظيم المعلومات، فإن طريقة التنقل عبره من الجذر إلى الأسفل ليست وسيلة موثوقة للبحث في مجموعة كبيرة. ووجدوا أن النهج الأكثر فعالية سيكون على الأرجح نهجاً هجيناً: استخدام الطريقة القياسية للعثور على الوثيقة الصحيحة، ثم استخدام هيكل الشجرة للتنقل داخل التفاصيل المحددة لتلك الوثيقة. يسلط هذا البحث الضوء على درس بالغ الأهمية في تنظيم المعرفة: ضغط المعلومات مفيد، لكن القيام بذلك قبل معرفة ما تبحث عنه بالضبط قد يقودك إلى الطريق الخطأ.
ملخص تقني: أشجار الضغط الدلالي (Semantic Compression Trees)
بيان المشكلة
تعتمد أنظمة التوليد المعزز بالاسترجاع (RAG) حاليًا على فهارس مسطحة ذات تدرج ثابت، حيث يتم تقسيم المستندات إلى قطع (chunks) متساوية الحجم. يعاني هذا النهج من ثلاث قيود جوهرية:
التشابه = الصلة: تقيس نماذج الاسترجاع الكثيف التقارب الدلالي في فضاء التضمين (embedding space)، وهو ما لا يضمن الصلة المعلوماتية (على سبيل المثال، قد تكون الفقرة التي تتحدث عن "درجة حرارة القطب الشمالي" أقرب دلاليًا إلى "مناخ القطب الجنوبي" منها إلى "سياسة القطب الشمالي"، رغم أن الأخيرة هي الإجابة الصحيحة).
التدرج غير الأمثل: يعامل تقسيم القطع ثابت الحجم جميع الاستعلامات بشكل متماثل، مما يفشل في التمييز بين الاستعلامات التي تتطلب ملخصات عالية المستوى وتلك التي تتطلب تفاصيل محددة.
الهيكل المفقود: تدمر خطوط المعالجة التقليدية الهيكل الهرمي المتأصل في المستندات (الفصول، الأقسام، الفصول الفرعية) أثناء عملية التقسيم، مما يؤدي إلى فقدان العلاقات الدلالية والنطاق (scoping).
علاوة على ذلك، يتسبب الاسترجاع المسطح في تكلفة تتناسب طرديًا مع حجم المجموعة (O(N))، حيث يجب تقييم كل وحدة مقابل الاستعلام.
المنهجية: أشجار الضغط الدلالي (SCT)
يقترح المؤلف أشجار الضغط الدلالي (SCT)، وهو فهرس هرمي تحكم تكلفة الاسترجاع فيه عمق الشجرة بدلاً من حجم المجموعة.
المفاهيم الأساسية
البواقي الدلالية (Semantic Residuals): بدلاً من تخزين ملخصات كاملة عند كل عقدة، تخزن عقدة الـ SCT فقط "الباقي الدلالي" — أي المعلومات التي تضيفها العقدة بما يتجاوز ما هو موجود في العقدة الأب.
رسميًا، بالنسبة لعقدة v مع أب $pa(v)،يُعرفالباقيR(v)بأنهc(v) \ominus C(c(pa(v)), \ell(pa(v)))،حيثترمز\ominus$ إلى الطرح الدلالي (استخراج المعلومات غير الموجودة في ملخص الأب).
خاصية التراكم: السياق عند أي عقدة هو تجميع (concatenation) للبواقي من الجذر إلى تلك العقدة (Context(v)=⨁R(vi))، مما يسمح بإعادة بناء المحتوى الدلالي عند ذلك المستوى من الدقة.
الاسترجاع عبر الهبوط التدريجي (Progressive Descent Retrieval): يتم الاسترجاع من الأعلى إلى الأسفل. بدءًا من الجذر، يقوم النظام بتقييم الأبناء بناءً على تشابه جيب التمام (cosine similarity) بين تضمين الاستعلام وتضمين الباقي الخاص بالابن. يحتفظ شعاع (beam) ثابت العرض (k) بأفضل المرشحين في كل مستوى.
أرضية الدقة (Resolution Floor): يمكن لـ عتبة اختيارية (τ) إيقاف الهبوط إذا لم يكن أي مرشح مشابهًا بما يكفي، مما يسمح بالإجابة على الاستعلامات العامة من المستويات العليا بتكلفة أقل.
البناء المستقل عن المصدر: يتم بناء الشجرة عن طريق تحليل هيكل المصدر (مثل عناوين Markdown، أحجام الخطوط في PDF، مخططات SQL) إلى تسلسل هرمي وسيط، ثم تطبيق وظائف الضغط.
استراتيجيات الضغط:
المعتمد على النماذج اللغوية الكبيرة (LLM-Based): يستخرج النموذج اللغوي الكبير فقط المعلومات الجديدة من الابن والتي ليست موجودة في ملخص الأب.
الاستخراجي (بدون LLM): يتم الاحتفاظ بالجمل بناءً على درجة الحداثة (مصطلحات فريدة غير موجودة في ملخص الأب)، مما لا يتطلب أي استدعاءات للنماذج اللغية الكبيرة.
المساهمات الرئيسية
الصياغة الرسمية: تعريف مفهوم الباقي الدلالي مع خاصية تراكم مضمونة لتمثيل المعرفة الهرمية.
الخوارزمية: تقديم خوارزمية بناء شجرة مستقلة عن المصدر مع وظائف ضغط قابلة للاستبدال.
آلية الاسترجاع: تعريف الاسترجاع عبر الهبوط التدريجي كشعاع ثابت العرض فوق تضمينات البواقي.
التقييم: إجراء تقييم صارم على مجموعة بيانات QASPER (50 ورقة بحثية، 173 سؤالاً) بموجب بروتوكولين:
المستند الواحد (P1): المستند ذو الصلة مقدم بالفعل؛ ويقوم النظام بالاسترجاع داخله.
المجموعة (P2): يجب على النظام تحديد المستند والفقرة ذات الصلة من بين مجموعة مكونة من 50 ورقة بحثية.
التحليل: فصل أداء التمثيل الباقي عن استراتيجية توجيه الهبوط التدريجي.
النتائج التجريبية
البروتوكول P1: المستند الواحد (المستند مُعطى)
الأداء: حقق نظام SCT مع ضاغط استخراجي درجة F1 للإجابة بلغت 0.274، وهي غير متمايزة إحصائيًا عن نظام VectorRAG الكثيف (0.277، p=0.366).
الكفاءة: استخدم SCT أقل بنسبة 30% من توكنات السياق (2,178 مقابل 3,120) ولم يتطلب أي استدعاءات للنماذج اللغوية الكبيرة لبناء الفهرس.
الباقي مقابل الملخص الكامل: تفوق تخزين البواقي بشكل كبير على تخزين الملخصات الكاملة عند كل عقدة (0.274 مقابل 0.205 F1، p<0.001).
تأثير الهيكل: عندما كان المستند معروفًا، أدى تجاهل الهيكل الشجري واسترجاع البواقي عبر التشابه المسطح (SCT-Flat) إلى أداء متطابق مع الهبوط الشجري (0.272 مقابل 0.274، p=0.420)، مما يشير إلى أن الهيكل نفسه لم يحسن جودة الإجابة في هذا الإعداد.
البروتوكول P2: المجموعة (يجب العثور على المستند)
الأداء: فشل الهبوط التدريجي في تحديد المستند الصحيح بفعالية. انخفضت درجة F1 لنظام SCT-Extractive إلى 0.122، وهي أسوأ بكثير من نظام VectorRAG المسطح (0.165 F1، p<0.001).
فشل التوجيه: اختار النظام الورقة الصحيحة بنسبة 20.2% فقط من الوقت، مقارنة بـ 39.3% للاسترجاع المسطح.
السبب: يتم اتخاذ قرار التوجيه عند الجذر، وهو العقدة الأكثر ضغطًا (جملة أو جملتان تمثل ورقة بحثية كاملة). هذا "الضغط قبل الاختيار" يمنع النظام من مطابقة تفاصيل الاستعلام المحددة مع ملخص المستند.
انعكاس الضاغط: في ظل البروتوكول P2، تفوق الضاغط المعتمد على LLM (0.137 F1) على الضاغط الاستخراجي (0.122 F1). كان ملخص الجذر الذي ولده الـ LLM بمثابة "مفتاح توجيه" أفضل (دقة 35.8%) من الاستخراجي (20.2%)، مما غطى على حقيقة أن ضغط الـ LLM دمر استرجاع الأدلة الحرفية (0.009 مقابل 0.720).
تحليل التكلفة
القابلية للتوسع: أدت زيادة المجموعة من 1 إلى 50 مستندًا إلى زيادة عدد العقد التي يتم تقييمها بمقدار 48.9 ضعفًا للاسترجاع المسطح، ولكن بمقدار 6.4 ضعفًا فقط لنظام SCT. وهذا يؤكد أن SCT يفصل تكلفة الاستعلام عن حجم المجموعة.
الأهمية والادعاءات
يختتم البحث بتقييم دقيق ومتواضع لجدوى الطريقة:
التمثيل صالح:صياغة الباقي الدلالي هي المساهمة الأساسية. فهي تسمح بتخزين غير مكرر ومتعدد الدقة يضاهي جودة الاسترجاع الكثيف بعدد أقل بكثير من التوكنات وبدون تكلفة فهرسة (عند استخدام الضغط الاستخراجي).
استراتيجية التوجيه معيبة:الهبوط التدريجي الصارم من الأعلى إلى الأسفل ليس استراتيجية استرجاع قابلة للتطبيق لتحديد المستندات. إن ترتيب "الضغط قبل الاختيار" يجبر النظام على اتخاذ أهم قرار لديه (اختيار المستند) بناءً على التمثيل الأقل معلوماتية (ملخص الجذر).
التوصية الهجينة: يقترح المؤلف تصميمًا هجينًا: اختر المقاطع بشكل مسطح (لتجنب أخطاء التوجيه) ثم استخدم الشجرة للتحكم في الدقة داخل المستند المختار. سيحافظ هذا على فوائد التمثيل الباقي مع التخلص من آلية التوجيه من الأعلى إلى الأسفل.
السياق مهم: يعتمد اختيار الضاغط (LLM مقابل الاستخراجي) على البروتوكول. الاستخراجي يتفوق عندما يكون المستند معروفًا (للحفاظ على الأدلة)، بينما يتفوق الـ LLM عندما يكون التوجيه مطلوبًا (لتوفير ملخصات أفضل على مستوى المستند).
يؤكد البحث أنه بينما يظل نموذج التكلفة (فصل تكلفة الاستعلام عن حجم المجموعة) قائمًا، فإن آلية الهبوط التدريجي تفشل في تحقيق وعدها بالاسترجاع الفعال والدقيق في سياق المجموعة بسبب الفقدان المتأصل في عقدة الجذر.