💻 computer science

DySem: Uncovering Dynamic Semantic Components via Multilingual Consensus for Calculating Semantic Textual Similarity

يُعد DySem إطار عمل مبتكرًا لا يتطلب تدريبًا، يعمل على تحسين التشابه النصي الدلالي من خلال تحديد مكونات دلالية ديناميكية خاصة بكل عينة داخل النماذج اللغوية الكبيرة عبر الإجماع متعدد اللغات، وبذلك يتغلب على قيود استخدام التمثيلات ثابتة الأبعاد وعالية الأبعاد للطبقة الأخيرة.

المؤلفون الأصليون: Kaijie Zheng, Weiqin Wang, Yile Wang, Hui Huang

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kaijie Zheng, Weiqin Wang, Yile Wang, Hui Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة عملاقة وذكية للغاية (نموذج لغوي كبير، أو LLM) تعرف كل شيء تقريبًا. تريد أن تسألها: "ما مدى تشابه هاتين الجملتين؟"

عادةً، عندما نسأل هذه المكتبة هذا السؤال، تعطينا ملخصاً ضخماً مكوناً من 4,000 صفحة عن أفكارها لكل جملة. الأمر يشبه محاولة مقارنة وصفتين عبر قراءة كل صفحة في موسوعة طبخ مكونة من 4,000 صفحة، رغم أن الوصفتين لا تحتاجان إلا لبضع مكونات. هذا الأمر بطيء، فوضوي، وغالباً ما يتضمن الكثير من الضجيج غير ذي الصلة (مثل تاريخ الورق الذي طُبعت عليه الكتب) مما يشتت الانتباه عن المعنى الفعلي.

تقدم هذه الورقة البحثية DySem (المكونات الدلالية الديناميكية)، وهي طريقة جديدة لسؤال المكتبة، تتميز بأنها أسرع، وأذكى، وتستبعد الحشو الزائد.

إليك كيف تعمل، مقسمة إلى خطوات بسيطة:

1. المشكلة: الكثير من الضجيج

الأساليب الحالية تنظر إلى "الصفحة الأخيرة" من ملاحظات المكتبة (الطبقة الخفية الأخيرة) وتقرأ كل كلمة فيها.

المشكلة: تلك الصفحة الأخيرة هي مزيج من كل شيء: معنى الجملة، القواعد، النبرة، وحتى الحقائق العشوائية التي تعرفها النماذج. الأمر يشبه محاولة إيجاد نكهة الحساء عن طريق تذوق القدر بأكمله، بما في ذلك الملعقة والماء.
الحجم: هذه الملاحظات ضخمة (آلاف الأبعاد). الأمر يشبه حمل حقيبة ظهر مليئة بالطوب فقط للعثور على مفتاح واحد.

2. الحل: خدعة "المترجم العالمي"

لا يكتفي DySem بقراءة الملاحظات مرة واحدة، بل يستخدم خدعة ذكية تسمى الإجماع متعدد اللغات (Multilingual Consensus).

تخيل أن لديك جملة: "I am eating less sugar to stay healthy" (أنا آكل سكرًا أقل لأبقى بصحة جيدة).

الخطوة أ: تترجم هذه الجملة إلى 10 لغات مختلفة (الإسبانية، الفرنسية، اليابانية، إلخ).
الخطوة ب: تطلب من المكتبة تحليل "الأفكار" الكامنة وراء الجملة في جميع اللغات العشر.
الخطوة ج: تبحث عن الخيوط المشتركة. ما هي الأجزاء التي تضيء في عقل المكتبة في جميع اللغات العشر؟
- إذا اشتعل "عصبون" معين (جزء صغير من النموذج) في الإنجليزية والإسبانية والفرنسية، فمن المحتمل أنه يتعلق بالمعنى الجوهري (الأكل، الصحة).
- أما إذا اشتعل عصبون في الإنجليزية فقط دون غيرها، فمن المحتمل أنه مجرد سمة خاصة باللغة الإنجليزية (مثل قاعدة قواعدية معينة).

من خلال إيجاد الأجزاء التي تتفق عبر جميع اللغات، يقوم DySem بتصفية "الضجيج" وعزل الجوهر الدلالي الصافي.

3. الجزء "الديناميكي": تخصيص البحث

بمجرد أن يجد DySem "المكونات الأساسية" (المكونات الدلالية) لجملة ما، فإنه لا يستخدم الموسوعة الكاملة المكونة من 4,000 صفحة. بل ينشئ قائمة قصيرة مخصصة للصفحات المهمة فقط.

السحر: عند مقارنة جملتين (مثل: "أنا آكل سكرًا أقل" مقابل "أنا آكل فاكهة أكثر")، ينظر DySem إلى القائمة القصيرة للجملة (أ) وإلى القائمة القصيرة للجملة (ب).
يقوم بدمجهما في مجموعة دلالية مشتركة (Joint Semantic Set). هذا يشبه أخذ المكونات الفريدة من كلتا الوصفتين ومقارنة تلك العناصر المحددة فقط.
إنه يتجاهل كل شيء آخر. إذا كانت الجملة (أ) تتحدث عن "السكر" والجملة (ب) تتحدث عن "الفاكهة"، فإن النموذج يتجاهل آلاف الصفحات الأخرى حول "التاريخ" أو "الرياضيات" التي قد تكون الجملتان قد تضمنتها بالخطأ.

4. النتيجة: أسرع وأفضل

تزعم الورقة البحثية أنه من خلال القيام بذلك:

إنه أذكى: فهو يجد المعنى الحقيقي بشكل أفضل من الأساليب السابقة لأنه يتجاهل "ضجيج الخلفية" الناتج عن المعرفة العامة للنموذج.
إنه أخف: بدلاً من استخدام 4,000 بُعد (صفحة)، فإنه غالباً ما يحتاج إلى حوالي 1,000 (أو حتى أقل). الأمر يشبه مقارنة وصفتين بالنظر إلى أهم 10 مكونات فقط بدلاً من الكتاب بأكمله.
لا يحتاج إلى تدريب: لا يتعين عليك تعليم المكتبة أي شيء جديد. أنت فقط تسألها أسئلة بطريقة معينة (باستاستخدام هذه الترجمات والمطالبات) للحصول على الإجابة.

ملخص التشبيه

الطريقة القديمة: مقارنة شخصين عبر قراءة تاريخ حياتهما الكامل، بما في ذلك درجاتهما الدراسية، وقوائم تسوقهما، ومذكراتهما، لمعرفة ما إذا كانا صديقين.
طريقة DySem: ترجمة قصصهما إلى لغات مختلفة لمعرفة ما يتفقان عليه، ثم مقارنة تلك الذكريات المشتركة المحددة فقط. إنها أسرع، وأنظف، وتخبرك بالضبط مدى تشابههما حقًا.

تثبت الورقة البحثية أن هذا يعمل عبر أنواع مختلفة من نماذج الذكاء الاصطناعي (مثل LLaMA و Qwen) وتظهر أن هذا النهج "الديناميكي" يتفوق على نهج "القراءة الشاملة" القياسي، رغم أنه يستخدم بيانات أقل.

ملخص تقني: DySem

بيان المشكلة

يُعد حساب التشابه النصي الدلالي (STS) مهمة أساسية في معالجة اللغات الطبيعية، حيث يدعم تطبيقات مثل البحث الدلالي، والتجميع (Clustering)، واسترجاع المعلومات. تعتمد الطرق الحالية التي تستخدم النماذج اللغوية الكبيرة (LLMs) عادةً على استخراج حالات الطبقة المخفية الأخيرة باستخدام متجهات ثابتة عالية الأبعاد لحساب التشابه بين أزواج النصوص. ويرى المؤلفون أن هذا النموذج يعاني من قصورين رئيسيين:

تمثيل غير مثالي: تم تحسين الطبقة المخفية الأخيرة في النماذج اللغوية الكبيرة للتنبؤ بالرمز التالي (next-token prediction)، مما يؤدي إلى تشفير معلومات عامة تدمج بين المعاني الجوهرية والمعارف الأوسع غير المرتبطة بها. وبناءً على ذلك، قد لا تكون هذه الطبقة هي المكون الأكثر فعالية لحساب التشابه الدلالي الصرف.
التكرار والضجيج: غالبًا ما تكون أبعاد الحالة المخفية للنماذج اللغوية الكبيرة كبيرة جدًا (على سبيل المثال، +4096)، مما يؤدي إلى إدخال تكرار وضجيج كبيرين. إن استخدام الأبعاد الكاملة لحساب التشابه يترتب عليه عبء حسابي غير ضروري، وتشير الدراسات السابقة إلى أن السلامة الدلالية تظل محفوظة حتى بعد تقليل الأبعاد.

تفشل النهج الحالية عمومًا في رسم خرائط لجميع النصوص إلى متجه باستخدام نفس حالات الطبقة الأخيرة الثابتة والأبعاد الكاملة، حيث تفشل في الاستفضاء من البنية الديناميكية الداخلية للنموذج أو الاحتياجات الدلالية المحددة لكل زوج من النصوص.

المنهجية: DySem

يقترح المؤلفون DySem، وهو إطار عمل مبتكر لا يتطلب تدريبًا، ينتقل من التمثيلات الثابتة ذات الأبعاد الثابتة نحو أبعاد دلالية ديناميكية خاصة بكل عينة. تعمل الطريقة عبر ثلاث مراحل:

1. استخراج المكونات الدلالية عبر الإجماع متعدد اللغات

لتحديد المعنى الدلالي الجوهري لنص ما $x$ مع تصفية الآثار السطحية الخاصة باللغة، يستخدم DySem استراتيجية إجماع متعددة اللغات:

الترجمة: يتم ترجمة النص المدخل إلى مجموعة محددة مسبقًا من $m$ من اللغات المستهدفة.
التلقين (Prompting): تتم معالجة كل نسخة لغوية من خلال النموذج اللغوي الكبير باستخدام قوالب تلقين محددة (إما تلقين إنجليزي قياسي أو تلقين خاص باللغة) لاستخراج متجهات الحالة الداخلية.
اختيار المكونات: بدلاً من استخدام الحالة المخفية النهائية ( $h^L_n$ )، تقيم الطريقة المكونات الداخلية، وتحديدًا مخرجات الانتباه التراكمية ( $A^L_n$ ) ومخرجات الـ FFN التراكمية ( $F^L_n$ ).
تحديد الإجماع: يُعت-بر البعد جزءًا من "مجموعة المكونات الدلالية" إذا كان يتم تنشيطه باستمرار (قيمة موجبة) عبر جميع النسخ اللغوية. يحدد المؤلفون مجموعة مؤشر الإجماع $I(x)$ بناءً على هذا التنشيط المشترك.
ترتيب الأبعاد: ضمن مجموعة التنشيط المشترك، يتم ترتيب الأبعاد حسب متوسط تنشيطها عبر اللغات، ويتم اختيار أفضل- $k$ من الأبعاد لتشكيل مجموعة المكونات الدلالية $S(x)$ .

2. بناء المجموعة الدلالية المشتركة

بالنسبة لزوج من النصوص $(x, y)$ ، يقوم DySem ببناء مجموعة دلالية مشتركة تعتمد على الزوج $U(x, y)$ عن طريق أخذ اتحاد مجموعات المكونات الدلالية الفردية:
$U(x, y) = S(x) \cup S(y)$
يضمن هذا المحاذاة الديناميكية أن المقارنة تلتقط الأبعاد ذات الصلة بأي من النصين، مما يؤدي بفعالية إلى تصفية الضجيج الخلفي غير ذي الصلة والتركيز على المفاهيم الدلالية المشتركة.

3. حساب التشابه عبر أبعاد مرنة

يتم حساب التشابه باستخدام تشابه جيب التمام (cosine similarity) المقيد على المجموعة الدلالية المشتركة $U(x, y)$ . يتم إسقاط المتجهات على هذا المجموعة البعدية المشتركة، ويتم حساب التشابه كالتالي:
$\text{sim}(x, y) = \cos(v_U(x), v_U(y))$
ومن الأهمية بمكان أن أبعاد المتجهات المستخدمة للحساب مرنة ومحددة بالزوج المدخل تحديدًا، وليس بحجم ثابت محدد مسبقًا.

المساهمات الرئيسية

الاستخراج الدلالي الدينامي: يقدم البحث طريقة للكشف عن مكونات دلالية دينامية خاصة بكل عينة داخل النماذج اللغوية الكبيرة، متجاوزًا الحالات المخفية الثابتة للطبقة الأخيرة.
الإجماع متعدد اللغات: يستفيد من الحدس القائل بأن المعنى الدلالي الجوهري يظل ثابتًا عبر الترجمات لعزل الأبعاد الدلالية عن الضجيج الخاص باللغة.
الأبعاد المرنة: يثبت الإطار أنه يمكن تحقيق تشابه نصي دلالي (STS) عالي الجودة باستخدام أبعاد أقل بكثير (غال%ًا حوالي 1,000 أو أقل) مقارنة بحجم الحالة المخفية الكاملة، دون الحاجة لتدريب النموذج.
تحليل المكونات الداخلية: يقيم العمل بشكل منهجي المكونات الداخلية، ليجد أن مخرجات الانتباه التراكمية ( $A^L_n$ ) غالبًا ما توفر تمثيلات دلالية فائقة مقارنة بالحالات المخفية القياسية أو مخرجات الـ FFN.

النتائج التجريبية

أُجريت تجارب واسعة النطاق عبر سبعة معايير قياسية لـ STS (هي STS12–STS16، وSTS-B، وSICK-R) باستخدام عشرة نماذج لغوية كبيرة مختلفة (بما في ذلك عائلات LLaMA2/3.1، وQwen2.5/3، وPhi3، بنسختيها الأساسية والموجهة للتعليمات).

الأداء: تفوق DySem باستمرار على النماذج المرجعية الحديثة، بما في ذلك PromptEOL وAlignedWVA وطرق التلقين التبايني المختلفة. على سبيل المثال، في نموذج Qwen3-8B، حقق DySem متوسط درجة قدره 80.54، متفوقًا على AlignedWVA بمقدار 5.75 نقطة وعلى PromptEOL بمقدار 11.63 نقطة.
الكفاءة: على الرغم من استخدام أبعاد أقل بكثير (بمتوسط يتراوح بين 658 و1240 بُعدًا اعتمادًا على النموذج واستراتيجية التلقين)، حقق DySem نتائج متفوقة أو تنافسية مقارنة بالطرق التي تستخدم متجهات كاملة بـ 4096 بُعدًا.
صلاحية المكونات: أكدت دراسات الاستئصال (Ablation studies) أن المكونات الدلالية المختارة تتفوق بشكل كبير على عمليات اختيار الأبعاد العشوائية. علاوة على ذلك، تم تحديد مخرجات الانتباه التراكمية باعتبارها التمثيل الداخلي الأكثر موثوقية لمهام STS.
الحساسية للتلقين: أظهرت الطريقة متانة عبر استراتيجيات التلقين المختلفة (الإنجليزية مقابل التلقين الخاص باللغة) وطرق بناء المتجهات (المصدر مقابل المتوسط)، حيث غالبًا ما أعطى الجمع بين التلقين الخاص باللغة ومتجهات المتوسط أفضل النتائج.

الأهمية والادعاءات

يزعم البحث أن DySem يوفر اتجاهًا جديدًا لتمثيل النصوص وتقييم العلاقات مع النماذج اللغوية الكبيرة من خلال التنقيب المباشر في وحدات النموذج الداخلية. تكمن أهميته في:

كفاءة لا تتطلب تدريبًا: يوفر نهجًا لا يتطلب تدريبًا لتحسين التشابه الدلالي، مما يجعله قابلًا للتطبيق على أي نموذج لغوي كبير مُدرب مسبقًا دون الحاجة لضبط دقيق (fine-tuning).
تقليل الأبعاد: يتحدى ضرورة استخدام حالات مخفية كاملة الأبعاد للمهام الدلالية، موضحًا أن مجموعة فرعية مدمجة وديناميكية من الأبعاد كافية وغالبًا ما تكون أكثر فعالية.
القدرة على التعميم: يُقدم الإطار كخطوة معالجة عامة يمكن تطبيقها قبل حساب التشابه واسترجاع النصوص، مما قد يقلل من العبء الحسابي في التطبيقات اللاحقة مثل الفهرسة والاسترجاع.

يقر المؤلفون بوجود قيود، مشيرين إلى أن تكلفة الترميز الأولية تتضمن عبء استدلال قدره $O(m)$ بسبب عمليات الترجمة المطلوبة وعمليات التمرير الأمامي المستقلة، مما قد يفرض تحديات في التطبيقات ذات النطاق الهائل عند بدء التشغيل (cold-start) مقارنة بالمشفرات ذات الممر الواحد. ومع ذلك، يجادلون بأن هذه التكلفة تتركز في مرحلة بناء قاعدة البيانات غير المتصلة (offline)، بينما تظل الاستعلامات عبر الإنترنت (online) فعالة.