Lightweight Semantic Embeddings Enable Redundancy-Sensitive Knowledge Graph Construction for LLM-Based Document Processing
تقدم هذه الورقة AMODD، وهو مسار عمل مدعوم بالتعلم الآلي يستفيد من التضمينات الدلالية خفيفة الوزن لإزالة تكرار أقسام المستندات الفائضة وتجميع كيانات الرسم البياني، مما يقلل بشكل كبير من استهلاك الرموز (tokens) وزمن الاستجابة في النماذج اللغوية الكبيرة (LLM) أثناء بناء الرسم البياني للمعرفة مع الحفاظ على جودة استرجاع عالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطنا-عي، هناك توتر متزايد بين الرغبة في فهم كميات هائلة من المعلومات والقيود العملية لقدرة الحوسبة. تُستخدم النماذج اللغوية الكبيرة، وهي البرمجيات المتطورة التي يمكنها القراءة والكتابة بلغة البشر، كثيرًا لتحويل المستندات غير المنظمة والفوضوية إلى رسوم بيانية معرفية منظمة. فكر في الرسم البياني المعرفي كخريطة مهيكلة للحقائق، حيث يتم ربط قطع محددة من المعلومات معًا لإظهار كيفية ارتباطها ببعضها البعض. وهذا أمر مفيد للغاية لصناعات مثل الطاقة أو القانون، حيث يمكن أن تمتد اللوائح والمعايير التقنية عبر مئات الصفحات. ومع ذلك، تبرز مشكلة كبيرة عندما تحتوي هذه المستندات على تكرار؛ إذ غالبًا ما تعيد الأدلة التقنية والمدونات القانونية صياغة القواعد أو التعريفات ذاتها بكلمات مختلفة قليلاً عبر أقسام متعددة. وعندما يحاول الكمبيوتر معالجة مستند كهذا، فإنه غالبًا ما يعامل كل قسم كأنه لغز فريد، مما يطلب من الذكاء الاصطناعي المكلف تحليل الفكرة الجوهرية ذاتها مرارًا وتكرارًا. هذا النهج ليس بطيئًا فحسب، بل هو أيضًا مستنزف ماليًا، لأن تكلفة استخدام أنظمة الذكاء الاصطنا-عي هذه مرتبطة مباشرة بحجم النص الذي تعالجه.
سعى الباحثون في "فوجيتسو ريسيرش أوف يوروب" (Fujitsu Research of Europe) لحل عدم الكفاءة هذا من خلال ابتكار طريقة أكثر ذكاءً لبناء هذه الخرائط المعرفية. فقد طوروا نظامًا يسمى "أمود" (AMODD)، وهو اختصار لـ "التخطيط الآلي لتعريفات البيانات"، وأضافوا إليه طبقة جديدة من الذكاء. فبدلاً من معالجة كل صفحة من المستند بشكل أعمى، يستخدم هذا النظام المحسن أولاً أداة خفيفة الوزن لقراءة النص وفهم معناه. تعمل هذه الأداة مثل ماسح ضوئي سريع يمكنه التعرف على متى يكون قسمان مختلفان في المستند يقولان الشيء نفسه بالفعل، حتى لو استخدما كلمات مختلفة. ومن خلال تحديد النسخ المتطابقة تقريبًا قبل أن يرى الذكاء الاصطناسي الرئيسي هذه الأجزاء، يمكن للنظام تخطي العمل المكرر تمامًا. بعد ذلك، يقوم بمعالجة الأقسام الفريدة فقط، ويستخرج الحقائق، ويجمع بين أي حقائق متشابهة قد تكون صيغت بشكل مختلف. وأخيرًا، عندما يطرح إنسان سؤالًا حول المستند، يبحث النظام عن الإجابات بناءً على معنى الكلمات بدلاً من مجرد مطابقة الكلمات المفتاحية بدقة.
ولاختبار ما إذا كان هذا النهج قد نجح بالفعل، صمم الفريق سلسلة من المستندات الاصطناعية المتعلقة بلوائح طاقة الهيدروجين. وقد صمموا ثلاث نسخ من هذه المستندات: نسخة قصيرة بها تكرار ضئيل جدًا، ونسخة متوسطة الطول بها بعض الأجزاء المكررة، ونسخة طويلة مليئة بالتكرار الكثيف. ثم قاموا بتشغيل نفس المستندات عبر مسارين مختلفين: المسار الأول كان الطريقة القياسية، التي تعالج كل قسم بشكل مستقل، والمسار الثاني كان طريقتهم الجديدة المحسنة والمجهزة بطبقة مسح المعنى. وأظهرت النتائج نمطًا واضحًا يعتمد كليًا على مقدار التكرار الموجود في المستند. فبالنسبة للمستند القصير غير المتكرر، كان النظام الجديد أبطأ قليلاً لأنه اضطر للقيام بالخطوة الإضافية المتمثلة في المسح بحثًا عن تكرارات غير موجودة. ومع ذلك، كلما أصبحت المستندات أكثر تكرارًا، بدأ النظام الجديد في التألق. ففي المستند متوسط الطول ذي التكرار المتوسط، قلل النهج الجديد عدد المرات التي يتعين فيها استدعاء الذكاء الاصطنا-عي بنسبة تقارب 58 بالمائة، وقلل إجمالي النص الذي تمت معالجته بواسطة الذكاء الاصطنا-عي بنسبة 56.7 بالمائة. وفي المستند الطويل عالي التكرار، كانت الوفورات أكثر دراماتيكية، حيث قللت استدعاءات الذكاء الاصطنا-عي بنسبة 85.4 بالمائة وحجم النص المعالج بنسبة 84.9 بالمائة.
وبعيدًا عن مجرد توفير المال والوقت، حرص الباحثون على ضمان أن هذه الكفاءة لا تأتي على حساب فقدان معلومات مهمة. لقد قاموا بقياس العدد النهائي للحقائق، أو "الثلاثيات" (triples)، التي انتهت في الرسم البياني المعرفي. ووجدوا أنه بينما أنتج النظام الجديد رسمًا بيانيًا أصغر في المستندات المتكررة، لم يكن ذلك بسبب التخلص من حقائق فريدة، بل كان حجم الرسم الأصغر نتيجة مباشرة لإزالة النسخ المكررة من نفس الحقائق التي احتفظ بها النظام القديم. لقد نجح النظام الجديد في الحفاظ على المعرفة الجوهرية مع تجريدها من الضجيج. علاوة على ذلك، عندما اختبروا مدى جودة قدرة النظام على الإجابة على الأسئلة، أثبت النهج الجديد تفوقه. فعند طرح سؤال واسع مثل "عن ماذا يتحدث هذا المستند؟"، تمكن النظام الجديد، باستخدام فهمه للمعنى، من استرجاع الحقائق ذات الصلة بفعالية أكبر بكثير من النظام القديم، الذي كان يعاني عندما لا تستخدم الأسئلة نفس الكلمات الموجودة في النص بالضبط.
تخلص الدراسة إلى أن هذه الإضافة خفيفة الوزن تغير كيفية تعامل هذه الأنظمة مع المستندات. فبدلاً من تصاعد التكلفة والوقت بشكل خطي مع الطول الإجمالي للمستند، يتصاعد النهج الجديد مع مقدار المعلومات الفريدة الموجودة بداخله. فإذا كان المستند مليئًا بالبنود المكررة، فإن النظام يدرك ذلك ويتوقف عن إضاعة الموارد عليها. وقد أشار الباحثون إلى أن هذه الطريقة ليست حلاً سحريًا لكل موقف؛ فهي لا تقدم أي فائدة للمستندات القصيرة والفريدة حيث لا يوجد شيء لتخطيه. ومع ذلك، بالنسبة للنصوص التقنية والتنظيمية الطويلة والمتكررة الشائعة في العديد من الصناعات، يوفر هذا النهج طريقة عملية لجعل الذكاء الاصطنا-عي أكثر كفاءة وبأسعار معقولة دون التضحية بجودة الرسم البياني المعرفي النهائي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.