From Prompt to Graph: Comparing LLM-Based Information Extraction Strategies in Domain-Specific Ontology Development

ملخص تقني: من التلقين إلى الرسم البياني: مقارنة استراتيجيات استخراج المعلومات القائمة على النماذج اللغوية الكبيرة في تطوير الأنطولوجيا المتخصصة في مجال معين

بيان المشكلة
تعد الأنطولوجيا (الوجوديات) ضرورية لهيكلة المعرفة في مجال معين لتسهيل التوافق التشغيلي، وتبادل البيانات، والاستنتاج، لا سيما في القطاعات الصناعية المعقدة مثل تصنيع المسبوكات. ومع ذلك، فإن بناء الأنطولوجيا التقليدي عملية كثيفة العمالة، ومكلفة، وتعتمد بشكل كبير على التوسيم اليدوي للوثائق المجزأة وغير المهيكلة. وبينما توفر النماذج اللغوية الكبيرة (LLMs) إمكانات للأتمتة في استخراج المعرفة، إلا أن الأبحاث الحالية تفتقر إلى المقارنات الجانبية بين النهج المختلفة القائمة على هذه النماذج. علاوة على ذلك، فإن العديد من أنطولوجيات التصنيع الموجودة حالياً غير رسمية، وتفتقر إلى علاقات المفاهيم الثلاثية الكاملة، وغالباً ما تفترض الدراسات السابقة إمكانية الوصول إلى مجموعات بيانات كبيرة ومنظمة جيداً، وهو أمر ليس معتاداً في بيئات التصنيع التقليدية.

المنهجية
تقترح هذه الدراسة إطار عمل شبه مؤتمت لتعلم الأنطولوجيا لاستخراج المصطلحات والعلاقات من النصوص الخاصة بمجال معين (الأوراق الأكاديمية والكتب التقنية) باستخدام بيانات محدودة. يقيم البحث ويقارن بين ثلاث استراتيجيات متميزة تعتمد على النماذج اللغوية الكبيرة:

1. المنهج القائم على النموذج اللغوي الكبير مسبق التدريب: يستخدم نموذجاً عاماً مسبق التدريب (ChatGPT 4.1 mini) مسترشداً بتلقينات محسنة تعتمد على منهجية "سلسلة الأفكار" (Chain-of-Thought - CoT). يستخرج هذا النهج المصطلحات والعلاقات مباشرة دون أمثلة موسومة بشرياً، معتمداً على المعرفة المتأصلة في النموذج.
2. منهج التعلم في السياق (ICL): عملية مكونة من خطوتين (استخراج المصطلحات ثم استخراج العلاقات) تستخدم أمثلة $k$-shot من مجموعة تدريب صغيرة لتوجيه النموذج اللغوي الكبير. ولضمان الصلة الدلالية، تستخدم الدراسة نموذج (Universal AnglE Embedding - UAE)-Large-V1 لاسترجاع أفضل $k$ من العينات التدريبية الأكثر تشابهاً (حيث تم ضبط $k$ عند 16) لكل مدخل اختبار.
3. منهج الضبط الدقيق (Fine-tuning): نهج ضبط دقيق تحت الإشراف يتكون من خطوتين، حيث يتم تدريب نموذجين مخصصين (أحدهما لاستخراج المصطلحات والآخر لاستخراج المرادفات/العلاقات) على كامل مجموعة البيانات الموسومة. يقوم هذا النهج بتحديث معاملات النموذج لتكييف النموذج الأساسي (OpenAI GPT-4.1-mini) مع مجال المسبوكات المحدد دون الحاجة إلى أمثلة $k$-shot أثناء الاستدلال.

الإعداد التجريبي
ركزت الدراسة على مجال المسبوكات، مسترشدة بستة مفاهيم عليا: المواد، عملية الصب، خصائص المنتج، بارامترات الصب، عيوب الصب، ومعدات الصب.

• البيانات: تم إعداد مجموعة بيانات تدريب مكونة من 173 نصاً قصيراً، ومجموعة بيانات اختبار مكونة من 30 فقرة طويلة.
• التوسيم: قام خبراء بشريون بتوسيم 538 مصطلحاً و321 علاقة ثلاثية في مجموعة التدريب، و590 مصطلحاً و481 علاقة في مجموعة الاختبار.
• التقييم: تم قياس الأداء باستخدام الدقة (Precision)، والاستدعاء (Recall)، ومقياس F1-score. تم هيكلة المعرفة المستخرجة في شكل ثلاثيات (مبتدأ، خبر، علاقة) وتم تنفيذها في قاعدة بيانات رسومية من نوع Neo4j.

النتائج الرئيسية

• النموذج اللغوي الكبير مسبق التدريب: حقق دقة تقارب 77.3% في استخراج المصطلحات و79.5% في استخراج العلاقات. ومع ذلك، استخرج عدداً أقل بكثير من الكيانات (142 مصطلحاً، 36 علاقة) مقار بالمحتوى المرجعي (ground truth)، وافتقر إلى المعلومات الموضعية، مما منع حساب الاستدعاء ومقياس F1. كما كان عرضة للهلوسة والتصنيفات غير ذات الصلة.
• منهج التعلم في السياق (ICL): استخرج 421 مصطلحاً (الدقة: 79.8%، الاستدعاء: 56.9%، F1: 66.4%) و424 علاقة ثلاثية (الدقة: 63.9%، الاستدعاء: 56.3%، F1: 59.9%). ورغم فعاليته للنصوص الطويلة، إلا أنه عانى من عدم اتساق تسمية العلاقات (مثل اختلاف المترادفات لنفس العلاقة) وضعف التعرف على المرادفات (تعرف على 1 فقط من أصل 22 زوجاً موسوماً).
• منهج الضبط الدقيق (Fine-tuning): أظهر الأداء المتفوق عبر جميع المقاييس. حقق مقياس F1 لاستخراج المصطلحات 90.6% (الدقة: 93.8%، الاستدعاء: 87.6%) ومقياس F1 لاستخراج العلاقات 79.5% (الدقة: 86.7%، الاستدعاء: 73.4%). وأظهر اتساقاً أكبر في تسمية العلاقات وتعرفاً أفضل بكثير على المرادفات (تعرف على 10 من أصل 22 زوجاً).

بناء الأنطولوجيا
تم اختيار منهج الضبط الدقيق لبناء أنطولوجيا المسبوكات النهائية. بعد دمج المرادفات وإزالة التكرارات، تم الاحتفاظ بـ 273 مفهوماً فريداً و620 علاقة تم التحقق منها. أكد التحقق من قبل الخبراء دقة المفاهيم بنسبة 97% ودقة العلاقات بنسبة 93%. تم تصور الأنطولوجيا الناتجة في Neo4j، مما أظهر تنظيماً هرمياً لمصطلحات المسبوكات.

الأهمية والمساهمات
تدعي الورقة ثلاث مساهمات رئيسية:

1. التقييم المقارن لثلاثة مناهج تعتمد على النماذج اللغوية الكبيرة (التلقين مسبق التدريب، التعلم في السياق، والضبط الدقيق) لاستخراج المصطلحات والعلاقات في سياق متخصص ببيانات محدودة.
2. اقتراح استراتيجية استخراج علاقات قائمة على التلقين (Prompt-based) مصممة لتحسين بناء الأنطولوجيا في تطبيقات التصنيع.
3. تطوير أنطولوجيا عالية الجودة ومحققة لمجال المسبوكات مستمدة من الأدبيات الأكاديمية والتقنية، مما يعالج فجوة الأنطولوجيات غير الرسمية في التصنيع.

تخلص الدراسة إلى أنه بينما تعمل النماذج مسبقة التدريب كنقطة انطلاق مفيدة ويوفر التعلم في السياق (ICL) كفاءة في التكلفة، فإن نهج الضبط الدقيق هو الأكثر فعالية لتطوير أنطولوجيا عالية الجودة عندما تسمح الموارد بذلك. ويشير المؤلفون إلى أن الدراسة محدودة بحجم مجموعة البيانات الصغيرة، ويقترحون أن العمل المستقبلي يجب أن يتحقق من هذه المناهج على مجموعات نصوص أكبر وأكثر تنوعاً لتقييم قابليتها للتوسع في البيئات الصناعية الواقعية.