STRUCTSENSE: A Task-Agnostic Agentic Framework for Structured Information Extraction with Human-In-The-Loop Evaluation and Benchmarking
تقدم الورقة البحثية "StructSense"، وهو إطار عمل مفتوح المصدر، معياري، وغير مرتبط بمهمة محددة، يجمع بين المعرفة الرمزية الموجهة بالأنطولوجيا، والتقييم الذاتي الوكيل، والتحقق من خلال العنصر البشري، لتحقيق استخراج معلومات هيكلية قوي وقابل للتعميم عبر مجالات علمية متنوعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك أمين مكتبة يحاول تنظيم مكتبة تنمو بسرعة كبيرة لدرجة أنها يتضاعف حجمها كل بضع سنوات. كل يوم، تصل آلاف الكتب الجديدة (الأوراق العلمية)، المليئة بالمصطلحات المعقدة، والرسوم التوضيحية المربكة، والحقائق الخفية. إن محاولة قراءتها جميعًا واستخراج الأجز المهمة منها يدويًا أمر مستحيل.
هنا يأتي دور StructSense. فكر فيه ليس كإنسان آلي واحد، بل كـ فريق من المحققين المتخصصين يعملون معًا لقراءة هذه الكتب، وإيجاد الحقائق، وتنظيمها في قاعدة بيانات مرتبة وقابلة للبحث.
إليك كيف يعمل هذا الفريق، مقسمًا إلى أجزاء بسيطة:
1. فريق المحققين (الوكلاء)
بدلاً من وجود عقل واحد كبير يحاول القيام بكل شيء، يستخدم StructSense نظامًا "متعدد الوكلاء". تخيل فرقة من المحققين حيث لكل فرد مهمة محددة:
- المستخرج (الجامع): هذا المحقق يقرأ النصوص الفوضوية ويستخرج المعلومات الخام. لكنه لا يعتمد على التخمين فحسب؛ بل يستخدم مجموعة أدوات من العدسات المكبرة المتخصصة (نماذج ذكاء اصطناعي مختلفة) للعثور على أشياء مثل الجينات، أو الأمراض، أو مناطق الدماغ. إذا فات نموذج ما شيء ما، فقد يلتقطه نموذج آخر. إنهم يعملون على أجزاء، مثل قراءة كتاب صفحة بصفحة.
- المُوائم (المترجم): بمجرد أن يجد المستخرج كلمة مثل "cortex" (القشرة)، يسأل المُوائم: "أي نوع من القشور؟". في ورقة بحثية عن الدماغ، هي الطبقة الخارجية للدماغ. أما في ورقة بحثية عن النبات، فهي الطبقة الخارجية للساق. يقوم المُوائم بالتحقق من قاموس ضخم رسمي (يسمى الأنطولوجيا أو علم الوجود) للتأكد من ترجمة الكلمة إلى المعنى الصحيح والمعياري.
- القاضي (الناقد): هذا المحقق يراجع عمل المستخرج والمُوائم. ويمنحه درجة من 0 إلى 1 بناءً على مدى ثقته في صحة المعلومات. كما يكتب ملاحظة تشرح سبب إعطائه تلك الدرجة، حتى نعرف منطقه في التفكير.
- وكيل التغذية الراجعة (المحرر البشري): حتى أفضل أنظمة الذكاء الاصطناعي قد تخطئ. هذا الوكيل يسمح للخبير البشري بالتدخل. إذا أخطأ الذكاء الاصطناعي في شيء ما، يمكن للإنسان تصحيحه، ويتعلم النظام من هذا الإدخال قبل اعتماد النتيجة النهائية.
2. "إثبات العمل" (التوثيق)
واحدة من أكبر المشكلات في الذكاء الاصطناعي هي أنه قد "يهلوس" أحيانًا—أي يختلق حقائق تبدو حقيقية لكنها ليست كذلك. يحل StructSense هذه المشكلة من خلال العمل كـ محقق جنائي.
كل حقيقة يستخرجها النظام تأتي مع "إيصال". فهو يسجل بالضبط من أي جملة في الورقة الأصلية جاءت هذه الحقيقة، وأي أداة محددة وجدتها. إذا لم يتمكن النظام من الإشارة إلى المكان المحدد في النص الذي وجد فيه الحقيقة، فإنه يتخلص من تلك الحقيقة. هذا يضمن عدم اختلاق أي شيء.
3. "المكتبة المحلية" (رسم خرائط المفاهيم)
لمساعدة المُوائم في أداء مهمته، يستخدم النظام محرك بحث محلي. تخيل أن لديك مكتبة ضخمة من التعريفات. عندما يجد النظام مصطلحًا، فإنه لا يخمن فحسب؛ بل يبحث في هذه المكتبة المحلية للعثور على التطابق المثالي. وقد اختبرت الورقة البحثية محرك البحث هذا ووجدت أنه جيد جدًا في العثور على التعريف الصحيح، حتى عندما كانت مصطلحات البحث صعبة أو لها معانٍ متعددة.
4. كيف كان أداؤهم؟ (النتائج)
اختبر المؤلفون هذا الفريق في ثلاثة أنواع مختلفة من "القضايا":
- الحالة 1: النماذج (استخراج المخططات): طلبوا من النظام تحويل نماذج PDF الفوضوية (مثل استبيان الحالة المزاجية) إلى بيانات رقمية نظيفة.
- النتيجة: كان النظام شبه مثالي، حيث أصاب في 91% إلى 100% من البيانات بشكل صحيح. كان الأمر يشبه روبوتًا يمكنه قراءة نموذج مكتوب بخط اليد وكتابته في جدول بيانات دون خطأ مطبعي واحد.
- الحالة 2: البحث عن الكنز (استخراج الموارد): طلبوا من النظام العثف على أدوات ومجموعات بيانات ونماذج محددة مذكورة في الأوراق العلمية.
- النتيجة: كان ناجحًا جدًا، حيث وجد ما بين 86% إلى 93% من الموارد بشكل صحيح.
- الحالة 3: البحث عن الكلمات (التعرف على الكيانات المسماة): طلبوا منه العثور على مصطلحات علمية محددة (مثل "منطقة دماغ" أو "جين") وتصنيفها في أوراق علم الأعصاب.
- النتيجة: كانت هذه هي المهمة الأصعب لأن لغة العلم معقدة للغاية. نجح النظام في تحديد وتصنيف ما بين 58% إلى 75% من المصطلحات بشكل صحيح. ومع ذلك، فقد وجد ما بين 1,000 إلى 3,600 مصطلح إضافي مهم فات الاختبارات القياسية، مما يظهر أنه يرى أشياء لا يراها غيره.
الخلاصة
StructSense هو إطار عمل جديد مفتوح المصدر يساعد العلماء على تحويل التدفق الفوضوي للأوراق العلمية إلى بيانات منظمة وموثوقة. وهو يفعل ذلك من خلال:
- استخدام فريق من وكلاء الذكاء الاصطناعي المتخصصين بدلاً من وكيل عام واحد.
- التحقق من عمله مقابل النص الأصلي لمنع الأكاذيب (الهلوسة).
- استخدام قواميس رسمية للتأكد من أن الكلمات تعني الشيء نفسه للجميع.
- السماح للبشر بالتدخل لإصلاح الأخطاء.
تظهر الورقة البحثية أن هذا النهج يعمل بشكل جيد عبر أنواع مختلفة من العلوم (مثل علم الأعصاب وعلم الأحياء العام) دون الحاجة إلى إعادة تدريبه لكل موضوع جديد على حدة. إنه أداة مصممة لمساعدة الباحثين على مواكبة الانفجار في المعرفة الجديدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.