LakeHopper: Knowledge-Aware Adaptation of Column Type Annotators across Data Lakes
يعالج LakeHopper تدهور أداء أدوات وسم أنواع الأعمدة عند الانتقال بين بحيرات بيانات مختلفة من خلال إعادة صياغة التكيف كمسألة إدارة معرفة وتوظيف آلية ثلاثية الخطوات تتمثل في إعادة محاذاة مجموعة الملصقات، واكتشاف الفجوات الموثق بواسطة النماذج اللغوية الكبيرة، والانتشار القائم على العنقودية لتحقيق جودة تقارب جودة البيانات الكاملة مع حد أدنى من الإشراف في الهدف مع تجنب مشكلات الهلوسة الشائعة في النماذج اللغوية الكبيرة المعتمدة على التلقين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في مستودعات الإنترنت الشاسعة وغير المنظمة، تقبع البيانات في جداول، تنتظر من يستخدمها. تحمل هذه الجداول كل شيء، من تواريخ إصدار الأفلام إلى أسماء الجامعات، ولكن بدون تسمية (label) تخبر الحاسوب بما يمثله العمود فعلياً، تصبح البيانات مجرد فوضى من النصوص. لا يمكن للنظام أن يعرف أن قائمة من الأسماء تشير إلى "علماء" بدلاً من مجرد "أشخاص"، أو أن سلسلة من الأرقام هي "سنة" وليست "رقم هاتف". تسمى عملية إلحاق معنى دلالي بالعمود بـ "توصيف نوع العمود" (column type annotation). وهي الأساس الذي يسمح للحواسيب بالبحث، والتنظيف، والدمج بين البيانات من مصادر مختلفة. لسنوات، كانت أفضل الأدوات لهذه المهمة هي برامج حاسوبية متخصصة تم تدريبها على مجموعات محددة من البيانات. كانت تعمل بشكل جيد في بيئتها الأصلية، لكنها كانت تفشل فشلاً ذريعاً عند نقلها إلى مستودع بيانات جديد، لأن المكان الجديد يستخدم تسميات مختلفة وأنواعاً مختلفة من المعلومات. إن إعادة تدريب هذه البرامج من الصفر لكل بحيرة بيانات جديدة كانت تتطلب جهداً بشرياً ومالياً هائلاً لدرجة جعلت الأمر مستحيلاً في كثير من الأحيان، مما ترك كميات هائلة من البيانات حبيسة وغير قابلة للاستخدام.
لقد طور باحثون في جامعة هونج كونج للعلوم والتكنولوجيا (HKUST) ومجموعة "أنت" (Ant Group) نهجاً جديداً يسمى "ليك هوبر" (LakeHopper) يحل هذه المشكلة عن طريق تغيير كيفية تكيف هذه البرامج مع البيئات الجديدة. فبدلاً من محاولة إعادة تدريب النظام بأكمله من الصفر أو مطالبة ذكاء اصطناعي قوي بتخمين التسميات، فإنهم يعاملون المهمة كمسألة إدارة معرفة. لقد أدركوا أنه عند نقل برنامج من بحيرة بيانات إلى أخرى، فإن بعض المعرفة القديمة تصبح عديمة الفائدة ويجب التخلص منها، وبعضها لا يزال مفيداً ولكنه يحتاج إلى تعديل، وهناك معرفة جديدة يجب تعلمها. يقوم منهجهم بفصل هذه الأنواع الثلاثة من المعرفة بعناقة. فهو يحتفظ بالأجزاء التي تعمل جيداً من البرنامج، ويحدث الأجزاء التي تحتاج إلى تعديل، ويستخدم نموذج لغة ضخماً ليس لاتخاذ القرار النهائي، بل ليعمل كمدقق صارم. يقوم هذا المدقق بفحص تخمينات البرنامج ويحدد فقط الأعمدة التي يشعر فيها البرنامج بعدم اليقين أو احتمال الخطأ، مما يضمن أن النظام يطلب المساعدة البشرية فقط في العناصر التي تحتاج إليها حقاً.
والنتيجة هي نظام يمكنه أخذ برنامج تم تدريبه على مجموعة بيانات واحدة وجعله يعمل على مجموعة مختلفة تماماً بكسر ضئيل من الجهد المعتاد. في اختباراتهم، نقل الباحثون برامج بين ثلاث بحيرات بيانات مختلفة، بما في ذلك واحدة تحتوي على بيانات تجارية عامة وأخرى تحتوي على جداول علمية. ووجدوا أن "ليك هوبر" يمكنه تحقيق جودة تقارب ما لو تم تدريب البرنامج على مجموعة البيانات الجديدة بالكامل، لكنه فعل ذلك باستخدام أقل من ستة بالمائة من التسميات البشرية المطلوبة. وهذا يمثل انخفاضاً هائلاً في التكلفة والوقت. علاوة على ذلك، ولأن النظام يعتمد على برنامج متخصص لاتخاذ التسمية النهائية بدلاً من ذكاء اصطناعي عام، فإنه لا ينتج أبداً تسمية تقع خارج قائمة الأنواع المسموح بها. غالباً ما تقوم نماذج الذكاء الاصطناعي العامة بـ "الهلوسة"، أو اختراع تسميات غير موجودة في النظام المستهدف، مما يجعل مخرجاتها غير صالحة لخطوط الإنتاج الآلية. يتجنب "ليك هوبر" ذلك تماماً، حيث يضمن هيكلياً أن كل مخرج يتناسب مع التنسيق المطلوب.
أظهر الباحثون أن هذه الطريقة تعمل عبر مستويات مختلفة من الصعوبة. في بعض الحالات، كانت بحيرة البيانات الجديدة تضيف ببساطة أنواعاً جديدة من التسميات إلى القائمة القديمة، وهو ما يعد توسعاً بسيطاً. وفي حالات أخرى، تطلبت البحيرة الجديدة من النظام نسيان تسميات قديمة تعلمها وتعلم تسميات جديدة تماماً، وهو تحدٍ أصعب بكثير. وحتى في هذه السيناريوهات الصعبة، حسن "ليك هوبر" أداء البرامج الأساسية بنسبة تصل إلى 71% مقارنة بالطرق القياسية. كما أن النظام سريع بشكل ملحوظ، حيث يتكيف مع البيانات الجديدة أسرع بـ 27 إلى 131 مرة من الطرق الأخرى التي تحاول ضبط النماذج اللغوية الكبيرة (fine-tuning). وتأتي هذه السرعة من حقيقة أن النظام لا يحتاج إلى إعادة تعلم كل شيء؛ بل يتعلم فقط الفجوات المحددة بين ما يعرفه وما يحتاج إلى معرفته.
إن الرؤية الرئيسية لهذا العمل هي الدور المحدد المخصص لنموذج اللغة الضخم. فقد كانت المحاولات السابقة غالباً ما تطلب من هذه النماذج العمل كمُسمٍ أساسي، بحيث تخمن مباشرة نوع العمود. ووجد الباحثون أنه بينما تمتلك هذه النماذج معرفة عامة جيدة، إلا أنها ضعيفة في القواعد المحددة والصارمة المطلوبة لتوصيف البيانات، وكثيراً ما تخترع تسميات لا تتوافق مع مخطط النظام (schema). يقوم "ليك هوبر" بقلب هذه الديناميكية؛ حيث يُستخدم نموذج اللغة الضخم فقط للتحقق من التخمينات التي يقوم بها البرنامج المتخصص. إنه يجيب على سؤال بسيط بنعم أو لا: "هل هذه التسمية صحيحة؟". وهذه مهمة أسهل بكثير بالنسبة للنموذج من اختيار التسمية الصحيحة من بين مئات الخيارات. ومن خلال قصر دور النموذج على التحقق، يحصل النظام على فائدة المعرفة الواسعة للنموذج لرصد الأخطاء دون المخاطرة بإدخال تسميات غير صالحة.
تتضمن العملية دورة من الفحص والتعلم. يقوم النظام أولاً بتعديل هيكله الداخلي ليتناسب مع قائمة التسميات الممكنة الجديدة، حيث ينقل المعرفة التي يتشاركها بالفعل مع البيئة الجديدة ويعيد ضبط الأجزاء التي لا يعرفها. ثم يمر عبر البيانات الجديدة، بحثاً عن الأعمدة التي يشعر فيها بعدم اليقين. وبالنسبة لهذه الأعمدة غير المؤكدة، فإنه يطلب من المدقق فحص عمله. إذا قال المدقق إن التسمية خاطئة أو أنه لا يعرفها، فإن النظام يصنف ذلك العمود على أنه "صعب". بعد ذلك، يبحث عن أعمدة أخرى مشابهة لتلك الأعمدة الصعبة ويطلب تسميات بشرية لهذه المجموعة بأكملها. وهذا يسمح للنظام بالتعلم من عينة صغيرة ومعلوماتية للغاية بدلاً من عينة عشوائية. وبينما يتعلم، فإنه يتدرب على البيانات الجديدة مع تذكر البيانات القديمة التي لا يزال بحاجة لاستخدامها، مما يضمن أنه لا ينسى ما يعرفه بالفعل.
يعالج هذا النهج عقبة أساسية في إدارة البيانات: وهي تكلفة التسمية. في العديد من السيناريوهات الواقعية، يكون الخبراء مشغولين جداً أو مكلفين للغاية لتسمية كل عمود في بحيرة بيانات جديدة. يظهر "ليك هوبر" أنه من الممكن الحصول على نتائج عالية الجودة من خلال كوننا أذكياء بشأن المكان الذي ننفق فيه ذلك الجهد البشري المحدود. النظام قوي بما يكفي للعمل حتى لو كان المدقق نموذجاً أصغر يتم تشغيله محلياً، مما يعني أنه لا يعتمد على خدمات خارجية باهظة الثمن. وهذا يجعل التكنولوجيا متاحة للمؤسسات التي تحتاج إلى إدارة بياناتها الحساسة الخاصة دون إرسالها إلى أطراف ثالثة.
تؤكد الدراسة أن الطريقة تعمل باستمرار عبر أنواع مختلفة من البيانات وبرامج أساسية مختلفة. وسواء كانت البيانات تأتي من لوحات معلومات عامة، أو جداول علمية، أو مستودعات أكواد، فإن النظام يتكيف بفعالية. وهو يتعامل مع الانتقال من التوسعات البسيطة للبيانات الموجودة إلى التحولات المعقدة حيث تتغير طبيعة البيانات بالكامل. وقد لاحظ الباحثون أنه بينما يعد النظام فعالاً للغاية، فإنه ليس حلاً سحرياً يلغي الحاجة إلى الإشراف البشري تماماً. ففي أكثر السيناريوهات صعوبة، لا تزال الدقة أقل مما يمكن تحقيقه مع التسمية البشرية غير المحدودة، لكنها تقرب النظام بما يكفي ليكون مفيداً للعديد من التطبيقات العملية. ويمثل هذا العمل تحولاً من محاولة بناء نموذج واحد مثالي لكل البيانات إلى إنشاء عملية مرنة يمكنها نقل المعرفة من سياق إلى آخر بكفاءة.
من خلال معاملة تكيف أدوات البيانات كمسألة إدارة معرفة، قدم الباحثون مساراً واضحاً للأمام لتكامل البيانات. لقد أثبتوا أن الفجوة بين ما يعرفه الحاسوب وما يحتاج إلى معرفته يمكن جسرها من خلال تحديد الاختلافات بدقة وملئها بالتعلم المستهدف. هذا النهج يحترم حدود الذكاء الاصطناعي الحالي، حيث يستخدمه حيث تكمن قوته ويتجنبه حيث تكمن نقاط ضعفه. والنتيجة هي طريقة عملية، وفعالة، وموثوقة لفتح قيمة بحيرات البيانات التي كانت سابقاً مكلفة للغاية للاستخدام. ومع استمرار نمو البيانات في الحجم والتنوع، ستكون أساليب مثل "ليك هوبر" ضرورية لتحويل المعلومات الخام إلى معرفة قابلة للتنفيذ دون الحاجة إلى قدر مستحيل من العمل البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.