Dripper: Token-Efficient Main HTML Extraction with a Lightweight LM
تقدم هذه الورقة Dripper، وهو إطار عمل خفيف الوزن يعيد صياغة استخراج المحتوى الرئيسي للويب كمسألة وسم تسلسلي مقيدة باستخدام النماذج اللغوية الصغيرة، محققاً كفاءة ودقة متفوقتين مقارنة بكل من القواعد الاستدلالية التقليدية والنماذج اللغوية الكبيرة التوليدية الضخمة، مع تمكين إنشاء مجموعات بيانات تدريبية عالية الجودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن الإنترنت عبارة عن مكتبة ضخمة وفوضوية. في كل يوم، تُضاف مليارات الكتب الجديدة (صفحات الويب). ولكن تكمن المشكلة هنا: معظم هذه "الكتب" ملفوفة بطبقات من الشريط اللاصق، والتغليف البلاستيكي، والصناديق الكرتونية (الإعلانات، والنوافذ المنبثقة، وقوائم التنقل، والبرمجيات) مما يجعل من المستحيل قراءة القصة الفعلية بداخلها.
لتدريب ذكاء اصطناعي ذكي، نحتاج إلى قراءة القصص، وليس التغليف. ولكن قراءة مليارات الصفحات واحدة تلو الأخرى أمر بطيء، ومكلف، ويؤدي غالəs إلى الأخطاء.
إليك Dripper. فكر في Dripper كأنه روبوت أمين مكتبة فائق الكفاءة والسرعة، يعرف تماماً كيف يفك تغليف هذه العبوات دون تمزيق صفحة واحدة من القصة.
إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:
1. المشكلة: معضلة "الصندوق الثقيل"
تحاول الأدوات التقليدية قراءة الصندوق بأكمله (كود HTML الخام) للعثين على القصة. هذا يشبه محاولة العثور على جملة محددة في كتاب من خلال قراءة الصندوق الكرتوني بالكامل أولاً. إنه أمر بطيء، ويجعل الذكاء الاصطناه يتشتت بكل تلك الأشياء الإضافية.
من ناحية أخرى، نماذج الذكاء الاصطناعي "فائقة الذكاء" (مثل العمالقة في هذا المجال) بارعة في فهم السياق، لكنها تشبه أبطال الوزن الثقيل. فهي مكلفة جداً للتشغيل وبطيئة جداً بحيث لا يمكنك استخدامها لمعالجة الإنترنت بأكله. بالإضافة إلى ذلك، فإنها أحياناً "تهلوس" — قد تؤلف قصة لم تكن موجودة في الكتاب على الإطلاق.
2. الحل: استراتيجية "الفرع المزدوج"
يحل Dripper هذه المشكلة باستخدام خدعة ذكية من خطوتين، مثل عمل جاسوس ماكر وكاتب أمين يعملان معاً.
الخطوة أ: الجاسوس (HTML المبسط)
أولاً، يأخذ Dripper صفحة الويب الفوضوية ويجردها حتى عظامها الأساسية. إنه يزيل الإعلانات، والخطوط المزخرفة، والكود المخفي، تاركاً فقط الهيكل العظمي للصفحة. إنه يشبه أخذ آلة معقدة وإزالة الطلاء والبراغي منها لتنظر فقط إلى التروس. هذا "الهيكل العظمي" صغير وسهل القراءة.- النتيجة: ينظر نموذج ذكاء اصطناعي صغير وخفيف الوزن (يسمى Dripper-0.6B) إلى هذا الهيكل ويتخذ قراراً سريعاً: "هل هذا جزء من القصة؟ نعم أم لا؟". هو لا يعيد كتابة القصة؛ بل يكتفي بوضع ملصق ملاحظات على كل كتلة نصية يقول: "احتفظ" أو "تخلص".
الخطوة ب: الكاتب (رسم خرائط HTML)
بينما يقوم "الجاسوس" باتخاذ تلك القرارات السريعة، يكون "الكاتب" ممسكاً بالنسخة الأصلية والنقية من الصفحة. بمجرد أن يقول الجاسوس: "احتفظ بالكتلة رقم 2"، يقوم الكاتب بجلب النص الأصلي الدقيق من الكتلة رقم 2.- النتيجة: لأن الكاتب لم يقم بإعادة كتابة أي شيء، تكون القصة النهائية مثالية. لا أخطاء إملائية، ولا كلمات مفقودة، ولا حقائق مختلقة.
3. لماذا يعد هذا تغييراً لقواعد اللعبة؟
- السرعة: نظرًا لأن "الجاسوس" ينظر فقط إلى هيكل عظمي صغير، فبإمكانه معالجة 3 صفحات كل ثانية على شريحة كمبيوتر واحدة. هذا يشبه قراءة مكتبة كاملة في الوقت الذي يستغرقه إعداد كوب من القهوة.
- الدقة: من خلال استخدام نظام تصنيف "نعم/لا" بدلاً من مطالبة الذكاء الاصطنا_بـ "كتابة القصة"، يمنع Dripper الذكاء الاصطناعي من اختلاق الأشياء (الهلوسة). الأمر يشبه مطالبة حارس بالإشارة إلى الباب الصحيح بدلاً من مطالبته بوصف الغرفة التي خلفه.
- المعيار "السحري": بنى الفريق اختباراً جديداً يسمى WebMainBench (مثل الامتحان النهائي لأدوات استخراج بيانات الويب). سجل Dripper درجات أعلى من الأدوات القديمة البطيئة، واقترب كثيراً من نماذج "الذكاء الخارق" الضخمة والمكلفة، ولكن بجزء بسيط من التكلفة.
4. الصورة الكبيرة: لماذا يهم هذا؟
فكر في بيانات تدريب الذكاء الاصطناعي كأنها الغذاء لعقل روبوت عملاق. إذا كان الطعام مليئاً بالأغلفة البلاستيكية (الإعلانات والرموز غير الضرورية)، فسيصاب الروبوت بالمرض ويتعلم عادات سيئة. أما إذا كان الطعام نظيفاً ومغذياً (نصوص نقية)، فسيصبح الروبوت أكثر ذكاءً.
لقد أثبت المؤلفون أنه باستخدام Dripper لتنظيف البيانات، فإن نماذج الذكاء الاصطناعي الناتجة في الواقع تعلمت بشكل أفضل. لقد أصبحت أكثر ذكاءً في التفكير والإجابة على الأسئلة من النماذج التي تدربت على بيانات نظفتها طرق أقدم وأبطأ.
ملخص التشبيه
تخيل أنك تحاول نسخ وصفة من مجلة، لكن المجلة مليئة بالإعلانات، وقصص المشاهير، والصور الملونة.
- الأدوات القديمة: تحاول نسخ الصفحة بأكملها، فتتشتت بسبب الإعلانات.
- الذكاء الاصطناعي الكبير: يقرأ الصفحة بأكملها بشكل مثالي ولكنه يستغرق 10 دقائق لنسخ وصفة واحدة ويكلف 100 دولار.
- Dripper: يمسح الصفحة بسرعة، ويضع نقطة خضراء على الوصفة ونقطة حمراء على الإعلانات (في ثانية واحدة)، ثم تقوم أنت فقط بنسخ الأجزاء التي تحتوي على النقاط الخضراء. إنه سريع، ورخيص، وتخرج الوصفة مثالية.
Dripper هو الأداة التي تجعل الإنترنت قابلاً للقراءة للجيل القادم من الذكاء الاصطناعي، مما يضمن تعلمهم من أفضل أجزاء المعرفة البشرية دون الضجيج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.