Leveraging External Knowledge for Historical Document Restoration via Retrieval-Augmented Large Language Models
تقدم هذه الورقة ARI، وهو إطار عمل للنماذج اللغوية الكبيرة المعززة بالاسترجاع، والذي يحسن بشكل كبير من استعادة الوثائق التاريخية، ولا سيما الكيانات المسماة، من خلال الجمع بين معرفة النماذج اللغوية الكبيرة سابقة التدريب والسياق الخارجي المسترجع صراحةً.
تخيل أنك محقق يحاول حل لغز، لكن الخيط الوحيد الذي تملكه هو صفحة ممزقة ومتضررة من الماء لـ مذكرات كُتبت قبل 400 عام. الحبر باهت، والورق ممزق، وهناك أجزاء ضخمة من النص مفقودة، حلت محلها مربعات فارغة. هذا هو الواقع اليومي للمؤرخين الذين يحاولون قراءة الوثائق القديمة. لقرون، كانت هذه السجلات هي الطريقة الوحيدة لفهم الماضي، لكن الزمن والرطوبة والكتبة غير المهرة جعلت قراءتها شبه مستحيلة. ولإصلاح ذلك، قام العلماء بتعليم الحواسيب كيف تعمل كمخمنين أذكياء للغاية. إنهم يستخدمون تقنية تسمى "نمذجة اللغة المقنعة"، وهي تشبه لعب لعبة "املأ الفراغ" عالية المخاطر. ينظر الكمبيوتر إلى الكلمات المحيطة بالقطعة المفقودة ويحاول تخمين الكلمة التي تناسب السياق بشكل أفضل بناءً على الجملة المباشرة.
ومع ذلك، هناك عقبة. فأحياناً، لا تكون الكلمة المفقودة مجرد فعل شائع مثل "ركض" أو "أكل". قد تكون اسم شخص معين، أو مكاناً نادراً، أو لقباً لا يمكن فهمه إلا إذا كنت تعرف تاريخ العالم بأكمده، وليس فقط الجملة التي تقرأها. قد يخمن الكمبيوتر بناءً على الجوار المباشر كلمة "ملك" بينما الإجابة هي في الواقع "الملك سيجونغ"، لأنه لا يملك الموسوعة الكاملة في رأسه. وهنا يأتي دور الورقة البحثية لتطرح سؤالاً بسيطاً ولكنه قوي: ماذا لو لم يكتفِ محققنا بالتحديق في الصفحة الممزقة فحسب، بل امتلك أيضاً مكتبة ضخمة بجانبه للبحث عن الإجابة؟
قرر الباحثون وراء هذه الدراسة، أثناء عملهم مع الأرشيفات التاريخية الكورية مثل "سجلات سلالة جوسون"، بناء نوع جديد من أدوات التحقيق يسمى ARI (ذكاء ترميم الأرشيف). لقد أدركوا أنه بينما تتفوق نماذج الكمبيوتر القياسية في تخمين الكلمات الشائعة، فإنها غالباً ما تتعثر عند محاولة ترميم الأسماء والأماكن المحددة لأنها تفتقر إلى "المعرفة الخارجية". ولإصلاح ذلك، دمج الفريق بين فكرتين قويتين: "نماذج اللغات الكبيرة" (LLMs)، وهي أنظمة ذكاء اصطناعي قرأت كل شيء تقريباً على الإنترنت ولديها حس تاريخي داخلي عميق، و"التوليد المعزز بالاسترجاع" (RAG). فكر في RAG كأنه يعطي الذكاء الاصطناعي "ورقة غش" أو محرك بحث. فبدلاً من مجرد التخمين من الذاكرة، يُسمح للذكاء الاصطناعي بالبحث في قاعدة بيانات ضخمة من الوثائق التاريخية الأخرى للعثور على جمل مشابهة واستخدامها كدلالات.
اختبر الفريق هذه الفكرة على آلاف الوثائق الكورية المتضررة. ووجدوا أن مجرد ترك الذكاء الاصطناعي "يفكر" بجهد أكبر أو يستخدم ذاكرته الداخلية لم يكن كافياً للأجزاء الصعبة. ولكن عندما منحوا الذكاء الاصطناعي القدرة على البحث عن السجلات التاريخية ذات الصلة (الاسترجاع) ثم قاموا بضبطه بدقة ليكون خبيراً في هذه المهمة المحددة، كانت النتائج مبهرة. لقد تفوق نموذجهم الجديد، ARI، بشكل كبير على الأساليب الموجودة، خاصة عندما يتعلق الأمر بترميم الأجزاء الأكثر صعوبة: الكيانات المسماة مثل أسماء الأشخاص، والمواقع، والتواريخ. وفي الواقع، عندما اختبر الخبراء البشريون النتائج، فضلوا اقتراحات ARI على النماذج الرائدة الأخرى، ووجدوه شريكاً أكثر موثوقية لفك رموز الماضي.
كما أظهرت الدراسة أن الذكاء الاصطناعي يعمل بشكل أفضل عندما يمكنه رؤية "السياق" للفترة الزمنية، مثل معرفة أي ملك كان على العرش، وعندما يمكنه العثية على وثائق مشابهة جداً للوثيقة المتضررة. ومع ذلك، لاحظ الباحثون أنه إذا اتسعت الفجوة الزمنية بين بيانات تدريب الذكاء الاصطناعي والوثيقة التي يحاول إصلاحها (مثل محاولة استخدام كتب من القرن الثامن عشر لإصلاح نص من القرن الثاني عشر)، فإن الدقة تنخفض قليلاً. وهذا يشير إلى أنه بينما تعد هذه الأداة قوية، إلا أنها لا تزال بحاجة إلى مطابقة دقيقة مع الحقبة التاريخية الصحيحة. في النهاية، تقترح الورقة أنه من خلال الجمع بين قدرة الذكاء الاصطناعي الذهنية والمكتبة الرقمية، يمكننا أخيراً قراءة ما لا يمكن قراءته، وتحويل المربعات الفارغة إلى قصص حية من التاريخ.
ملخص تقني: الاستفادة من المعرفة الخارجية لترميم الوثائق التاريخية عبر نماذج اللغات الكبيرة المعززة بالاسترجاع
بيان المشكلة
تعد الوثائق التاريخية، مثل "حوليات سلالة جوسون" (AJD) و"سجل السكرتارية الملكية" (JRS)، أرشيفات حيوية للمعرفة البشرية، لكنها تعاني غالباً من التدهور المادي، مما يؤدي إلى ظهور رموز غير مقروءة أو تالفة. وبينما تنجح طرق الترميم الحالية القائمة على نمذجة اللغة المقنعة (MLM) في استغلال السياق المحلي بفعالية، إلا أنها تواجه صعوبة في ترميم الكيانات المسماة (مثل الأسماء الشخصية، المواقع، التواريخ) التي تتطلب معرفة تاريخية خارجية. علاوة على ذلك، تعتمد النهج التقليدية غالباً على احتمالات قناع ثابتة لا تتوافق مع توزيع التلف في الوثائق الواقعية، وتفتقر إلى القدرة على الوصول إلى مصادر البيانات الخارجية الضرورية لاستنتاج الأسماء العلم المعتمدة على السياق.
المنهجية
يقترح المؤلفون إطار عمل ARI (ذكاء ترميم الأرشيف)، وهو إطار مبتكر يجمع بين نماذج اللغات الكبيرة (LLMs) والجيل المعزز بالاسترجاع (RAG) لترميم النصوص التاريخية التالفة. تتضمن المنهجية ثلاثة مكونات رئيسية:
بناء وتحليل مجموعة البيانات:
تستخدم الدراسة مجموعات بيانات AJD وJRS المكتوبة باللغة الصينية (Hanja).
يكشف التحليل أن حوالي 44.8% من الرموز التالفة في JRS هي كيانات مسماة، حيث تعد فئات الأشخاص (PER) والمواقع (LOC) هي الأكثر تكراراً.
تم تقسيم مجموعة البيانات إلى مجموعات تدريب، وتحقق، واختبار. ومن الأهمية بمكان أن مجموعات الاختبار تتضمن DRand (رموز مقنعة عشوائياً) وDNE (كيانات مسماة مقنعة) لتقييم قدرة النموذج خصيصاً على التعامل مع الترميم كثيف المعرفة.
إطار الجيل المعزز بالاسترجاع (RAG):
دمج البيانات الوصفية: يتم دمج البيانات الوصفية الزمنية (الملك الحاكم، السنة، الشهر، اليوم) في المطالبة (prompt) لتثبيت النموذج في السياق التاريخي الصحيح.
استراتيجية الاسترجاع: لكل وثيقة مدخلة، يقوم النظام باسترجاع أكثر 20 وثيقة صلة من مجموعة بيانات التدريب. تقيم الدراسة ثلاث طرق للاسترجاع: الاختيار العشوائي، والاسترجاع القائم على التضمين (Gemini Embedding)، والاسترجاع المتناثر (BM25). وقد وُجد أن BM25 هو الأكثر فعالية نظراً للطبيعة اللوجوغرافية للغة الهانجا.
إزالة التكرار: لمنع التحيز وضمان تنوع السياق، تخضع الوثائق المسترجعة لعملية إزالة التكرار بناءً على تشابه النصوص. وقد تم تحديد حد تشابه بنسبة 80% كحد أمثل للموازنة بين التنوع والصلة.
هندسة المطالبات: يستخدم إطار العمل "المطالبة بالقليل من الأمثلة" (few-shot prompting) مع نماذج تنسيق لضمان الالتزام الصارم بمخططات مخرجات JSON، مما يقلل من أخطاء التنسيق.
تدريب وضبط النموذج:
النماذج الأساسية: قام المؤلفون بضبط نماذج لغوية كبيرة مفتوحة المصدر، وتحديداً Qwen3-32B وQwen3-8B، لإنشاء ARI-32B وARI-8B.
استراتيجية التدريب: تُستخدم استراتيجية قناع ديناميكية لتغيير مواضع القناع عبر العصور (epochs). ومن الجدير بالذكر أن 25% من بيانات التدريب تعطي الأولوية لقناع الكيانات المسماة لتعزيز الأداء على مجموعة بيانات DNE.
النموذج المرجعي (Baseline): تم تدريب نموذج BERT-Res (المبني على ModernBERT-large) من الصفر على مهمة الترميم دون الوصول إلى سياق خارجي، ليكون بمثابة مرجع قوي غير معزز بالاسترجاع (non-RAG).
المساهمات الرئيسية
إطار عمل مبتكر: تقديم إطار عمل قائم على RAG مصمم خصيصاً لترميم الوثائق التاريخية، مما يسد الفجوة بين معرفة النماذج اللغوية الضمنية والاسترجاع الخارجي الصريح.
التركيز على الكيانات المسماة: إثبات أن ترميم الكيانات المسماة أكثر صعوبة بشكل كبير من الرموز العامة ويتطلب معرفة خارجية، وهو ما يعالجه الإطار المقترح بفعالية.
تقييم شامل: تتضمن الدراسة تقييمات كمية واسعة النطاق على مجموعات بيانات اصطناعية وتقييمات نوعية من قبل خبراء بشريين على وثائق حقيقية تالفة.
توافر الموارد: تم جعل النماذج والشيفرة البرمجية متاحة للجمهور لتسهيل الأبحاث المستقبلية في ترميم اللغات القديمة.
النتائج التجريبية
الأداء على الكيانات المسماة: يتفوق ARI-32B بشكل كبير على كل من نموذج BERT-Res المرجعي والنماذج اللغوية المملوكة (مثل Gemini-2.5-Pro وSonnet 4.5) في ترميم الكيانات المسماة. على سبيل المثال، في مجموعة بيانات DNE، حقق ARI-32B دقة (Top-1) بلغت 39.31% للكيانات المسماة، مقارنة بـ 27.85% لـ BERT-Res و30.26% لـ Sonnet 4.5.
ترميم الرموز العامة: يُظهر النموذج أيضاً أداءً متفوقاً في ترميم الرموز المقنعة عشوائياً، محققاً دقة بنسبة 80.42% مقارنة بـ 79.38% لـ BERT-Res.
تقييم الخبراء البشريين: في تقييم أعمى شمل ثلاثة خبراء في الأدب السينوغرافي والتاريخ الكوري، حقق ARI-32B أعلى نسبة فوز (Win Ratio) بلغت 46.0% وأعلى دقة (Top-1) بلغت 38.3% مقارنة بـ BERT-Res (24.0% / 20.7%) وGemini-2.5-Pro (30.0% / 27.3%). وأشار الخبراء إلى قدرة ARI-32B على تقديم مرشحات موثوقة في مقدمة القائمة، مما يقلل من تكاليف البحث.
الانزياح الزمني للمجال: يظل النموذج قوياً في ظل الانزياحات الزمنية المتوسطة، ولكنه يظهر تراجعاً في الأداء عند تطبيقه على سجلات "Goryeosa" (سجلات سلالة غوريو)، التي تسبق بيانات التدريب، مما يسلط الضوء على تأثير التغيرات اللغوية عبر الزمن.
الأهمية والادعاءات
يزعم البحث أن ARI يعمل كأداة عملية لخبراء المجال، حيث يعد بتسريع تحليل السجلات التاريخية من خلال تقليل الوقت والجهد المطلوبين لترميم الأجزاء التالفة بشكل كبير. ومن خلال الاستفادة من المعرفة الخارجية عبر RAG، يعالج إطار العمل بفعالية تحدي استنتاج الأسماء العلم المعتمدة على السياق، وهو ما يمثل قصوراً في الطرق السابقة.
يضع المؤلفون هذا العمل ليس فقط كحل للأرشيفات التاريخية الكورية، بل كنهج عام قابل للتطبيق في ترميم اللغات القديمة ذات الموارد المحدودة. كما يقرون بالقيود، بما في ذلك الاعتماد على الوسائط النصية فقط (باستثناء صور الوثائق الأصلية) والقيود الحسابية على طول المدخلات، لكنهم يؤكدون أن الإطار المقترح يقدم تقدماً جوهرياً في مجال العلوم الإنسانية الرقمية وترميم الوثائق.