PatchWrite: One Line, Not One Section -- Compile-Gated, Validity-Preserving Editing for AI-Drafted Manuscripts
تُعد PatchWrite بروتوكول تحرير محكوم بالترجمة، يحافظ على الصلاحية للمخطوطات التي صاغها الذكاء الاصطناعي، حيث يمنع الانحراف غير المرتبط في المقاييس والاستشهادات من خلال فرض فحوصات السجل القاتل وأقفال الأدلة، مما يضمن عدم اعتماد سوى التعديلات الموثقة بسجلات المراجع أو سجلات التجارب مع الحفاظ على سلامة المستند بأكمله.
في المشهد المعاصر للكتابة العلمية، يعتمد الباحثون بشكل متزايد على الذكاء الاصطناعي لصياغة المخطوطات، محولين البيانات والأفكار الخام إلى النص المنظم المطلوب للنشر. تتبع هذه الوثائق غالبًا قواعد تنسيق صارمة، تمامًا مثل مخطط بناء، حيث يجب أن يشير كل استشهاد إلى مصدر حقيقي وأن يطابق كل رقم التجربة الأصلية. وتنشأ المعضلة عندما يحاول الذكاء الاصطناعي إصلاح خطأ صغير، مثل مرجع مفقود أو خطأ مطبعي؛ ففي العديد من الأنظمة الحالية، يستجيب البرنامج لمشكلة محلية عبر إعادة كتابة قسم كامل من النص. وبينما قد يبدو المستند صحيحًا في الظاهر، إلا أن هذا النهج الواسع يمكن أن يغير بصمت حقائق غير ذات صلة، مثل تغيير عدد الطبقات في نموذج حاسوبي أو إزاحة قياس حرج، دون أن يدرك المؤلف ذلك. وبذلك يتم تجميع المستند بنجاح، لكن السجل العلمي يكون قد تعرض لفساد صامت.
يعالج "ويوي يانغ" هذه الثغرة المحددة بطريقة جديدة تسمى "PatchWrite"، المصممة لتعمل كأداة جراحية دقيقة بدلاً من كونها أداة ثلمة. فبدلاً من السماح للذكاء الاصطناعي بإعادة كتابة فصل كامل، تجبر "PatchWrite" النظام على إجراء التغييرات فقط ضمن نافذة ضيقة جدًا من النص، تقتصر على سطر واحد أو بضع جمل. ومن الأهمية بمكان أن النظام لا يقبل التغيير فورًا، بل يخضع كل تعديل مقترح لفحصين صارمين قبل حفظه. أولاً، يحاول بناء المستند باستخدام محرك تنسيق قياسي؛ فإذا أدى التغيير إلى كسر التنسيق أو تسبب في خطأ، يتم رفض التعديل ويبقى النص الأصلي دون مساس. ثانيًا، يتحقق النظام من أن أي أرقام أو استشهادات جديدة يدخلها الذكاء الاصطناعي موجودة بالفعل في سجلات الباحث ومراجعته. فإذا اخترع الذكاء الاصطناعي مصدرًا وهميًا أو رقمًا لم يُسجل أبدًا، يقوم النظام بحظر التغيير. وهذا يضمن أن المستند النهائي ليس صحيحًا بصريًا فحسب، بل هو أمين واقعيًا للبيانات الأصلية.
لاختبار مدى فعالية هذا النهج، أنشأ الباحثون اختبار جهد يتضمن أربعة وعشرين مقالًا علميًا قصيرًا وثمانية أنواع مختلفة من الأخطاء، تتراوح من الأخطاء المطبعية البسيطة إلى التنسيق المكسور. وقارنوا الطريقة الجديدة بالنهج التقليدي المتمثل في إعادة كتابة أقسام كاملة. وكانت النتائج صارخة: فعندما حاولت الطريقة التقليدية إصلاح خطأ ما، قامت بالخطأ بتغيير جملة غير ذات صلة حول هيكل النموذج في جميع الحالات، حيث غيرت حقيقة من اثنتي عشرة طبقة إلى ست عشرة طبقة. وفي المقابل، حافظ نظام "PatchWrite" على الحقائق الأصلية في جميع حالات الاختبار البالغ عددها مئة واثنين وتسعين حالة. وعندما أزال الباحثون ضوابط السلامة لمعرفة ما سيحدث، كان النظام إما يفشل في قبول أي تغييرات أو يسمح بمرور استشهادات مهلوسة، مما أثبت أن فحص التنسيق وبوابة التحقق من الحقائق ضروريان للأمان.
كما بحثت الدراسة في مدى قدرة كاتب ذكاء اصطناعي حقيقي على اقتراح هذه التعديلات الدقيقة بمفرده، دون أن يخبره إنسان بما يجب تغييره بالضبط. في البداية، واجه الذكاء الاصطناعي صعوبة في نوع معين من التعليمات: فعندما طُلب منه حذف سطر، كان يحاول أحيانًا ترك المساحة فارغة، وهو ما ترفضه قواعد النحو في النظام. ولكن بعد أن قام الباحثون ببساطة بتوضيح التعليمات بأن الحذف يجب أن يُستبدل بتعليق بدلاً من لا شيء، قفز معدل نجاح الذكاء الاصطناعي إلى مئة بالمئة. وحتى مع هذا التحسين، ظل النظام صارمًا؛ فقد رفض التعديلات التي أصلحت الخطأ تقنيًا ولكنها غيرت معنى النص بطرق طفيفة، مثل إضافة رموز غير ضرورية حول رقم ما. وفي مراجعة عمياء للوثائق النهائية، فضل القراء البشريون باستمرار النسخ التي أنتجتها "PatchWrite" لأن الحقائق العلمية ظلت سليمة، بينما كانت الطريقة التقليدية قد غيرت البيانات بصمت.
يظهر هذا العمل أنه لكي يكون الذكاء الاصطناعي شريكًا موثوقًا في الكتابة العلمية، يجب أن يكون مقيدًا بقواعد تعطي الأولوية للحقيقة على الفصاحة. ووجد الباحثون أن الطريقة الأكثر فعالية لمنع الأخطاء ليست في الوثوق بتقدير الذكاء الاصطناعي لما يبدو جيدًا، بل في التحقق من أن كل تغيير يجتاز فحصًا ميكانيكيًا مقابل الأدلة الأصلية. وبينما تم اختبار النظام على مقالات قصيرة وأنواع محددة من الأخطاء، فإن المبدأ الأساسي — وهو أن التعديلات يجب أن تكون صغيرة، وقابلة للتحقق، وقابلة للتراجع — يقدم مسارًا واضحًا لبناء أدوات أكثر موثوقية. وتخلص الدراسة إلى أنه بدون هذه البوابات الصارمة، حتى المستند الذي يتم تجميعه بنجاح قد لا يعود يمثل العلم الذي يدعي وصفه.
ملخص تقني لـ PatchWrite: تحرير محكوم بالترجمة (Compile-Gated) ومحافظ على الصلاحية للمسودات المُعدة بواسطة الذكاء الاصطناعي
بيان المشكلة تعاني مسارات المخطوطات المؤتمتة الحالية غالبًا من "المراجعة غير الرتيبة" (non-monotonic revision). فعندما يُكلف وكيل (agent) بإصلاح عيب محلي (مثل مرجع غير معرف)، فإنه غالبًا ما يعيد توليد قسم كامل (slot) بدلاً من التحرير في مكانه. وبينما قد تظل نسخة PDF الناتجة قابلة للترجمة (compile)، فإن هذا النهج يغير بصمت حقائق غير ذات صلة ومستندة إلى المختبر (مثل تغيير "12 طبقة" إلى "16 طبقة")، لأن وحدة التغيير هي القسم وليس السطر. تفشل لوحات التحكم الحالية التي تتبع فقط معدلات الترجمة في اكتشاف هذه التراجعات الصامتة، كما أن الاعتماد على التقييم الذاتي للنماذج اللغوية الكبيرة (LLMs) أو مقاييس الطلاقة لا يضمن الصحة الخاصة بالمجال.
المنهجية يقدم PatchWrite شرط قبول صارم لمراجعة المخطوطات يستبدل إعادة توليد القسم بالكامل بتحرير محدد بنطاق سطور. يعمل النظام ضمن حلقة تحسين (تحديدًا داخل ContentRefinementAgent في منصة Solus) ويفرض بوابتين رئيسيتين قبل اعتماد أي تغيير:
التحرير ذو النطاق المحدود (Bounded Interval Editing): يقبل النظام فقط أمر EDIT N M حيث 1≤N≤M ويكون النطاق (M−N+1) أقل من أو يساوي 40 سطرًا. هذا يقيد الطفرات في نطاق جراحي دقيق.
بوابة الترجمة (Compile Gate): على عكس الأنظمة التي تقبل أي ملف PDF يتم إنتاجه في وضع nonstopmode (والذي يمكن أن ينتج ملفات رغم وجود أخطاء في الصيغة)، يقوم PatchWrite بتحليل سجل pdflatex بحثًا عن الأخطاء القاتلة، أو التوقفات الطارئة، أو علامات الفشل القسري. يتم رفض التصحيح (patch) إذا احتوى السجل على هذه الأخطاء، حتى لو وجد ملف PDF.
بوابة الأدلة (Evidence Gate): يتحقق النظام من أن كل مفتاح \cite موجود في المراجع، أو خريطة الاقتباس، أو المستند الأصلي (HEAD)، وأن كل رقم تجريبي يطابق قيمة في السجل التجريبي. هذا يمنع الاقتباسات المتخيلة والأرقام غير المثبتة.
آلية التراجع (Rollback Mechanism): إذا فشلت أي من البوابتين، يقوم النظام بالتراجع إلى آخر نسخة (HEAD) كانت قابلة للترجمة ونظيفة من حيث الأدلة. إذا كان أمر EDIT غير قانوني (مثل استبدال فارغ، أو خارج النطاق)، يعود النظام إلى طريقة إعادة كتابة القسم بالكامل القديمة، رغم أن هذا يعيد خطر تغيير الرموز غير ذات الصلة.
المساهمات الرئيسية يدعي البحث خمس مساهمات محددة، تركز على التحقق من شرط قبول بدلاً من قواعد توليد جديدة:
شرط ترجمة أكثر صرامة: تنفيذ بوابة ترجمة تفحص سجلات pdflatex بحثًا عن الأخطاء القاتلة بدلاً من الثقة في وجود ملف PDF، مطبقًا ذلك على آلية EDIT N-M.
أقفال الأدلة المدمجة: أول دمج لربط مفاتيح الاقتباس والرموز الرقمية بسجل/سجل تجريبي كمعيار قبول واحد بجانب بوابة الترجمة.
بروتوكول اختبار الإجهاد (Oracle Stress Protocol): اختبار إجهاد مكون من 24 مخطوطة × 8 أعطال (768 مهمة) لعزل الآلية عن جودة التوليد. يتضمن ذلك دراسات استئصال (ablation studies) لتعطيل بوابتي الترجمة والأدلة بشكل فردي.
تقييم النماذج الحية: تقييم نماذج qwen3.7-plus و Kimi K2.6 وهي تقترح تعديلات، وقياس معدلات التحليل، والترجمة، والبوابات، وإصلاح الأعطال. يتضمن ذلك تحليل "إصلاح المطالبة بسطر واحد" حيث يؤدي توجيه النماذج صراحةً للتعليق على السطور (بدلاً من إفراغها) إلى حل فشل في التحليل.
فحص المقيم البشري: تقييم مزدوج لـ 16 زوجًا من ملفات PDF (غير معماة عن الحالة) تقارن بين مسودات PatchWrite "الجراحية" وبين إعادة كتابة الأقسام الكاملة.
النتائج
اختبار إجهاد Oracle: في 192 مهمة إصلاح (oracle-repair)، حافظت إعادة كتابة القسم بالكامل (أسلوب PaperOrchestra) على السطور غير ذات الصلة (مثل "12 طبقة") في 0% من الحالات، بينما حافظ PatchWrite عليها في 100% من الحالات. أدى تعطيل بوابة الترجمة إلى معدل قبول 0% للأعطال في النسخة الأصلية (broken-HEAD)؛ كما سمح تعطيل بوابة الأدلة بمرور الاقتباسات المتخيلة.
أداء النماذج الحية: عندما اقترح نموذج qwen3.7-plus تعديلات، كان معدل القبول الأولي 75%. الـ 25% المتبقية من الفشل كانت بسبب محاولة النموذج حذف السطور باستخدام استبدالات فارغة، وهو ما رفضه القواعد (grammar). رفع التوجيه الصريح للنموذل باستبدال السطور المحذوفة بتعليقات (comments) معدل القبول إلى 100%. ومع ذلك، أدى هذا الإصلاح إلى مقايضة: بينما اجتازت جميع التصحيحات البوابات، انخفض معدل "إصلاح العطل" من 93.75% إلى 84.9% لأن التعليق على علامة العيب (بدلاً من إزالتها) يترك تقنيًا أثر العيب في النص.
التفضيل البشري: في المقارنات المعماة لـ 16 زوجًا من ملفات PDF، فضل المقيمان مسودة PatchWrite في 16/16 حالة عندما كان المعيار هو الحفاظ على الحقائق المخبرية. تم تقييم كلا المسودتين بنفس الدرجة العالية لإصلاح العيوب (C2)، لكن Patchwise سجل 5.0/5.0 في الاتساق الواقعي (C1) مقابل 2.0/5.0 لإعادة كتابة الأقسام.
سجلات المنتج: أظهر تحليل 193 مهمة صياغة في العالم الحقيقي أن الأرقام غير المثبتة وأخطاء صيغة TeX تحدث بشكل متكرر، مما يؤكد ضرورة البوابات.
الأهمية والادعاءات يضع البحث PatchWrite ليس كنموذج توليد جديد، بل كشرط قبول أكثر صرامة وتم التحقق منه تجريبيًا لآليات التحرير المحدودة. تكمن أهميته في إثبات أن "معدل الترجمة = 1.00" هو مقياس طلاقة زائف إذا كان يخفي تغييرات صامتة في الحقائق التجريبية. يدعي المؤلف أنه من خلال الجمع بين بوابة الترجمة (فحص السجلات) وقفل الأدلة (ربط السجل)، يمكن الحفاظ على "ثابت الرأس" (HEAD invariant) حيث يكون الملف الموجود على القرص هو دائمًا المخطوطة الأخيرة القابلة للترجمة والنظيفة من حيث الأدلة.
يقر البحث بتواضع نطاقه، مشيرًا إلى أن:
الأعطال تمت برمجتها (scripted) وليست عدائية.
المتن يتكون من مقالات مصغرة، وليس أوراق بحثية كاملة الطول.
بوابة الأدلة تتحقق من عضوية المجموعة (هل المفتاح معرف؟) وليس من الصحة الدلالية (هل المفتاح هو الاقتباس الصحيح لهذا الادعاء؟).
التقييم البشري هو استكشافي (مقيمان، 16 زوجًا) وليس دراسة واسعة النطاق ومثبتة.
يخلص المؤلف إلى أن نمط "التحرير المحدود + شرط صلاحية خاص بالمجال + التراجع" هو مبدأ قابل للنقل لتعزيز موثوقية الوكلاء، وقد يكون قابلاً للتطبيق في مراجعة الأكواد، وتحرير العقود، وهجرة قواعد البيانات، رغم أن هذه التطبيقات مقترحة كعمل مستقبلي وليس كجزء من هذه الدراسة.