Structure for Reading, Prose for Writing: Asymmetric Structural Conditioning in Multi-Agent Document Authoring

في عالم الكتابة المؤتمتة، هناك اعتقاد مستمر بأن الهيكلية هي المفتاح الأسمى للوضوح. لقد تعلمت الحواسيب منذ زمن طويل أن تقرأ المستندات بدقة أكبر عندما تكون تلك المستندات منظمة بعلامات وتسميات واضحة، بدلاً من كونها جداراً من النصوص العادية. أصبح هذا المبدأ قاعدة قياسية في مجال الذكاء الاصطاسي: إذا كنت تريد من الآلة العثور على حقيقة محددة أو اتباع تعليمات محددة، فإن تزويدها بخريطة هيكلية للمعلومات يساعدها على التنقل في البيانات. وبناءً على ذلك، افترض العديد من المهندسين أن هذه الميزة الهيكلية نفسها تنطبق عند الكتابة. بدا المنطق سليماً: إذا كانت الهيكلية تساعد الكمبيوتر على القراءة، فينبغي أن تساعده أيضاً على الكتابة.

ومع ذلك، تتحدى دراسة جديدة هذا الافتراض من خلال النظر في مهمة محددة للغاية وعالية المخاطر: كتابة الردود الرسمية على المناقصات الحكومية. هذه مستندات معقدة حيث يجب على الشركة الإجابة على مئات الأسئلة من عميل ما، وغالباً ما تلتزم بقواعد تنسيق صارمة وتستخدم صياغة العميل بدقة. قام الباحثون ببناء نظام من وكلاء الذكاء الاصطناعي المتعددين للتعامل مع هذا العمل، حيث فصلوا مهام قراءة المتطلبات، وجمع الحقائق، وصياغة الإجابات. اختبروا هذا النظام مقابل عروض مكتوبة بشرياً قدمتها نفس المنظمة. وما اكتشفوه كان انقساماً مفاجئاً في كيفية تعلم الآلة. فبينما تجعل الهيكلية الآلة قارئة أفضل، فإنها تجعلها كاتبة أسوأ. تشير الدراسة إلى أن أفضل طريقة لتوجيه الذكاء الاصطناعي ليست إجباره على اتباع قالب جامد، بل تركه يقرأ بيانات مهيكلة ثم يكتب بلغة طبيعية، مطبقاً ضوابطه الداخلية لضمان الجودة.

بدأ الباحثون بنشر نظامهم متعدد الوكلاء لصياغة ردود على طلبات شراء حقيقية. تم تصميم النظام ليكون حذراً ودقيقاً؛ فهو لا يحاول تخمين الإجابات، بل يقسم العمل إلى خطوات صغيرة. أولاً، قرأ وثائق العميل وحولها إلى تنسيق مهيكل يحافظ على العلاقات بين الأسئلة والتعليمات. ثم جمع المعلومات من مكتبة من الوثائق السابقة وسجلات الشركة. وأخيراً، صاغ الإجابات. ولمعرفة مدى أدائه، قارن الفريق مسودات الآلة مقابل عرض حقيقي كتبته المنظمة يدوياً لمناقصة أخرى. في هذه المقارنة، لم يكن لدى الآلة أي نموذج لتقليده؛ بل كان عليها الاعتماد كلياً على منطقها الخاص والوثائق المقدمة.

قام حكم مستقل، وهو ذكاء اصطناعي آخر تم تدريبه على تقييم جودة الكتابة بدلاً من مجرد مدى تشابهها مع الأصل، بمراجعة النتائج. تم تقييم إجابات الآلة بأنها جيدة على الأقل مثل الإجابات المكتوبة بشرياً في أربعين قسماً من أصل خمسة وخمسين قسماً. وفي أربعة أقسام، كانت الآلة أفضل بالفعل. ولم تغفل أي قسم بالكامل. المشكلة الرئيسية الوحيدة كانت ادعاءً واحداً غير مدعوم، حيث استنتجت الآلة ميزة أمنية لم تذكرها النصوص صراحة. كانت هذه النتيجة مثيرة للإعجاب، خاصة بالنظر إلى أن الآلة لم تكن نموذجاً متطوراً جداً ولم يكن لديها أمثلة سابقة للتعلم منها.

لكن الباحثين لم يتوقفوا عند النتيجة السطحية. فقد تعمقوا في الخمسة عشر قسماً التي كان فيها أداء الآلة أسوأ من الكاتب البشري. أرادوا معرفة ما إذا كانت الآلة قد فشلت بسبب سوء كتابتها، أم لأنها ببساطة لم تملك المعلومات الصحيحة. وجدوا أنه في ما يقرب من سبعين بالمائة من هذه الحالات، كان "الفشل" في الواقع نقصاً في البيانات. فقد كان الكاتب البشري يعرف تفاصيل معينة من خلال الخبرة أو المحادثات الخاصة التي لم تُعطَ لنظام الآلة أبداً. وعندما عدل الباحثون الدرجة لتجاهل هذه الحقائق المفقودة، قفز أداء الآلة إلى ما يقرب من تسعين بالمائة. كشف هذا عن رؤية جوهرية: الفجوة بين الآلة والإنسان لم تكن تتعلق في الغالب بالقدرة على الكتابة، بل بالوصول إلى المعلومات. لقد كانت الآلة كاتبة كفؤة، لكنها كانت غالباً مقيدة بمعلومات ناقصة.

ثم انتقلت الدراسة إلى تجربة أكثر ضبطاً لاختبار دور الهيكلية. أخذ الفريق التعليمات التي تلقتها الآلة وقدمها بطريقتين مختلفتين. في النسخة الأولى، كتبت التعليمات كنص عادي، مثل مذكرة قياسية. وفي النسخة الأخرى، تم تحويل التعليمات إلى تنسيق متداخل ومهيكل يشبه ملفاً رقمياً يحتوي على علامات (tags). توقعوا أن النسخة المهيكلة ستساعد الآلة على فهم المهمة بشكل أفضل، تماماً كما ساعدت في القراءة. ولكن بدلاً من ذلك، حدث العكس. عندما كانت التعليمات مهيكلة، انخفضت جودة الإجابات بشكل كبير. أنتجت الآلة إجابات صحيحة أقل، وكررت التعليمات في كتابتها الخاصة بشكل أكثر تكراراً، وهي علامة على ارتباكها.

أدرك الباحثون أن الهيكلية تغير ما تنتبه إليه الآلة. فعندما كانت التعليمات نصاً عادياً، ركزت الآلة على معنى الطلب. أما عندما كانت التعليمات مهيكلة بالعلامات، فقد ركزت الآلة على العلامات نفسها. بدأت تعامل اسم العميل أو عنوان المستند كأهم جزء في الجملة، مما أدى بها إلى بدء إجاباتها بصياغات غريبة مثل "يتطلب العميل..." بدلاً من الإجابة على السؤال مباشرة. أظهر هذا أنه بينما تساعد الهيكلية الآلة في تحديد موقع المعلومات، فإنها يمكن أن تشتت انتباهها عندما تحتاج إلى إنشاء محتوى جديد.

كما بحث الفريق في كيفية تعامل الآلة مع القواعد المتعلقة بما لا يجب فعله. وجدوا أن مجرد إخبار الآلة "لا تستخدم هذه الكلمة" غالباً ما يجعل المشكلة أسوأ. كانت الآلة تتركز على الكلمة المحظورة وتدرجها بالخطأ رغم ذلك، أو تستخدمها بطريقة تخرق القواعد. ومع ذلك، عندما أعطوا الآلة اختباراً لتجريه على جملها الخاصة — بسؤالها عما إذا كانت الجملة مشابهة جداً للسؤال الأصلي وإعادة كتابتها إذا لزم الأمر — اختفت الأخطاء. تعلمت الآلة مراقبة نفسها دون أن تُخبر بما يجب تجنبه بالضبط.

أخيراً، لاحظ الباحثون خللاً دقيقاً ولكنه خطير في كيفية تعامل النظام مع ملاحظاته الخاصة. كانت الآلة تضيف أحياناً علامة صغيرة إلى المستند للإشارة إلى نقطة معينة. هذه العلامة تغير طول النص قليلاً. ولأن الآلة تعالج النص في كتل ذات حجم ثابت، فإن هذا التغيير الطفيف في الطول أدى إلى إزاحة حدود تلك الكتل. ونتيجة لذلك، كانت الآلة تنظر إلى مجموعة مختلفة من الكلمات عما كان مقصوداً، مما يؤدي إلى استخراج عدد مختلف تماماً من الأسئلة. إن اختلاف علامتين فقط في النص تسبب في استخراج الآلة لسبعة عشر سؤالاً أقل. أظهر هذا أن التغييرات الصغيرة والعشوائية في كيفية وسم الآلة لعملها يمكن أن تتحول إلى أخطاء جسيمة، ببساطة لأن النظام كان شديد الصلابة في كيفية تقسيم المعلومات.

الصورة العامة التي تبرز هي صورة توازن دقيق. لا تدعي الدراسة أن الذكاء الاصطناعي قد حل مشكلة كتابة المستندات الرسمية، ولا تقترح أن الآلات جاهزة لاستبدال الكتاب البشر تماماً. بدلاً من ذلك، تقدم خريطة دقيقة لمواطن عمل التكنولوجيا ومواطن تعثرها. الآلة أداة قوية للقراءة وتنظيم المعلومات، خاصة عندما تكون تلك المعلومات مهيكلة. ولكن عندما يتعلق الأمر بالكتابة، فإن إجبارها على اتباع هيكل جامد يمكن أن يربكها. النهج الأكثر فعالية هو السماح للآلة بقراءة البيانات المهيكلة، ولكن السماح لها بالكتابة بلغة طبيعية، مع استخدام عمليات التحقق الذاتي لضمان بقائها على المسار الصحيح. هذا التمييز بين القراءة والكتابة ليس مجرد تفصيل تقني؛ بل هو قاعدة أساسية لبناء أنظمة يمكن الوثوق بها في المهام الهامة. وجد الباحثون أن أفضل النتائج لا تأتي من جعل الآلة تتبع قالباً مثالياً، بل من تزويدها بالمعلومات الصحيحة وتركها تطبق تقديرها الخاص على المسودة النهائية.