Auditing LLM-mediated interpretation through source-to-claim documentation

في العلوم الإنسانية والاجتماعية، اعتمد الباحثون لفترة طويلة على فكرة بسيطة ولكنها قوية: إذا كنت تريد فهم كيفية التوصل إلى استنتاج ما، يجب أن تكون قادرًا على تتبع المسار من الدليل الأصلي إلى الادعاء النهائي. يُطلق على هذا المسار غالبًا اسم "مسار التدقيق" (audit trail). وهو سجل للقرارات المتخذة، والملاحظات المدونة، والخطوات المتبعة، مما يضمن أن باحثًا آخر يمكنه النظر في المواد نفسها ورؤية كيف تم بناء التفسير. لعقود من الزمن، كانت هذه العملية تتم من إنسان إلى إنسان، حيث يقرأ الباحث نصًا، ويحدد فقرة، ويكتب تحليلًا. ولكن دخلت أداة جديدة إلى الغرفة: الذكاء الاصطناعي التوليدي. يمكن لهذه الأنظمة قراءة نص وكتابة فقرة سلسة فورًا تلخصه أو تفسره. المشكلة هي أن هذه السرعة تأتي بتكلفة خفية؛ فالذكاء الاصطناعي ينتج جملة مصقولة ومرنة تخفي العمل الفوضوي للتحويل الذي حدث داخل الآلة. يرى القارئ الادعاء النهائي لكنه لا يستطيع رؤية كيف حولت الآلة الكلمات الأصلية إلى هذا الاستنتاج المحدد. والأسوأ من ذلك، نظرًا لأن أنظمة الذكاء الاصطناعي هذه مستضافة على خوادم مملوكة لشركات، لا يمكن للباحثين ببساطة "إعادة تشغيل" نفس الحساب لاحقًا. قد يتغير البرنامج، أو قد يحصل نفس السؤال على إجابة مختلفة قليلاً في المرة القمة. وهذا يخلق فجوة في مسار التدقيق، مما يترك الصلة بين الدليل والادعاء هشة ويصعب التحقق منها.

لحل هذه المشكلة، اقترح فريق من الباحثين من جامعة مينيسوتا ومعهد جورجيا للتكنولوجيا طريقة جديدة للعمل تسمى "توثيق المصدر إلى الادعاء" (source-to-claim documentation). فبدلاً من الاكتفاء بالقول: "استخدمنا ذكاءً اصطناعيًا"، يقترحون الاحتفاظ بسلسلة كاملة ومترابطة من السجلات التي توضح بالضبط كيف أصبح جزء من الدليل ادعاءً تحليليًا. هذا الإطار لا يكتفي بسرد الأدوات المستخدمة فحسب، بل يحفظ الرحلة المحددة لكل قطعة من النص المُنتج. اختبر الباحثون هذه الفكرة في تجربة منضبطة حيث أنشأوا اثنتي عشرة جملة بسيطة لتكون بمثابة مادة مصدرية. وطلبوا من نسختين مختلفتين من نموذج ذكاء اصطناعي إعادة كتابة هذه الجمل وكتابة ملاحظات تفسيرية قصيرة حولها. لم يكن الهدف هو معرفة أي نموذج ذكاء اصطناعي هو الأذكى، بل لمعرفة ما إذا كانت طريقة التوثيق الجديدة الخاصة بهم يمكنها رصد الأخطاء التي قد تمر دون ملاحظة. وقد وجدوا أن الذكاء الاصطناعي غالبًا ما يقوم بتغييرات طفيفة ولكنها جوهرية تبدو غير ضارة في الظاهر. فعلى سبيل المثال، عندما قالت الجملة المصدرية إن امرأة "أعارت" ملاحظاتها لصديق، أعادت النسخة المولدة من الذكاء الاصطناعي كتابتها مرارًا وتكرارًا بصيغة "أعطت" ملاحظاتها. في العالم الواقعي، تعني كلمة "إعارة" أن الشيء سيُسترد، بينما تعني "الإعطاء" الملكية الدائمة. لقد قام الذكاء الاصطناعي بهذا الاستبدال في كل مرة، منتجًا جملًا متطابقة وسلسة تبدو صحيحة ولكنها في الواقع غيرت معنى الدليل الأصلي.

تجلت قوة الطريقة الجديدة عندما نظر الباحثون بعمق أكبر من مجرد النص النهائي. فقد استحدثوا خطوة طلبوا فيها من الذكاء الاصطناعي إنشاء خريطة هيكلية لمعنى الجملة جنبًا إلى جنب مع النص المعاد كتابته. عملت هذه الخريطة كبصمة أو مخطط، توضح العلاقات بين الكلمات. وعندما قارن الباحثون المخطط بالجملة الأصلية، برز الخطأ بوضوح: كانت الخريطة لا تزال تظهر الفعل كـ "إعارة"، رغم أن الفقرة النهائية قالت "إعطاء". كشف هذا أن الذكاء الاصطناعي قد ارتكب خطأً ثابتًا نجحت النثر السلس في إخفائه. كما وجد الباحثون أنه عندما يكتب الذكاء الاصطناعي ملاحظات تفسيرية، فإنه أحيانًا يضيف أفكارًا لم تكن موجودة في النص الأصلي، مثل التخمين في دوافع الشخص، رغم أنه كان مطلوبًا منه الاقتباس مباشرة من المصدر. ومن خلال إبقاء الجملة الأصلية، ومخرجات الذكاء الاصطناعي الخام، والمخطط الهيكلي، والمراجعة البشرية، جميعها مرتبطة معًا في أرشيف واحد، تمكن الباحثون من رؤية أين تغير المعنى بالضبط. واكتشفوا أن مجرد التحقق مما إذا كانت عمليات تشغيل الذكاء الاصطناعي تنتج نفس الإجابة لم يكن كافيًا، لأن الذكاء الاصطناعي يمكن أن يتفق مع نفسه بينما يكون كلاهما مخطئًا.

تضمنت الدراسة ثمانية قراء بشريين راجعوا عمل الذكاء الاصطناعي. وأكد هؤلاء القراء أنه بينما كانت جمل الذكاء الاصطناعي المعاد كتابتها تبدو مشابهة جدًا للأصل، إلا أنها غيرت المعنى في كثير من الأحيان بطرق ذات أهمية. وفي حالة محددة تتعلق بجملة عن قرض، حدد القراء أن التغيير من "إعارة" إلى "إعطاء" كان تشويهًا كبيرًا في أكثر من نصف التقييمات. كما اختبر الباحثون ما إذا كان بإمكان طريقتهم التعامل مع التغييرات في نظام الذكاء الاصطناعي نفسه. فقد أجروا التجربة باستخدام نسختين مختلفتين من نموذج الذكاء الاصطناعي، تفصل بينهما عدة أشهر. وعلى الرغم من اختلاف النماذج، سمحت طريقة التوثيق بتتبع تاريخ الادعاء ورؤية كيف تم تحويل الأدلة في كل حالة. كانت النتيجة الرئيسية هي أن الإطار نجح في الحفاظ على "المسار الاستدلالي". فقد سمح لباحث لاحق بالنظر إلى الادعاء النهائي، وتتبع الرابط وصولاً إلى مخرجات الذكاء الاصطناعية الخام، ثم التحقق من المخطط الهيكلي لمعرفة ما إذا كان المعنى قد حُفظ. لم تتطلب هذه العملية من الباحث الثقة في الذكاء الاصطناعي أو الاعتقاد بأن النص النهائي مثالي؛ بل تطلبت فقط أن يكون لديه السجل الكامل لكيفية صنع النص.

يقدم هذا النهج طريقًا عمليًا للمستقبل أمام الباحثين الذين يرغبون في استخدام الذكاء الاصطناعي دون فقدان القدرة على التحقق من عملهم. ويقترح الباحثون أن حجم التوثيق يجب أن يتناسب مع أهمية الادعاء. فبالنسبة لملاحظة خاصة أو تمرين دراسي، قد يكون مجرد سجل بسيط للمصدر والأمر البرمجي (prompt) كافيًا. ولكن بالنسبة لمقال منشور أو مجموعة بيانات مخصصة للاستخدام من قبل الآخرين، يجب حفظ سلسلة الأدلة الكاملة — بما في ذلك المخرجات الخام، والفحوصات الهيكلية، والمراجعة البشرية. هذا لا يعني أن كل جملة تحتاج إلى تدقيق كامل، ولكنه يعني أنه عندما يعتمد ادعاء ما على تفسير الذكاء الاصطناعي، يجب أن يظل المسار من الكلمات الأصلية إلى ذلك الادعاء مرئيًا. لقد أظهرت الدراسة أنه بدون هذه الرؤية، يمكن للنثر السلس أن يخفي الأخطاء بسهولة، وأن الاتفاق المتكرر بين عمليات تشغيل الذكاء الاصطناعي يمكن أن يعطي شعورًا زائفًا بالأمان. ومن خلال الحفاظ على الروابط بين المصدر، والآلة، والمراجع البشري سليمة، يمكن للباحثين ضمان أن استنتاجاتهم مبنية على أساس يمكن فحصه، ومساءلته، وفهمه من قبل أي شخص يتبع الأثر.