FACTS: Table Summarization via Offline Template Generation with Agentic Workflows

إليك ملخص تقني مفصل لورقة البحث "FACTS: Table Summarization via Offline Template Generation with Agentic Workflows" (تلخيص الجداول عبر توليد القوالب غير المتصل بالإنترنت باستخدام سير عمل الوكلاء).

1. بيان المشكلة

تتناول الورقة البحثية مهمة التلخيص الموجه بالاستعلام للجداول (QFTS)، وهي مهمة تتطلب من النظام توليد ملخصات لغوية طبيعية للبيانات الجدولية بناءً على استعلام محدد من المستخدم. وخلافاً للتلخيص العام (الذي يلتقط كافة المحتويات) أو الإجابة على أسئلة الجداول (التي تقدم إجابات قصيرة ومحددة)، يتطلب الـ QFTS استدلالاً سردياً غنياً ومصمماً خصياً وفقاً لنية المستخدم.

القيود الرئيسية للأساليب الحالية:

• نماذج (Table-to-Text): تتطلب ضبطاً دقيقاً (Fine-tuning) مكلفاً وتواجه صعوبات في الاستدلال الرقمي المعقد والدقة المنطقية.
• النماذج اللغوية الكبيرة (LLMs) القائمة على التلقين (Prompt-Based): تعاني من قيود عدد الرموز (Tokens)، ومشكلات الكفاءة، ومخاطر الخصوصية الحرجة لأنها تتطلب إرسال بيانات الجداول الخام إلى نماذج لغوية خارجية.
• سير العمل الوكيل (Agentic Pipelines) الحالي: يعتمد غالباً على التفكيك، أو التخطيط باللغة الطبيعية، أو القوالب اليدوية، مما يفتقر إلى المتانة، والقابلية للتوسع، وإعادة الاستخدام عبر جداول مختلفة تشترك في نفس المخطط (Schema).

يجادل المؤلفون بأن الحل العملي يجب أن يكون سريعاً (قابل لإعادة الاستخدام)، دقيقاً (مرتكزاً على عمليات قابلة للتنفيذ)، ومتوافقاً مع الخصوصية (لا يكشف أبداً عن قيم البيانات الخام للنماذج اللغوية الكبيرة).

2. المنهجية: إطار عمل FACTS

يقدم الحل المقترح، FACTS (التلخيص السريع، الدقيق، والمتوافق مع الخصوصية للجداول)، سير عمل وكيل (Agentic Workflow) يقوم بتوليد قوالب غير متصلة بالإنترنت (Offline Templates) بدلاً من توليد الملخصات مباشرة من البيانات.

المفهوم الجوهري: القوالب غير المتصلة بالإنترنت (Offline Templates)

القالب غير المتصل بالإنترنت هو أثر مركب يتكون من:

1. استعلامات SQL الواعية بالمخطط (Schema-Aware): كود قابل للتنفيذ لاسترجاع بيانات دقيقة.
2. قوالب Jinja2: منطق العرض لتحويل نتائج SQL إلى لغة طبيعية.
   الأهم من ذلك، أن هذه القوالب مرتبطة بـ مخطط الجدول (Schema) ودلالات الاستعلام، وليس بقيم البيانات الخام. وبمجرد توليدها، يمكن إعادة استخدامها عبر أي جداول تشترك في نفس المخطط.

سير العمل الوكيل (The Agentic Workflow)

يعمل FACTS عبر ثلاث مراحل تكرارية، مدعومة بـ مجلس النماذج اللغوية الكبيرة (LLM Council) (وهو مجموعة من النماذج غير المتجانسة) للتحقق من الصحة:

المرحلة 1: التوصيف والترشيح الموجه بالمخطط

• يقوم الوكيل بتحليل استعلام المستخدم ومخطط الجدول (دون رؤية البيانات الخام).
• يولد أسئلة موجهة وقواعد ترشيح (مثلاً: "استبعاد الصفوف حيث الفئة = 'مصروفات'") لتوضيح النية.
• مجلس النماذج اللغوية الكبيرة: يتحقق من هذه المواصفات عبر التصويت بالأغلبية لضمان توافقها مع الاستعلام.

المرحلة 2: توليد استعلامات SQL

• يقوم الوكيل بتخليق استعلامات SQL بناءً على المواصفات التي تم التحقق منها.
• تُنفذ الاستعلامات محلياً مقابل البيانات.
• مجلس النماذج اللغبية الكبيرة: يراجع نتائج التنفيذ (الأخطاء، المجموعات الفارغة) ويقدم ملاحظات. يقوم الوكيل بتحسين SQL بشكل تكراري حتى يصبح قوياً وقابلاً للتنفيذ.

المرحلة 3: توليد قالب Jinja2 والمواءمة

• يولد الوكيل قالب Jinja2 لعرض مخرجات SQL في شكل سردي.
• مجلس النماذج اللغبية الكبيرة: يتحقق من المواءمة بين هيكل مخرجات SQL ومتغيرات القالب (على سبيل المثال، التأكد من مطابقة أسماء الأعمدة).
• تحدث عملية تحسين تكرارية حتى يصبح الزوج (الاستعلام والقالب) متسقاً.

مجلس النماذج اللغبية الكبيرة (The LLM Council)

للحد من الهلوسة وضمان الصحة، يستخدم FACTS مجموعة من النماذج (GPT-4o-mini, Claude-4 Sonnet, DeepSeek v3). وبدلاً من الاعتماد على نموذج واحد، يقوم المجلس بـ:

• تقييم الآثار الوسيطة بشكل مستقل (المواصفات، SQL، القوالب).
• استخدام التصويت بالأغلبية لقبول أو رفض الآثار.
• تجميع الملاحظات لتوجيه عملية التحسين التكراري.

3. المساهمات الرئيسية

1. توليد القوالب غير المتصلة بالإنترنت: نموذج جديد ينتج آثاراً قابلة لإعادة الاستخدام ومحددة بالمخطط (SQL + Jinja2)، مما يسمح بالتوسع للجداول الكبيرة دون الحاجة لإعادة الاستدلال.
2. إطار عمل FACTS: سير عمل وكيل يدمج التوصيف الموجه، وتخليق SQL، وتنسيق القوالب، مؤمناً بحلقة تغذية راجعة تكرارية من مجلس النماذج اللغبية الكبيرة.
3. تصميم متوافق مع الخصوصية: لا يكشف النظام إلا عن مخططات الجداول والاستعلامات للنماذج اللغبية الكبيرة؛ بينما تظل قيم البيانات الخام محلية ولا يتم نقلها أبداً إلى النماذج الخارجية.
4. تقييم شامل: تجارب واسعة تثبت تفوق FACTS على النماذج المرجعية (Baselines) في الدقة، وإعادة الاستخدام، والقابلية للتوسع.

4. النتائج التجريبية

قام المؤلفون بتقييم FACTS على ثلاث مجموعات بيانات مرجعية: FeTaQA، و QTSumm، و QFMTS.

• الأداء: حقق FACTS باستمرار أفضل أو ثاني أفضل النتائج عبر مقاييس BLEU و ROUGE-L و METEOR في جميع مجموعات البيانات، متفوقاً على كل من الطرق القائمة على التلقين (مثل DirectSumm و Reason-then-Summ) وأطر العمل الوكيل الأخرى (مثل Binder و SPaGe).
• التقييم البشري:
  • الواقعية (Factuality): دقة تنفيذ SQL بلغت 94% ودقة عرض القالب بلغت 98%.
  • التفضيل: في المقارنات المباشرة مع أقوى نموذج مرجعي (SPaGe)، فُضل FACTS من حيث الاكتمال (55%)، والصحة (59%)، وتقليل الهلوسة (60%).
• إعادة الاستخدام والقابلية للتوسع:
  • إعادة الاستخدام: بمجرد توليد قالب غير متصل بالإنترنت، فإن تطبيقه على جداول جديدة تشترك في نفس المخطط أسرع بكثير من إعادة تشغيل الاستدلال الكامل للنماذج اللغبية الكبيرة.
  • القابلية للتوسع: مع زيادة حجم الجدول (من 100 إلى 1,000 صف)، يظل وقت تشغيل FACTS ثابتاً (يعتمد فقط على المخطط)، بينما تظهر النماذج المرجعية تأخراً زمنياً يزداد خطياً بسبب قيود عدد الرموز.
• دراسة الاستئصال (Ablation Study): أدى حذف التحقق التكراري من المجلس (نسخة الاستدعاء الواحد - Single-Call) إلى انخفاض كبير في معدلات نجاح SQL (83.2% مقابل 100% لـ FACTS) وانخفاض جودة النص، مما يثبت ضرورة حلقة التحسين الوكيلية.

5. الأهمية والأثر

يمثل FACTS تحولاً جذرياً في تلخيص الجداول من خلال فصل توليد المنطق عن تنفيذ البيانات.

• العملية: يحل مشكلة "حد الرموز" و"التكلفة" للجداول الكبيرة باستخدام تنفيذ SQL خفيف الوزن بدلاً من تغذية النماذج اللغبية الكبيرة ببيانات ضخمة.
• الثقة والخصوصية: من خلال الالتزام بنموذج تهديد لا تغادر فيه البيانات الخام البيئة المحلية أبداً، فإنه يجعل التلخيص القائم على النماذج اللغبية الكبيرة قابلاً للتطبيق في المجالات الحساسة مثل التمويل، والرعاية الصحية، والقانون.
• الموثوقية: يقلل الجمع بين استناد SQL القابل للتنفيذ والتحقق متعدد النماذج من الهلوسة بشكل كبير، وهي مشكلة مستمرة في الذكاء الاصطناعي التوليدي.

القيود: يفترض النهج الحالي وجود مخطط ثابت؛ فهو لا يتكيف تلقائياً مع تغير المخطط (مثل تغيير أسماء الأعمدة) دون إعادة توليد القالب. بالإضافة إلى ذلك، بينما تظل البيانات الخام محمية، فإن المخطط نفسه يُعرض للنموذج اللغبي الكبير، مما قد يمثل مصدر قلق في بيئات "الثقة الصفرية" (Zero-trust).

في الختام، يوفر FACTS إطار عمل قوياً، وقابلاً للتوسع، ويحافظ على الخصوصية لتلخيص الجداول الموجه بالاستعلام في العالم الحقيقي، مما يضع معياراً جديداً لسير العمل الوكيل في مهام البيانات المهيكلة.