Graph Alignment Topology as an Inductive Bias for Grounding Detection

ملخص تقني: طوبولوجيا محاذاة الرسوم البيانية كتحيز استقرائي للكشف عن التجذر

بيان المشكلة
تتم تحسين النماذج اللغوية الكبيرة ذات التوليد الذاتي (Autoregressive LLMs) لتوليد تسلسلات من الرموز (tokens) ذات توزيع احتمالي معقول، بدلاً من التحقق صراحةً مما إذا كانت القضاńات المولدة مستنتجة من الأدلة المصدرية. وبينما يسهل هذا التحيز الاستقرائي القدرة على التعميم والطلاقة، فإنه يفشل في ترميز ما إذا كانت الاستجابات متجذرة في الوثائق المرجعية. وبناءً على ذلك، تنتج النماذج غالباً توليدات طليقة ولكن غير مدعومة، وهو قصور حرج في المجالات التي تتطلب دقة واقعية صارمة، مثل دعم القرار السريري. تعتمد طرق الكشف عن الهلوسة الحالية، بما في ذلك التوليد المعزز بالاسترجاع (RAG)، وفحوصات الاتساق الذاتي، والتحقق من الادعاءات، بشكل عام على النصوص المسترجعة، أو العينات النصية، أو الثلاثيات (triples) المستخرجة. ومن الأهمية بمكان أن هذه الطرق لا تتعلم مباشرة فوق طوبولوجيا المحاذاة (alignment topology) — أي المراسلة الهيكلية بين المرجع والاستجابة — مما يترك فجوة في كيفية نمذجة وتحديد عملية التجذر.

المنهجية: CALAMRFLOW
يقترح المؤلفون منهجية CALAMRFLOW، والتي تقدم تحيزاً استقرائياً هيكلياً عبر نمذجة التجذر كمسألة تصنيف على مستوى الرسم البياني (graph-level classification) فوق التمثيلات الدلالية المحاذية. تتكون الطريقة من أربع مراحل أساسية:

1. بناء الرسم البياني الدلالي:
   تستخدم الطريقة نموذج CALAMR (محاذاة المكونات لتمثيل المعنى المجرد) لتحليل كل من النص المرجعي (الدليل) والاستجابة المرشحة إلى رسوم بيانية لتمثيل المعنى المجرد (AMR). تمثل هذه الرسوم البيانية معنى الجملة كبنى (predicate-argument structures)، وكيانات، وسمات، وعلاقات. ويتم تخصي ص لكل عقدة في الرسم البياني تضمين دلالي مشتق من Sentence-BERT (SBERT)، ومعلومات دور PROPBank، والسياق المحلي للرسم البياني.

2. بناء طوبولوجيا المحاذاة:
   يتم دمج الرسوم البيانية للمرجع والاستجابة في رسم بياني ثنائي التجزئة محاذٍ (aligned bipartite graph) واحد. تحافظ الحواف الداخلية على البنية الدلالية الأصلية داخل كل نص، بينما تمثل الحواف العابرة للنصوص المحاذات المرشحة بين عقد المرجع والاستجابة. يتم وزن حواف المحاذاة هذه باستخدام خوارزمية التدفق الأقصى (max-flow algorithm). وتحديداً، يتم حساب سعات المحاذاة من تشابه جيب التمام (cosine similarities) الواعي بالحي (neighborhood-aware) لتمثيلات العقد، والتي تُحول عبر دالة سيجمو (sigmoid) محدودة للتأكيد على المحاذات الأقوى. ثم تقوم صيغة تدفق الشبكة بتقدير تدفق المعلومات عبر الرسم البياني؛ حيث تحافظ الحواف ذات التدفق العالي على الروابط المعلوماتية الدلالية، بينما تقلل الحواف ذات التدفق المنخفض من وزن المراسلات الضعيفة.

3. تصنيف الشبكة العصبية للرسوم البيانية (GNN):
   تعمل طوبولوجيا المحاذاة الموزونة الناتجة كمدخل لشبكة عصبية رسومية خفيفة الوزن. يستخدم النموذج شبكة تلافيفية رسومية (GCN) متعددة الطبقات مع تمرير الرسائل لتجميع المعلومات من الأحياء الدلالية المحلية وحواف المحاذاة العابرة للنصوص. تتضمن ميزات العقد تضمينات SBERT بـ 768 بُعداً وثلاث سمات هيكلية (نوع العقدة، أصل الرسم البيائي الفرعي، وحالة المفهوم). تستخدم الشبكة تجميعاً قائماً على الانتباه (attention-based graph pooling) لتوليد تمثيل على مستوى الرسم البياني، والذي يُغذى إلى مصنف أمامي (feed-forward classifier) للتنبؤ بتسمية ثنائية: مدعوم ($z=0$) أو مهلوس/غير مدعوم ($z=1$).

4. التدريب والاستدلال:
   يتم تدريب النموذج باستخدام خسارة التقاطع الثنائي المتشعب (binary cross-entropy loss) مع مُحسن ADAMW. ومن الجدير بالذكر أن المصنف لا يولد نصوصاً ولا يستعلم من نماذج لغوية كبيرة خارجية أثناء الاستدلال؛ بل يعتمد فقط على العلاقة المتعلمة بين أنماط طوبولوجيا المحاذاة وصحة التجذر المرجعي.

المساهمات الرئيسية
تحدد الورقة خمس مساهمات محددة:

1. التحيز الاستقرائي الهيكلي: تقديم كاشف تجذر يعتمد على الرسم البياني يتعلم مباشرة فوق طوبولوجيا المحاذاة ثنائية التجزئة، على عكس الطرق التي تعتمد على تداخل الشكل السطحي أو المعرفة البارامترية.
2. الأداء المتميز (SOTA): إثبات الأداء المتفوق عبر أربعة معايير متنوعة تغطي الهلوسة العامة، والهلوسة المتحكم بها، والهلوسة الطبية، والإجابة على الأسئلة الطبية الحيوية.
3. التحليل الطوبولوجي: تقديم تحليل من خلال تجارب إعادة توصيل الرسم البياني (graph rewiring) والاضطراب للتحقق من دور بنية المحاذاة.
4. الحساسية للهيكل: تقديم أدلة تجريبية تظهر أن الاضطرابات في بنية المحاذاة تؤثر بشكل ملموس على أداء التجذر، مما يؤكد أن النموذج يعتمد على الطوبولوجيا بدلاً من مجرد ميزات مستوى العقدة.
5. قابلية التكرار: إصدار الكود المصدري، وملفات الإعداد، وتعليمات إعادة الإنتاج.

النتائج التجريبية
تم تقييم الطريقة على أربعة مجموعات بيانات: HALUEVAL (المجال العام)، HDM-BENCH (الهلوسة المتحكم بها)، MEDHALLU (المجال الطبي)، و PUBMEDQA (الأسئلة الطبية الحيوية).

• الأداء: حقق CALAMRFLOW نتائج رائدة (SOTA) في جميع المعايير. حيث وصل إلى درجة F1 للهلوسة بلغت 94.8% في HALUEVAL و 89.2% في MEDHALLU، متفوقاً على النماذج اللغوية الكبيرة الأساسية مثل GPT-4o و Qwen2.5 و Llama-3.1.
• الأسئلة الطبية الحيوية: في PUBMEDQA، تجاوز النموذج خط الأساس لـ macro-F1 للمُقيّم الفردي (75.0% مقابل 72.2%)، رغم بقائه دون دقة البشر الإجمالية.
• تحليل التدخل: كشفت تجارب الاضطراب أن إزالة حواف المحاذاة أو إعادة توصيلها أدى باستمرار إلى تدهور الأداء (F1 الهلوسة)، مما يؤكد أن النموذج يستخدم بنية الرسم البياني بدلاً من الاعتماد فقط على التشابه الدلالي الخام. كما أظهر تحليل مسافة جيب التمام أن النموذج يعيد تشكيل توزيعات مسافة المحاذاة من خلال تمرير الرسائل، مما يميزه عن مجرد وضع عتبات (thresholding) لتمثينات المدخلات.

الأهمية والادعاءات
تفترض الورقة أن طوبولوجيا المحاذاة توفر تحيزاً استقرائياً هيكلياً متميزاً وفعالاً للكشف عن التجذر. ومن خلال نمذجة المراسلة بين المرجع والاستجابة صراحةً كرسم بياني مرجح بالتدفق، تقدم الطريقة بديلاً قابلاً للتدقيق للتحليل الذاتي "الصندوق الأسود" للنماذج اللغوية الكبيرة أو مقاييس التداخل اللفظي البحتة. يدعي المؤلفون أن هذا النهج ذو أهمية خاصة للتطبيقات السريرية والطبية الحيوية حيث يجب تتبع المحتوى غير المدعوم والرجوع إلى دليل محدد. وبينما تعتمد الطريقة على بناء الرسم البياني الدلالي وخطوات المحاذاة في المراحل الأولية، فإن النتائج تشير إلى أن التعلم فوق الطوبولوجيا المستحثة يسمح بالكشف القوي عن الهلوسة عبر مجالات متنوعة، متفوقاً على كل من المعايير الآلية والبشر (في مقاييس محددة). وتخلص الورقة إلى أن اعتماد الكاشف على بنية الرسم البياني، وليس فقط ميزات مستوى العقدة، هو عامل رئيسي في نجاحه.