Eliciting associations between clinical variables from LLMs via comparison questions across populations

ملخص تقني: استخلاص الارتباطات بين المتغيرات السريرية من النماذج اللغوية الكبيرة عبر أسئلة المقارنة

بيان المشكلة
تتدرب النماذج اللغوية الكبيرة (LLMs) على أدبيات طبية حيوية هائلة تشمل مجموعات سكانية متنوعة، مما قد يؤدي إلى ترميز هياكل ارتباط وسببية معقدة بين المتغيرات السريرية. ومع ذلك، فإن الاستقصاء المباشر من النماذج اللغوية الكبيرة حول علاقات إحصائية محددة (مثل: "ما هو الارتباط بين X و Y في المجتمع Z؟") محفوف بالمخاطر. فغالباً ما تسفر عمليات الاستقصاء المباشرة عن إجابات تعتمد على الاستدعاء المحدد بدلاً من المعرفة التجميعية، وتعاني من ظاهرة "المداهنة" (Sycophancy) (التكيف مع معتقدات المستخدم المتصورة)، وتتأثر بترتيب المطالبات (Prompts)، وقد تنتج مخرجات هلوسة أو تبريرات لاحقة (Post-hoc rationalization). علاوة على ذلك، لا يمكن التعامل مع النماذج اللغوية الكبيرة كوكلاء قادرين على التأمل الذاتي؛ بل يجب التعامل معها كخاضعين للتجارب يتم استنتاج تمثيلاتها الداخلية من خلال سلوكها. ويكمن التحدي في استعادة هياكل الارتباط ذات المعنى والروابط السببية المحتملة من النماذج اللغوية الكبيرة دون الوصول إلى تنشيطاتها أو أوزانها الداخلية، مع مراعاة الاختلافات الخاصة بكل مجتمع سكاني.

المنهجية
يقترح المؤلفون إطار عمل يعامل النموذج اللغوي الكبير كخاضع للتجربة، باستخدام أسئلة مقارنة مهيكلة لاستنتاج الارتباطات الضمنية وتطبيق التنبؤ السببي الثابت (Invariant Causal Prediction - ICP) لتحديد المرشحات السببية القوية.

1. أسئلة مقارنة الثلاثيات (Triplet Comparison Questions):
بدلاً من طلب ارتباط عددي، تستعلم الطريقة من النموذج بأسئلة ثلاثية تتضمن ثلاثة مرضى اصطناعيين (1، 2، و3).

• الإعداد: بالنسبة لزوج من المتغيرات $X_j$ و $X_k$، يتم تحديد قيم $X_j$ لجميع المرضى الثلاثة. أما قيمة $X_k$، فتُحدد فقط للمريض رقم 3.
• المهمة: يُطلب من النموذج اللغوي تحديد ما إذا كان المريض رقم 3 أكثر تشابهاً مع المريض رقم 1 أم المريض رقم 2، مع أخذ قيمة $X_k$ في الاعتبار.
• الآلية: من خلال تغيير قيم $X_k$ للمريض رقم 3 بشكل منهجي مع تثبيت المرضى المرجعيين، تراقب الطريقة كيف يتغير "توازن" قرار التشابه. إذا كانت $X_j$ و $X_k$ مرتبطتين بقوة في تمثيل النموذج اللغوي، فإن قيمة $X_k$ ستؤثر بشكل كبير على القرار.

2. نموذج القرار البديل (Surrogate Decision Model):
يتم نمذجة الاستجابات الثنائية (المريض 1 مقابل المريض 2) باستخدام بديل إحصائي. يفترض المؤلفون وجود تمثيل "عقلاني" للنموذج اللغوي يقوم بتقدير التباين العكسي للتنبؤ بالحالة الحقيقية للمريض بناءً على قياسات صاخبة وإشارات غير مباشرة.

• تُنمذج احتمالية اختيار المريض رقم 2 باستخدام دالة لوجستية (Logistic function) لفرق الحالة المقدرة للمريض رقم 3 عن نقطة منتصف مرجعية.
• ترتبط معاملات اللوجستيك المجهزة ($\beta$) رياضياً بالارتباط السكاني الأساسي ($\rho$).
• المقدر المتماثل (Symmetric Estimator): لإزالة المصطلحات المزعجة المتعلقة بمقياس المتغيرات وتوزين الإشارات النسبية، تقوم الطريقة بتبديل أدوار $X_j$ و $X_k$ في مجموعة ثانية من الاستعلامات. ويتم استعادة الارتباط من حاصل ضرب نسب المنحدرات للاستعلامين الاتجاهيين، مما ينتج مقدراً متماثلاً $\hat{\rho}$.

3. تحولات البيئة المستحثة بالمطالبات و(ICP):
للانتقال من الارتباط إلى الاستدلال السببي، تستخدم الطريقة التنبؤ السببي الثابت (ICP).

• البيئات الاصطناعية: ينشئ المؤلفون "بيئات" مختلفة عن طريق تغيير نص المطالبة لتحديد مجموعات سكانية فرعية مختلفة (على سبيل المثال، تغيير القيم المتوسطة لمتغيرات معينة مثل تاريخ التدخين أو التعرض لتلوث الهواء).
• تطبيق ICP: يتم تقدير مصفوفات الارتباط لكل بيئة مستحثة بالمطالبات. يختبر ICP مجموعات فرعية من المتنبئات المرشحة لمعرفة ما إذا كانت منحدرات الانحدار الخاصة بها على متغير مستهدف تظل ثابتة عبر هذه البيئات. الارتباطات الزائفة عادة ما تنكسر تحت تأثير تحولات التوزيع، بينما تظل الروابط السببية الحقيقية مستقرة.
• التصفية المتحفظة (Conservative Filtering): يتم الاحتفاظ بالمتغير كأب مرشح فقط إذا تعذر استبعاده من أي مجموعة ثابتة، مما يضمن مجموعة متحفظة من المرشحين السببيين.

المساهمات الرئيسية

• الاستخراج القائم على الثلاثيات: إطار عمل مبتكر لاستعادة الارتباطات الثنائية من أحكام التشابه في النماذج اللغوية الكبيرة دون الحاجة للوصول إلى المكونات الداخلية للنموذج (التنشيطات أو الأوزان).
• البيئات المستحثة للتقييم السببي: طريقة لتقدير الارتباطات الخاصة بكل بيئة من خلال التلاعب بأوصاف المجموعات السكانية في المطالبات، مما يسمح بتطبيق ICP على البيانات المستخرجة من النماذج اللغوية الكبيرة.
• العرض السريري: التحقق من الصحة في مجالين سريريين متميزين: مرض الانسداد الرئوي المزمن (COPD) والتصلب المتعدد (MS).

النتائج
تم تقييم الطريقة باستخدام نماذج gpt-oss-120b و gpt-oss-20b من OpenAI على مجموعات بيانات COPD (علامات وظائف الرئة) و MS (المؤشرات الحيوية والمقاييس السريرية).

• ملائمة النموذج والاستقرار: ناسب نموذج القرار البديل استجابات الثلاثيات الثنائية بشكل جيد. كانت أسطح القرار سلسة ورتيبة، وكانت حدود القرار متسقة مع إشارات الارتباط المتوقعة (على سبيل المثال، منحدرات سالبة للأزواج المرتبطة إيجابياً).
• المعقولية السريرية:
  • COPD: أظهرت الارتباطات المستخرجة بنية متماسكة وقوية. شكلت متغيرات قياس التنفس (FEV1، FEV1/FVC) كتلة ضيقة، كما تم استعادة العلاقات الفسيولوجية المعروفة (مثل الارتباط السلبي بين FEV1/FVC ومقاييس حبس الهواء).
  • MS: كانت الارتباطات أضعف عموماً مقارنة بـ COPD، ويرجع ذلك على الأرجب إلى ندرة أو عدم تجانس الأدبيات في بيانات التدريب. ومع ذلك، تم استعادة الأزواج الراسخة (مثل T25FW و T2-LV).
• المقارنة مع الاستعلامات المباشرة: كانت التقديرات القائمة على الثلاثيات أقل ضجيجاً وأكثر استقراراً بكثير من الاستعلامات الرقمية المباشرة. أنتجت الاستعلامات المباشرة توزيعات مشتتة (الانحرافات المعيارية 0.1–0.3) وكانت أقل حساسية لتحولات البيئة، بينما تباينت تقديرات الثلاثيات بشكل مناسب عبر البيئات، وهو شرط أساسي لتطبيق ICP.
• الاستدلال السببي (ICP):
  • COPD: حدد ICP مجموعة صغيرة من الآباء المرشحين المتحفظين: سنوات التدخين $\leftarrow$ DLCO، و PM2.5 $\leftarrow$ TLC، و BMI $\leftarrow$ R5-R20. وتتوافق هذه مع المعرفة السريرية الراسخة (مثل تأثير التدخين في تقليل سعة الانتشار).
  • MS: حدد ICP أن حجم الثقوب السوداء في T1 هو أب لـ EDSS، وأن sGFAP هو أب لـ 9HPT، وهو ما يتوافق مع الأدلة المستمدة من الدراسات التحليلية حول عبء الآفات والعجز.
• المتانة: كانت التقديرات مستقرة عبر خيارات القيم المرجعية المختلفة وأظهرت بنية نسبية متسقة عبر أحجام النماذج (120b مقابل 20b)، رغم أن النموذج الأصغر أعطى قيم ارتباط مطلقة أقل قليلاً.

الأهمية والادعاءات
يدعي البحث أن الاستقصاء غير المباشر عبر مقارنات الثلاثيات يوفر "مساراً حذراً" من الارتباطات الضمنية في النماذج اللغوية الكبيرة إلى التصريحات السببية التي تتوافق مع أنماط إجابة النموذج. تكمن أهمية ذلك في:

1. التغلب على قيود الاستعلام المباشر: تتجنب الطريقة الهلوسة والمداهنة المرتبطة بالاستعلامات الرقمية المباشرة من خلال الاعتماد على أحكام التشابه النسبية.
2. الاستقصاء السلوكي: تعامل النماذج اللغوية الكبيرة كخاضعين للتجارب، حيث يتم استنتاج تمثيلها الداخلي للعلاقات السريرية من خلال تجارب سلوكية محكومة بدلاً من افتراض قدرتها على التقرير الذاتي عن الحقيقة.
3. الاكتشاف السببي بدون بيانات: توضح مساراً لإجراء التنبؤ السببي الثابت باستخدام "بيئات اصطناعية" مستحثة بالمطالبات فقط، مما يتجاوز الحاجة إلى الحصول على مجموعات متعددة من البيانات السريرية الفردية التي غال Angel يصعب الحصول عليها.

يظل المؤلفون متواضعين، مشيرين إلى أن الطريقة تستعيد الارتباطات "المضمنة في النموذج" وليس الحقائق السريرية التجريبية. ويعتمد نقل المنحدرات الملائمة إلى ارتباطات على افتراضات علاقات محددة، كما أن الدراسة محدودة بمجالين ونماذج محددة. ومع ذلك، يوفر هذا الإطار أداة استكشافية قابلة للتطبيق لسبر بنية الارتباط الممثلة داخل النماذج اللغوية الكبيرة.