🤖 AI

Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners

تكشف هذه الورقة أن المتعلمين في السياق (in-context learners) للبيانات الجدولية يوجهون التنبؤات حتمًا عبر إشارات زائفة مدمجة في الميزات المركبة بدلاً من الإشارات السببية الحقيقية، وهو فشل يزداد سوءًا مع زيادة حجم السياق وقدرة النموذج التعبيرية، ولكن يمكن التخفيف منه بفعالية من خلال بناء سياق مُصنف بيئيًا وتعزيز S-swap.

المؤلفون الأصليون: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

نُشر 2026-07-29

📖 7 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يتنبأ بالطقس. تعرض عليه ألف صورة لأيام مشمسة، وفي كل صورة، تكون السماء زرقاء. يتعلم الروبوت قاعدة بسيطة: "السماء الزرقاء تعني الشمس". ولكن هنا تكمن الخدعة: في صور التدريب الخاصة بك، كانت السماء دائمًا زرقاء لأنك التقطت الصور فقط خلال النهار. لم تظهر للروبوت قط صورة لسماء غائمة في الليل. لم يتعلم الروبوت أن "الشمس" هي التي تسبب "السماء الزرقاء"؛ بل تعلم فقط أن "اللون الأزرق" و"الشمس" يظهران معًا بالصدفة. إذا عرضت عليه لاحقًا صورة لسماء زرقاء في الليل (وهو أمر مستحيل، لكن لنقل أن الروبوت رأى شاشة زرقاء)، فقد يصاب بالارتباك. هذا هو عالم "تعلم الآلة"، وتحديدًا خدعة ذكية تسمى "التعلم في السياق" (In-Context Learning). فبدلاً من إعادة تدريب الروبوت من الصفر في كل مرة، أنت فقط تعطيه بضعة أمثلة قبل أن يقوم بتخمينه، وهو يستنتج النمط فورًا. الأمر يشبه تسليم محقق بضعة أدلة وقول: "حل هذه القضية"، دون تغيير دماغ المحقق أبدًا. ولكن ماذا يحدث إذا كانت تلك الأدلة مضللة؟ ماذا لو كانت الأدلة تشير إلى مشتبه به بريء، لمجرد أنه صادف وجوده في مسرح الجرية في كل صورة عرضتها على المحقق؟

تتقصى هذه الورقة البحثية فخًا مخادعًا يمكن أن يخدع هذه الروبوتات الذكية والمرنة عندما تُستخدم في أمور مثل التنبؤ بتعافي المرضى في المستشفيات. وجد الباحثون أنه عندما يرى الروبوت مزيجًا من المعلومات "الحقيقية" (مثل الحالة الصحية الفعلية للمريض) والمعلومات "المزيفة" (مثل خلل في معدات مستشفى معين)، فإنه غالبًا ما يُخدع. إنه يتعلم الاعتماد على الخلل لأنه، في بيانات التدريب، حدث أن تطابق الخلل تمامًا مع النتيجة. تثبت الورقة أن مجرد إعطاء الروبوت المزيد من الأمثلة لا يحل المشكلة؛ بل في الواقع، قد يجعل الربوت أكثر تمسكًا بالخطأ. ومع ذلك، اكتشف المؤلفون أيضًا خدعة ذكية وخفيفة الوزن لكسر هذا السحر، مما يسمح للروبوت بتجاهل الخلل والتركيز على إشارات الصحة الحقيقية، حتى دون معرفة شكل الخلل بدقة.

المحقق وميزان الحرارة المعطل

دعونا نتعمق في القصة. تخيل مستشفى تم فيه توظيف نظام ذكاء اصطناعي جديد للتنبؤ بمدى سرعة تعافي المرضى. يتم عرض البيانات على النظام من مستشفى واحد محدد. في هذا المستشفى، هناك مشكلة خفية: موازين الحرارة معطلة قليلاً. فهي تقرأ دائمًا درجتين أعلى مما ينبغي. ولكن إليك المفاجأة: المرضى الذين سجلوا قراءة "الحمى العالية" على هذه الموازين المعطلة هم أيضًا من تعافوا بسرعة. لماذا؟ لأن موازين الحرارة المعطلة تُستخدم فقط في جناح كبار الشخصيات (VIP)، ومرضى هذا الجناض يحصلون على رعاية أفضل ويتعافون بشكل أسرع.

الذكاء الاصطناعي، بصفته أداة فائقة الذكاء لمطابقة الأنماط، ينظر إلى البيانات ويقول: "آها! قراءات درجة الحرارة العالية تعني تعافيًا سريعًا!" هو لا يعرف شيئًا عن جناح كبار الشخصيات أو ميزان الحرارة المعطل. هو فقط يرى أن درجة الحرارة (S) والتعافي (Y) هما صديقان مقربان في البيانات التي أُعطيت له. لذا، عندما يقوم بالتنبؤ، فإنه يوجه قراره عبر قراءة درجة الحرارة. يفكر: "سأراهن على درجة الحرارة!"

الآن، تخيل أن هذا الذكاء الاصطناعي أُرسل إلى مستشفى جديد. هذا المستشفى الجديد لديه موازين حرارة جديدة ومثالية. جناح كبار الشخصيات اختفى. والرابط بين "درجة الحرارة العالية" و"التعافي السريع" قد انكسر. لكن الذكاء الاصطناعي لا يزال يستخدم قاعدته القديمة: "درجة حرارة عالية = تعافي سريع". ولأن موازين الحرارة الجديدة دقيقة، يرى الذكاء الاصطناعي درجات حرارة طبيعية للمرضى، فيتنبأ بأنهم سيتعافون ببطء، أو يرى درجات حرارة عالية للأصحاء ويتنبأ بأنهم سيتعافون بسرعة. إنه يفشل تمامًا، ويفشل بصمت، لأنه ليس لديه طريقة لمعرفة أنه قد خُدع بميزان الحرارة المعطل في المقام الأول.

تسمي الورقة البحثية هذا بـ "التوجيه الزائف" (Spurious Routing). الذكاء الاصطناعي "يوجه" قراره عبر إشارة مزيفة (ميزان الحرارة المعطل) بدلاً من الإشارة الحقيقية (الصحة الفعلية للمريض).

فخ الإشارات المركبة

أدرك الباحثون أن الأمر لا يتعلق فقط بموازين الحرارة المعطلة. إنه يحدث كلما كانت قطعة واحدة من البيانات عبارة عن "حزمة" من شيئين: الإشارة الحقيقية (صحة المريض الحقيقية) والإشارة الزائفة (خلل المعدات). في عالم الرياضيات، يسمون هذا "تمثيلًا مركبًا" (Composite Representation).

تطرح الورقة سؤالاً كبيًا: هل يمكننا تعليم الذكاء الاصطناعي تجاهل الخلل؟ اختبر المؤلفون نوعين من محققي الذكاء الاصطناعي:

المحقق الخطي (The Linear Detective): ذكاء اصطناński بسيط يعتمد على القواعد ويقوم بعمليات حسابية أساسية (مثل جدول بيانات ذكي جدًا).
TabPFN: ذكاء اصطناعي معقد للغاية ومتطور، يشبه محققًا عبقريًا قرأ كل الكتب الطبية في العالم.

أجروا آلاف عمليات المحاكاة حيث تحكموا بدقة في مقدار اختلاط "الخلل" (S) مع "الصحة الحقيقية" (C). ووجدوا شيئًا مفاجئًا ومخيفًا بعض الشيء: الذكاء الاصطناعي لا يمكنه إصلاح هذا بنفسه.

حتى لو أعطيت الذكاء الاصطناعي المزيد والمزيد من الأمثلة من المستشفى الأول، فإنه لا يصبح أكثر ذكاءً بشأن الخلل. في الواقع، تظهر الورقة أن إعطاء الذكاء الاصطناعي المزيد من السياق (المزيد من الأمثلة) يجعله في الواقع أكثر تمسكًا بالإجابة الخاطئة. إذا كان الخلل مفيدًا قليلاً في بيانات التدريب، فإن الذكاء الاصطناعي سيضاعف تمسكه به. كلما عرضت عليه المزيد من الأمثلة، زاد إيمانه بأن الخلل هو الحقيقة.

لقد أثبت المؤلفون رياضيًا أنه طالما أن الخلل والنتيجة مرتبطان في بيانات التدريب، فلا بد للذكاء الاصطناعي أن يستخدم الخلل. هذا ليس خطأً تقنيًا (Bug)؛ بل هو سمة (Feature) في كيفية عمل هذه النماذج. وقد أطلقوا على ذلك اسم "التوجيه الزائف الذي لا مفر منه".

خدعة السحر: الـ "S-swap"

إذًا، إذا كان من المقدر للذكاء الاصطناعي أن يُخدع، فهل هناك أي أمل؟ يقول المؤلفون نعم، وقد وجدوا حلاً بسيطًا بشكل مفاجئ. أطلقوا عليه اسم "تعزيز تبديل S" (S-swap augmentation).

تخيل أنك المحقق مرة أخرى. لديك كومة من ملفات القضايا. في كل ملف، هناك قراءة لدرجة الحرارة ووقت التعافي. جميع الملفات من جناح كبار الشخصيات مع موازين الحرارة المعطلة.
خدعة "S-swap" هي كالتالي: تأخذ قراءة درجة الحرارة من الملف (أ) وتبدلها مع قراءة درجة الحرارة من الملف (ب)، لكنك تحافظ على وقت التعافي كما هو.

الملف (أ): "ميزان الحرارة المعطل يقول 104 فهرنهايت، المريض تعافى بسرعة."
الملف (ب): "ميزان الحرارة المعطل يقول 98 فهرنهايت، المريض تعافى ببطء."

تقوم بتبديل درجات الحرارة:

الملف (أ) (المعدل): "ميزان الحرارة المعطل يقول 98 فهرنهايت، المريض تعافى بسرعة."
الملف (ب) (المعدل): "ميزان الحرارة المعطل يقول 104 فهرنهايت، المريض تعافى ببطء."

الآن، انظر إلى النمط. درجة الحرارة لم تعد تتنبأ بالتعافي! درجة الحرارة العالية أصبحت الآن مرتبطة بالتعافي البطيء، والمنخفضة مرتبطة بالتعافي السريع. لقد انكسر الرابط. ينظر الذكاء الاصطناي إلى هذه البيانات الجديدة المبدلة ويدرك: "انتظر لحظة. درجة الحرارة لا تهم على الإطلاق! إنها مجرد ضجيج."

تظهر الورقة أن هذه الخدعة تعمل بشكل ممتاز.

بالنسبة للمحقق الخطي البسيط، قللت الاعتماد على الخلل بنسبة 74%.
بالنسبة لـ TabPFN الفائق الذكاء، قللت الاعتماد بنسبة هائلة بلغت 98.8%.

والأفضل من ذلك، أن الذكاء الاصطناعي لم يصبح فقط "مرتبكًا" أو "استسلم"، بل بدأ بالفعل في الانتباه لإشارة الصحة الحقيقية. وجدت الورقة أن حساسية الذكاء الاصطناعي للسبب الحقيقي زادت بمقدار 8.4 ضعفًا. لم يتوقف عن التعلم؛ بل تعلم الشيء الصحيح.

لماذا يهم هذا؟

اختبر الباحثون هذا أيضًا على بيانات من العالم الحقيقي، باستخدام مجموعة بيانات لخلايا البنكرياس البشرية من مختبرات مختلفة. على الرغم من أنهم لم يعرفوا بالضبط أي أجزاء من البيانات كانت "الخلل" وأيها كانت "البيولوجيا الحقيقية"، إلا أنه كان بإمكانهم تقدير الخلل بمجرد النظر إلى كيفية تباين البيانات بين المختبرات. وعندما طبقوا خدعة "S-swap"، انخفض اعتماد الذكاء الاصطناعي على الخلل الخاص بالمختبرات بنسبة تقارب 89%.

تخلص الورقة إلى أننا لسنا بحاجة إلى إعادة بناء نماذج الذكاء الاصطناعي القوية هذه أو تعليمها قواعد جديدة معقدة. نحن فقط بحاجة إلى أن نكون أكثر ذكاءً بشأن الأمثلة التي نعرضها عليها. من خلال تبديل الأجزاء "المعطلة" من البيانات قبل أن يقوم الذكاء الاصطناعي بالتخمين، يمكننا خداع الذكاء الاصطناعي ليتجاهل الإشارات المزيفة ويركز على الحقيقة.

إنها تذكير بأنه في عالم الذكاء الاصطناعي، أحيانًا لا يكون أذكى شيء يمكنك فعله هو إعطاء الروبوت المزيد من البيانات، بل إعادة ترتيب البيانات التي لديك بالفعل بحيث لا يملك الروبوت خيارًا سوى رؤية الحقيقة. تثبت الورقة أنه بينما هذه النماذج قوية، إلا أنها أيضًا عرضة لـ "التوجيه الزائف"، ولكن مع القليل من خلط البيانات الذكي، يمكننا توجيهها عائدة إلى المسار الصحيح.

ملخص تقني: متشابك بالتصميم: توجيه الإشارات الزائفة داخل المتغير في متعلمي الجداول السياقية

بيان المشكلة

تتناول الورقة نمط فشل حرج في التعلم السياقي (In-Context Learning - ICL) للبيانات الجدولية، وتحديداً عند نشر النماذج في بيئات غير متجانسة (مثل المستشفيات المختلفة أو الدفعات التجريبية المختلفة). تكمن المشكلة الجوهرية في التوجيه الزائف للإشارة داخل المتغير الواحد (spurious intra-variable signal routing).

في العديد من السيناريوهات الواقعية، يكون متجه الميزات المرصود $X$ عبارة عن مركب من إشارة سببية حقيقية $C$ (مثل صحة المريض) وإشارة زائفة $S$ (مثل آثار المعدات أو تأثيرات الدفعة/البيئة)؛ حيث تكون هذه الإشارات متشابكة غالباً ضمن نفس فضاء الميزات أو ضمن فضاءات فرعية متميزة: $X = [C; \alpha S; \eta]$ . داخل بيئة واحدة، قد يؤدي متغير مربك غير مرصود $U$ (مثل التركيبة السكانية للمريض) إلى دفع كل من الإشارة الزائفة $S$ والنتيجة $Y$ معاً، مما يخلق ارتباطاً سياقياً غير صفري $\text{Corr}(S, Y) \neq 0$ .

نماذج التعلم السياقي القياسية، مثل TabPFN أو مقدرات ريدج الخطية (linear ridge estimators)، ترصد فقط الأمثلة السياقية. وهي تتعلم "عقلانياً" توجيه التنبؤات عبر $S$ لأنها تبدو تنبؤية ضمن السياق، رغم أن $S$ غير سببية. وعند نشر النموذج في بيئة جديدة حيث تتغير العلاقة بين $S$ و $Y$ (بسبب اختلاف المعدات أو العوامل الخاصة بالموقع)، يفشل النموذج بصمت. يختلف هذا عن مشكلات الارتباط الزائف عبر المتغيرات التقليدية لأن الإشارات السببية والزائفة غالباً ما تكون متشابكة داخل متجه ميزات مرصود واحد أو تمثيلات فرعية مركبة، مما يجعل من الصعب التمييز بينهما عبر الإحصاءات السياقية القياسية وحدها.

المنهجية

الإطار النظري

صاغ المؤلفون الإعداد باستخدام نموذج سببي بنيوي (SCM) حيث:

الإشارة السببية ( $C$ ): ثابتة عبر البيئات.
الإشارة الزائفة ( $S$ ): ترتبط بـ $Y$ فقط عبر مربك مشترك $U$ داخل البيئة.
الملاحظة المركبة: $X = [C; \alpha S; \eta]$ ، حيث يتحكم $\alpha$ في قوة التشابك.

قدمت الورقة نسبة الحساسية السببية (Causal Sensitivity Ratio - CSR) كمعيار تشخيصي لقياس سلوك التوجيه:
$\text{CSR}(w) := \frac{\mathbb{E}[|w_S \alpha \Delta S|]}{\mathbb{E}[|w_C \Delta C|]}$
حيث تمثل $\Delta S$ و $\Delta C$ اضطرابات (تبديلات) للمكونات الزائفة والسببية، على التوالي.

$\text{CSR} \approx 0$ : النموذج يوجه عبر الإشارة السببية.
$\text{CSR} > 1$ : النموذج أكثر حساسية للإشارة الزائفة منها للإشارة السببية (نظام الفشل).

التحليل النظري

استنتج المؤلفون توصيفاً مغلق الشكل لـ $\text{CSR}$ في المجتمع الإحصائي تحت التعلم السياقي الخطي (ridge ICL):
$\text{CSR}_{\text{pop}} = \underbrace{\frac{\alpha^2}{\alpha^2 + \lambda}}_{\text{التشابك}} \cdot \underbrace{\frac{\rho_S}{\rho_C}}_{\text{نسبة الإشارة}} \cdot \underbrace{(1 + \lambda)\kappa(\delta)}_{\text{ثابت البروتوكول}}$
النتائج النظرية الرئيسية تشمل:

عدم القدرة على التجنب: في ظل وجود التباس سياقي ( $\rho_S \neq 0$ )، فإن التوجيه الزائف لا يمكن تجنبه لأي قوة تنظيم $\lambda > 0$ .
حجم السياق: أحجام السياق الأكبر لا تحل المشكلة؛ ففي الأنظمة ذات الزيف العالي، يمكن أن تزيد من الالتزام بالإشارة الزائفة بمقدار يصل إلى $1.74\times$ .
قابلية التحديد: يكون التوجيه غير قابل للتحديد إذا تشاركت $C$ و $S$ في إحداثي قياسي واحد ( $D=1$ )؛ لذا تتطلب عملية التشخيص فضاءات فرعية متميزة.

استراتيجيات التخفيف

تقترح الورقة تدخلين خفيفين، لا يعتمدان على النموذج (model-agnostic)، يعملان على مستوى بناء السياق، ويتطلبان فقط تسميات بيئية ضعيفة (مثل معرفات الدفعة/Batch ID) ولا يتطلبان معرفة بالتقسيم السببي:

بناء السياق الطبقي للبيئة (Environment-Stratified Context Construction): أخذ عينات من الأمثلة السياقية من بيئات مختلفة لخلط توزيعات $S$ مع الحفاظ على مستويات $Y$ ثابتة، مما يقلل من الارتباط السياقي $\text{Corr}(S, Y)$ .
تعزيز تبديل $S$ (S-swap Augmentation): لكل نقطة سياقية $(X_i, Y_i)$ ، تُضاف نسخة مزدوجة $(\tilde{X}_i, Y_i)$ حيث يتم استبدال الأبعاد الزائفة لـ $X_i$ بأخرى من بيئة مختلفة. هذا يرسل إشارة للنموذج على مستوى النقطة بأن $S$ لا تتنبأ بـ $Y$ .

النتائج الرئيسية

التحقق التجريبي

تحقق المؤلفون من نظريتهم على كل من التعلم السياقي الخطي (ridge regression) و TabPFN (وهو محول جدولي مدرب مسبقاً ومتطور) باستخدام نموذج سببي بنيوي محكوم.

الارتباط مع النظرية: يرتبط $\text{CSR}$ التجريبي بقوة مع المتنبئ النظري $\hat{\rho}_S / \hat{\rho}_C$ (بمعامل ارتباط $r=0.997$ للتعلم الخطي، و $r=0.979$ لـ TabPFN).
تأثيرات التضخيم:
- زيادة حجم السياق ( $n$ ) من 16 إلى 512 ضخمت التوجيه الزائف بمقدار $1.74\times$ في الأنظمة ذات الزيف العالي.
- أظهرت النماذج الأكثر تعبيراً (TabPFN) ضعفاً أكبر في زوايا التشابك العالية (بفارق $+2.22$ في $\text{CSR}$ ) مقارنة بالتعلم الخطي، لكنها كانت أكثر استجابة لعمليات التخفيف.
المتانة: ظلت التنبؤات النظرية صامدة حتى مع تداخل الفضاءات الفرعية (حتى دوران بزاوية $40^\circ$ )، حيث انخفض الارتباط قليلاً فقط ( $r \geq 0.93$ ).

أداء التخفيف

التعلم السياقي الخطي: قلل S-swap من $\text{CSR}$ بنسبة 74% وحسن خطأ الجذر التربيعي المتوسط (OOD RMSE) بنسبة 34.2%.
TabPFN: قلل S-swap من $\text{CSR}$ بنسبة 98.8% (من 5.777 إلى 0.067). والأهم من ذلك، أن النموذج لم يصبح غير مبالٍ، بل أعاد التوجيه عبر الإشارة السببية، مما زاد من الحساسية السببية بمقدار 8.4 $\times$ .
التحقق من العالم الحقيقي: في مجموعة بيانات scIB pancreas (علم جينوم الخلايا المفردة)، قلل S-swap من $\text{CSR}$ بنسبة 88.9% باستخدام الفضاءات الفرئية الزائفة المقدرة والمستمدة من هيكل الدفعة، مما يؤكد قابليته للتطبيق دون الحاجة لتسميات سببية حقيقية.

الأهمية والادعاءات

تدعي الورقة أنها حددت وصاغت شكلاً محدداً من أشكال الفشل في التعلم السياقي، وهو مختلف عن الارتباطات الزائفة عبر المتغيرات. وتتمثل مساهماتها الرئيسية في:

الإثبات النظري للاستحالة: إثبات أن التنظيم القياسي لا يمكنه القضاء على التوجيه الزائف في التمثيلات المركبة عند وجود التباس سياقي.
المعيار التشخيصي: تقديم $\text{CSR}$ كمعيار تشخيصي قوي يعتمد على الاضطراب، ويقيس سلوك التوجيه حتى عندما تكون التقسيمات السببية كامنة.
حل مستقل عن النموذج: اقتراح تعزيز S-swap، وهو تدخل على مستوى السياق، يفرض فعلياً على نماذج التعلم السياقي تجاهل الإشارات الزائفة والاعتماد على الإشارات السببية دون الحاجة لإعادة تدريب النموذج، أو تغيير البنية، أو الوصول إلى التقسيم السببي.
مفارقة التعبيرية: تسليط الضوء على أنه بينما تكون النماذج الأكثر تعبيراً (مثل TabPFN) أكثر عرضة للتوجيه الزائف في الأنظمة ذات الزيف العالي، فإن قدرتها تسمح لها أيضاً بالاستجابة بشكل أكثر دراماتيكية لإشارات الثبات (مثل S-swap)، مما يؤدي إلى تعافٍ فائق مقارنة بالنماذج الخطية الأساسية.

يضع المؤلفون هذا العمل كضرورة لتصحيح مسار استخدام التعلم السياقي في المجالات العلمية والطبية الحيوية، حيث يعد عدم تجانس البيانات هو القاعدة، وحيث تشكل حالات الفشل الصامتة بسبب تغير البيانات (dataset shift) مخاطر حرجة.