TouchAI: Exploring human-AI perceptual alignment in touch through language model representations

إليك ملخص تقني مفصل للورقة البحثية بعنوان "TouchAI: استكشاف التوافق الإدراكي بين الإنسان والذكاء الاصطناي في اللمس من خلال تمثيلات النماذج اللغوية الكبيرة."

1. بيان المشكلة

تتناول الورقة فجوة حرجة في التوافق بين الإنسان والذكاء الاصطناعي (Human–AI alignment): وتحديداً التوافق الإدراكي (Perceptual alignment). فبينما تم إحراز تقدم كبير في مواءمة الذكاء الاصطناعي مع القيم والأهداف البشرية والإدراك البصري، إلا أن توافق الذكاء الاصطناعي مع الإدراك اللمسي البشري لا يزال غير مستكشف إلى حد كبير.

• التحدي: على عكس الرؤية (التي يمكن قياسها عبر قيم RGB) أو السمع (مقاييس التردد)، فإن اللمس متعدد الأبعاد، ويعتمد على السياق، ويفتقر إلى معايير عالمية. فالأوصاف اللمسية (مثل "ناعم"، "خشن") غالباً ما تكون مجازية وذاتية.
• السؤال الجوهري: هل تمتلك النماذج اللغوية الكبيرة (LLMs)، التي تدرّبت على مجموعات ضخمة من النصوص، تمثيلاً داخلياً للتجارب اللمسية يتوافق مع الأحكام الذاتية البشرية؟ هل يمكن للنموذج اللغوي الكبير أن يفهم أن "ساتان الحرير أنعم من دنيم القطن" بناءً على الأوصاف النصية للمس فقط؟
• المخاطر: مع زيادة اعتماد أنظمة الذكاء الاصطناعي في الوساطة بين التفاعلات الفيزيائية (مثل التحكم الروبوتي، أو التوصيات الشخصية للمنتجات)، فإن عدم وجود توافق إدراكي قد يؤدي إلى تجارب مستخدم غير موثوقة أو محبطة.

2. المنهجية

صمم المؤلفون مهمة تفاعلية مبتكرة تسمى "خمن ما نوع النسيج؟" (Guess What Textile?) لتقييم التوافق الإدراكي بين البشر والنماذج اللغوية الكبيرة.

أ. تصميم النظام وتدفق المهمة

• الإعداد: يتفاعل المشاركون مع نظام ذكاء اصطناعي مخصص في بيئة مختبرية محكومة. يقوم المشاركون بلمس عينتين من المنسوجات داخل صندوق أسود (لإلغاء المثيرات البصرية): العينة المستهدفة (غير معروفة للذكاء الاصطناعي) والعينة المرجعية (المعروفة للذكاء الاصطناعي).
• التفاعل: يقوم المشاركون بوصف الاختلافات اللمسية بين النسيجين شفهياً.
• آلية الذكاء الاصطناعي:
  1. التمثيل المتجهي (Embedding): يستخدم النظام نموذج OpenAI text-embedding-3-small لتحويل 20 وصفاً محتملاً للمنسوجات إلى تمثيلات متجهة محسوبة مسبقاً ($E_{textiles}$).
  2. البحث المتجهي: يتم تشفير وصف المقارنة الخاص بالمشارك إلى متجه فرق ($v_{diff}$). يقوم النظام بدمج هذا المتجه مع متجه النسيج المرجعي ($v_{ref}$) باستخدام صيغة الإزاحة الاتجاهية:
     $$\tilde{v}_{predict} = v_{ref} + \alpha \frac{v_{diff}}{\|v_{diff}\|}$$
     (حيث $\alpha=2$ هو عامل القياس).
  3. التنبؤ: يحسب النظام تشابه جيب التمام (cosine similarity) بين المتجه المتوقع وجميع تمثيلات المنسوجات العشرين، ويختار المعرف (ID) صاحب أعلى تشابه كإجابة له.
  4. التكرار: إذا كانت الإجابة غير صحيحة، يصبح النسيج الذي تم تخمينه هو المرجع الجديد، وتتكرر العملية (حتى 5 محاولات).

ب. الإعداد التجريبي

• المشاركون: 40 مشاركاً (غير متخصصين، من خلفيات متنوعة) تم استدعاؤهم لدراسة حضورية.
• المثيرات: 20 عينة نسيج متميزة تغطي أربع فئات رئيسية (طبيعي، حيواني، مُعاد تصنيعه، صناعي)، بما في ذلك مواد مثل ساتان الحرير، ودنيم القطن، والصوف، والجلد الصناعي.
• المقاييس:
  1. معدل النجاح: هل خمن الذكاء الاصطناعي النسيج الصحيح خلال 5 محاولات؟
  2. الصلاحية (Validity): (ذاتية) مدى تطابق تخمين الذكاء الاصطناعي مع الوصف اللفظي للمشارك (مقياس 1-10).
  3. التشابه (Similarity): (ذاتية) مدى قرب النسيج الذي تم تخمينه من النسيج الفعلي من الناحية الإدراكية (مقياس 1-10).
• التحليل: استخدمت الدراسة التحليل اللغوي (TF-IDF، وSentence-BERT، وتمثيلات OpenAI) للتحقق مما إذا كان اتساق الوصف يؤثر على أداء الذكاء الاصطناعي. كما استخدمت القياس متعدد الأبعاد (MDS) والتجميع الهرمي (Hierarchical Clustering) لمقارنة هندسة الفضاء الإدراكي البشري مقابل الفضاء الدلالي للذكاء الاصطناعي.

3. المساهمات الرئيسية

1. أول استكشاف لتوافق اللمس: تعد هذه أول دراسة تبحث بشكل منهجي في مستوى التوافق الإدراكي بين التجارب اللمسية البشرية وتمثيلات النماذج اللغوية الكبيرة باستخدام مهمة تفاعلية مقارنة.
2. رسم الخرائط من الحسي إلى فضاء التمثيل المتجهي: نجح المؤلفون في رسم خرائط الأوصاف اللمسية إلى مساحات التمثيل المتجهي للنماذج اللغوية الكبيرة وقياس تشابه التمثيلات، مما كشف أن النماذج تُظهر تحيزات إدراكية منهجية تعتمد على المادة.
3. تصميم مهمة تفاعلية: تقدم الورقة إطار عمل "خمن ما نوع النسيج" الذي يحاكي سيناريوهات الحياة الواقعية (مثل اختيار الملابس أو الأقمشة) ويمكن تكييفه مع مجالات حسية أخرى (الطعام، العطور).
4. دليل تجريبي على التحيز: توفر الدراسة دليلاً كمياً على أن النماذج اللغوية الكبيرة ليست "عمياء" تجاه اللمس بشكل موحد، بل هي غير متسقة للغاية، حيث تؤدي جيداً في بعض المواد (مثل الحرير) وتفشل في غيرها (مثل الدنيم).

4. النتائج الرئيسية

أ. الأداء العام

• معدل نجاح منخفض: حقق الذكاء الاصطناعي معدل نجاح بنسبة 22.5% (18/80 مهمة)، وهو ما لا يختلف إحصائياً عن التخمين العشوائي (الأساسي 23.7%).
• التقييمات الذاتية:
  • الصلاحية: متوسط الدرجة 5.27/10 (ليس مختلفاً بشكل كبير عن الحياد).
  • التشابه: متوسط الدرجة 4.77/10 (أقل بشكل ملحوظ من الحياد).
  • الارتباط: كان هناك ارتباط قوي بين الصلاحية والتشابه ($r=0.758$)، مما يشير إلى أنه عندما أخطأ الذكاء الاصطناعي في فهم الوصف، كان التخمين الناتج أيضاً بعيداً من الناحية الإدراكية.

ب. التحيز المرتبط بالمادة

• توافق عالٍ: حقق ساتان الحرير نسبة نجاح 100%. يبدو أن مساحة التمثيل المتجهي للنموذج تمتلك تمثيلات قوية ومحددة جيداً لهذه المادة، ويرجع ذلك على الأرجح إلى الارتباطات النصية الغنية في بيانات التدريب.
• توافق منخفض: حققت مواد مثل دنيم القطن، والجلد الصناعي، والفراء الصناعي نسبة نجاح 0%. فشل النموذج في التمييز بين هذه المواد رغم تقديم المشاركين لأوصاف واضحة.
• مصفوفة الارتباك (Confusion Matrix): أظهر الذكاء الاصطناعي ميلاً للتنبؤ بأنسجة "شائعة" معينة (مثل كتان سادة أو كريب حرير) بغض النظر عن الهدف الفعلي، مما يشير إلى تحيز نحو مجموعات معينة في مساحة التمثيل المتجهي.

ج. هندسة الفضاء البشري مقابل فضاء الذكاء الاصطناعي

• توافق هيكلي ضعيف: بينما استوعب الذكاء الاصطناً المعرفة الفئوية الواسعة (مثل تجميع أنواع الصوف معاً)، إلا أنه فشل في محاكاة العلاقات الإدراكية الدقيقة التي يدركها البشر.
• الجيران المحليون: 30% فقط من "الجيران الأقرب" (المنسوجات الأكثر تشابهاً) في مساحة الذكاء الاصطناعي طابقت نظيراتها في الفضاء الإدراكي البشري.
• الارتباط: كان الارتباط بين تقييمات التشابه البشرية والتشابه الدلالي للذكاء الاصطناعي متوسطاً ($r=0.441$)، وهو ما يفسر حوالي 19.5% فقط من التباين.

د. أسباب عدم التوافق

• ندرة بيانات التدريب: كشف تحليل المتون اللغوية (WikiText-103 و BookCorpus) أن المصطلحات النسيجية/اللمسية تظهر بنسبة تترا- 0.0033%–0.0018% من الوقت، بينما تظهر مصطلحات الألوان بنسبة 0.15%–0.04%. يعد نقص البيانات اللمسية في مجموعات بيانات التدريب محركاً رئيسياً لعدم التوافق.
• التجميع اللغوي مقابل الإدراكي: تقوم النماذج اللغوية الكبيرة بتجميع المنسوجات بناءً على التشابه اللغوي/الفئوي (على سبيل المثال، "القطن" و"الكتان" كلاهما ألياف طبيعية) بدلاً من التشبه الإدراكي (كيف يشعران فعلياً عند اللمس).

5. الأهمية والآثار المترتبة

• محدودية النماذج القائمة على النصوص فقط: تظهر الدراسة أن النماذج اللغوية الكبيرة الحالية لا يمكنها استيعاب "فضاء اللمس" بالكامل. فهي تعتمد على الارتباطات اللغوية بدلاً من الفهم الفيزيائي المتجسد.
• التوافق الخاص بكل نمط حسي: لا يمكن افتراض أن التوافق الإدراكي ينتقل عبر الأنماط الحسية. فالنموذج المتوافق في الرؤية قد يظل "أعمى" تجاه اللمس.
• الحاجة إلى التأسيس متعدد الوسائط (Multimodal Grounding): لتحقيق توافق قوي، يجب على أنظمة الذكاء الاصطنا المستقبلية دمج بيانات حسية متعددة الوسائط (بصرية، لمسية، سمعية) بدلاً من الاعتماد فقط على النصوص.
• القيود الأخلاقية والسلامة: لاحظ المؤلفون أن فلاتر السلامة في النماذج (مثل GPT-4) قد تحظر أحياناً الأوصاف اللمسية بسبب ارتباطها بمحتوى جنسي، مما يعيق البحث. يسلط هذا الضزام الحاجة إلى ضوابط أكثر دقة تسمح بالأبحاث الحسية المشروعة.
• الاتجاهات المستقبلية: تدعو الورقة إلى إنشاء مجموعات بيانات واسعة ومتنوعة من الأوصاف اللمسية وتطوير نماذج لغوية كبيرة متعددة الوسائط (MLLMs) يمكنها سد الفجوة بين اللغة والإحساس الفيزيائي.

في الختام، تكشف ورقة TouchAI أنه بينما تمتلك النماذج اللغوية الكبيرة بعض المعرفة الكامنة باللمس، إلا أن توافقها الإدراكي مع البشر منحاز بشكل منهجي وغير مكتمل. إن تحقيق التوافق الحقيقي بين الإنسان والذكاء الاصطناعي في العالم المادي يتطلب الانتقر من التمثيلات القائمة على النصوص إلى التعلم المتجسد متعدد الوسائط.