Simulating Meaning, Nevermore! Introducing ICR: A Semiotic-Hermeneutic Metric for Evaluating Meaning in LLM Text Summaries

ملخص تقني لورقة بحثية بعنوان: "محاكاة المعنى، ليس بعد الآن! تقديم مقياس ICR: مقياس سيميائي-هيرمينوطيقي لتقييم المعنى في ملخصات النصوص الناتجة عن النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

تعالج الورقة فجوة حرجة في تقييم النماذج اللغوية الكبيرة (LLMs) والذكاء الاصطناي التوليدي (GenAI). تعتمد المقاييس الآلية الحالية (مثل ROUGE وBLEU وBERTScore) على التداخل اللفظي، أو التقارب الإحصائي، أو التشابه المتجهي. تتعامل هذه الأساليب مع اللغة كنظام ثابت من العلامات حيث تمتلك الكلمات (الدوال/Signifiers) معاني ثابتة (المدلولات/Signifieds).

ومع ذلك، فإن اللغة البشرية هي لغة علاقية، وتعتمد على السياق، وناشئة. يتغير المعنى بناءً على السياقات الثقافية والتاريخية والموقفية (تعدد المعاني/Polysemy). ويجادل المؤلفون بأن المقاييس الآلية تفشل في التقاط هذه الفروق الدقيقة، مما يؤدي غالباً إلى تسجيل درجات عالية للمخرجات التي تتشابه لفظياً ولكنها مشوهة دلالياً، أو مهلوسة، أو تفتقر إلى "الصدق" فيما يتعلق بالمعنى الأعمق للنص المرجعي. هناك حاجة لإطار تقييم ينتقل من مجرد التشابه السطحي إلى تقييم الأمانة الدلالية والتوافق التأويلي.

2. المنهجية

تقترح الورقة منهجية هجينة تجمع بين البحث النوعي (السيميائية والهيرمينوطيقا/علم التأويل) مع التسجيل الكمي لإنشاء مقياس جديد هو: التقييم المفاهيمي الاستقرائي (ICR).

أ. الإطار النظري

• السيميائية (Semiotics): استناداً إلى سوسير، التي تميز بين الدال (الكلمة) والمدلول (المفهوم). تجادل الورقة بأن النماذج اللغوية الكبيرة غالباً ما تتلاعب بالدوال دون إدراك الطبيعة المرنة والمعتمدة على السياق للمدلولات.
• الهيرمينوطيقا (Hermeneutics): تؤكد على أن المعنى يُبنى من خلال التأويل، والانعكاسية، والسياق، وليس مجرد مخرج ثابت لدالة رياضية.
• التحول الإبستمولوجي: يباين المؤلفون بين التقييم الاستنباطي (القائم على المتغيرات، ومن الأعلى إلى الأسفل) المستخدم في المقاييس الحالية، والتقييم الاستقرائي (القائم على الحالات، ومن الأسفل إلى الأعلى) المطلوب لعملية صنع المعنى البشري.

ب. بناء مقياس ICR
مقياس ICR هو عملية نوعية مكونة من خطوتين مصممة لقياس الدقة الدلالية:

1. الخطوة 1: التحليل الموضوعي التأملي (RTA) - الخط المرجعي البشري:
   • يقوم الباحثون بإجراء تحليل RTA على "مجموعة البيانات الذهبية" (النص المرجعي) لتحديد هيكل موضوعي مفسر بشرياً.
   • يتضمن ذلك التعرف على البيانات، والترميز، وتوليد الموضوعات لالتقاط السياق، والفروق الدقيقة، والمعنى العلاقي.
   • يضمن تعدد المقيمين الموثوقية (باستخدام معامل كوهين كابا، إلخ).
2. الخطوة ట: تحليل المحتوى الاستقرائي (ICA) - مخرجات النموذج:
   • يقوم الباحثون بإجراء ICA على الملخصات التي أنتجها النموذج اللغوي الكبير.
   • على عكس RTA، يعد ICA استكشافياً، مما يسمح لمخرجات النموذج بالكشف عن فئاتها الناشئة وهياكلها المفاهيمية الخاصة دون فرض الموضوعات البشرية مسبقاً.
3. الخطوة 3: التحليل المقارن:
   • يتم مقارنة فئات ICA المستخرجة من النموذج اللغوي مع موضوعات RTA من الخط المرجعي البشري.
   • يحدد الباحثون التوافق (التقارب)، التشويه (سوء التفسير)، الإغفال (المفاهيم المفقودة)، والتلفيق (الهلوسات).
4. الخطوة 4: التكميم:
   • يتم حساب درجة ICR (من 0.0 إلى 1.0) بناءً على تكرار:
     • الإيجابيات الحقيقية (TP): المفاهيم التي تم التقاطها بشكل صحيح.
     • السلبيات الحقيقية (FN): المفاهيم التي أغفلها النموذج.
     • الإيجابيات الكاذبة (FP): المفاهيم التي أضيفت بشكل خاطئ أو تم تشويهها.
     • السلبيات الحقيقية (TN): الاستبعادات الصحيحة.

ج. دراسة حالة تجريبية

• مجموعات البيانات: خمس مجموعات بيانات من ردود الاستطلاع غير المهيكلة المتعلقة بـ "تصورات العمل"، تتراوح أحجامها بين $N=50$ إلى $N=800$.
• النماذج: تم اختبار Sonnet 3.5 (التركيز على اتباع التعليمات) وNova Pro (أقل أداءً في الاختبارات القياسية).
• المهمة: توليد ثلاثة ملخصات موضوعية لكل مجموعة بيانات بتنسيق JSON قياسي.
• المقارنة: تم التقييم باستخدام كل من المقاييس التقليدية (تشابه جيب التمام، BERTScore، F1) ومقياس ICR الجديد.

3. المساهمات الرئيسية

1. التقدم النظري: تعيد الورقة صياغة تقييم الذكاء الاصطناعي التوليدي من خلال دمج السيميائية والهيرمينوطيقا، مجادلة بأن المعنى عملية علاقية ديناميكية وليس متجهاً ثابتاً. وهي تتحدى الافتراض بأن الطلاقة الإحصائية تعني الفهم الدلالي.
2. الابتكار المنهجي (ICR): تقدم التقييم المفاهيمي الاستقرائي (ICR)، وهو مقياس مهيكل وقابل للتكرار يكمّم الأمانة الدلالية عبر مقارنة مخرجات النماذج اللغوية الكبيرة مقابل خط مرجعي موضوعي مفسر بشرياً. إنه يجسد الجسر بين العمق النوعي والصرامة الكمية.
3. الدليل التجريبي: تقدم بيانات تظهر أنه بينما تتفوق النماذج اللغوية الكبيرة في المطابقة اللفظية، فإنها تخفق باستمرار في التقاط المعاني المتكررة والمتجذرة سياقياً مقارنة بالمحللين البشر.
4. الرؤية الإبستمولوجية: تثبت أن التباين في نتائج النماذج ليس مجرد "ضجيج"، بل يكشف عن حدود التقريب الإحصائي في التعامل مع تعدد المعاني والخصوصية الثقافية.

4. النتائج

أسفرت الدراسة عن عدة نتائج حاسمة عبر المجموعات الخمس:

• التباعد اللفظي مقابل الدلالي: حققت النماذج اللغوية الكبيرة درجات عالية في المقاييس التقليدية (على سبيل المثال، تشابه جيب التمام $\approx$ 0.89، F1 $\approx$ 0.91)، مما يشير إلى توافق قوي على المستوى السطحي. ومع ذلك، كانت درجات ICR الخاصة بها أقل بكثير (تتراوح بين 0.35 و0.76)، مما يشير إلى الفشل في التقاط المعنى الدلالي العميق.
• التفوق البشري: حققت الخطوط المرجعية لـ RTA المولدة بشرياً درجات ICR عالية باستمرار (0.86 إلى 1.00)، مما أظهر تماسكاً تأويلياً قوياً بغض النظر عن حجم مجموعة البيانات.
• تأثير حجم مجموعة البيانات:
  • في مجموعات البيانات الصغيرة ($N=50$)، كان أداء النماذج اللغوية الكبيرة ضعيفاً دلالياً (ICR $\approx$ 0.69)، حيث غالباً ما تغفل المعاني الجوهرية.
  • مع زيادة حجم مجموعة البيانات إلى ($N=800$)، تحسنت درجات ICR للنماذج اللغوية الكبيرة (لتصل إلى 0.76)، مما يشير إلى أن أحجام البيانات الأكبر تساعد النماذج على تقريب المفاهيم المتكررة بشكل أفضل.
  • بشكل حاسم: حتى مع أكبر مجموعة بيانات، لم تصل النماذج اللغوية الكبيرة إلى مستويات البشر في الدقة الدلالية (ICR البشري $\approx$ 0.93)، مما يثبت أن حجم البيانات وحده لا يضمن الصدق التأويلي.
• تباين النماذج: أظهرت النماذج المختلفة (Sonnet 3.5 مقابل Nova Pro) أداءً غير متسق، مما يشير إلى أن النضج المعماري لا يرتبط خطياً بالفهم الدلالي.

5. الأهمية والآثار المترتبة

• ما وراء "المحاكاة": تخلص الورقة إلى أن الذكاء الاصطناعي التوليدي يحاكي المعنى بدلاً من توليده. فهو يعمل كنظام احتمالي من الدوال دون السياق الانعكاسي أو المتجسد أو الثقافي المطلوب للفهم الحقيقي.
• إصلاح التقييم: يجادل المؤلفون بأن الاعتماد فقط على المقاييس الآلية أمر خطير في التطبيقات عالية المخاطر (مثل الطب، القانون، السياسة). يوفر مقياس ICR أداة ضرورية لتقييم الصدق والدقة السياقية.
• ضرورة وجود الإنسان في الحلقة (Human-in-the-Loop): تعزز النتائج أن الحكم البشري لا يمكن استبداله في المهام التأويلية. يجب على الباحثين استخدام أطر عمل مثل ICR للتحقق من مخرجات الذكاء الاصطناعي، لضمان أنها تعزز المعنى البشري ولا تطمسه.
• الاتجاهات المستقبلية: تدعو الورقة إلى "إبستمولوجيا استقرائية" في أبحاث الذكاء الاصطناعي، حيث يعطي التقييم الأولوية لعملية بناء المعنى والطبيعة العلاقية للعلامات، بدلاً من مجرد المطابقة النمطية الإحصائية.