Benchmark for Assessing Olfactory Perception of Large Language Models
تقدم هذه الورقة البحثية معيار الإدراك الشمي (OP)، وهو مجموعة بيانات تتكون من 1,010 سؤالاً صُممت لتقييم قدرة النماذج اللغوية الكبيرة على التفكير في الرائحة، مما يكشف أن النماذج الحالية تعتمد أساساً على الارتباطات اللفظية بدلاً من الاستنتاج الجزيئي البنيوي، وتحقق دقة قصوى تبلغ 64.4% مع إظهار تحسن في الأداء من خلال التجميع متعدد اللغات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتاً فائق الذكاء، قد قرأ كل كتاب، وموقع إلكتروني، ومقال كُتب على الإطلاق. يمكنه كتابة الشعر، وحل المسائل الرياضية المعقدة، وحتى كتابة أكواد برمجية. لكن هناك شيئاً واحداً لم "يختبره" حقاً أبداً: الرائحة.
لا يمكنك وضع رائحة داخل كتاب. لا يمكنك وصف رائحة حبة فراولة طازجة أو رائحة كلب مبلل بدقة مثالية باستخدام الكلمات فقط. تقدم هذه الورقة اختباراً جديداً، يسمى معيار الإدراك الشمي (OP Benchmark)، لمعرفة ما إذا كانت هذه الروبوتات فائقة الذكاء (نماذج اللغات الكبيرة، أو LLMs) يمكنها حقاً "تخمين" كيف تبدو روائح الأشياء، أم أنها مجرد تخمين بناءً على الكلمات التي رأتها من قبل.
إليك تفصيل لما فعلوه وما وجدوه، باستخدام بعض التشبيهات البسيطة.
1. الاختبار: "اختبار شم" للروبوتات
قام الباحثون بإنشاء اختبار ضخم يتكون من 1,010 سؤالاً. فكر في الأمر كأنه امتحان نهائي لمدرسة تعليم الشم. تغطي الأسئلة مستويات مختلفة من الصعوبة:
- الأشياء السهلة: "هل هذه الجزيئة لها رائحة، أم أنها عديمة الرائحة؟" (مثل السؤال: "هل هذا الحجر مبلل؟")
- الأشياء المتوسطة: "هل هذه الرائحة تشبه الورد أم الليمون؟" أو "هل هذه الرائحة قوية أم ضعيفة؟"
- الأشياء الصعبة: "إليك مزيج من 10 مواد كيميائية. هل رائحتها مثل الفراولة أم السمك؟" أو "أي المستشعرات البيولوجية المحددة في الأنف البشري ستنشطها هذه الجزيئة؟"
2. اللمسة المبتكرة: "الاسم" مقابل "المخطط الهيكلي"
هذا هو الجزء الأكثر ذكاءً في الدراسة. سأل الباحثون الروبوتات نفس الأسئلة بطريتين مختلفتين:
- الطريقة (أ) (الاسم): أعطوا الروبوت الاسم الشائع، مثل "فانيليا".
- الطريقة (ب) (المخطط الهيكلي): أعطوا الروبوت الصيغة الكيميائية (سلسلة من الحروف والأرقام تسمى SMILES)، والتي تشبه الحمض النووي للجزيء أو مخططها المعماري.
التشبيه: تخيل أنك تحاول تخمين طعم كعكة ما.
- الطريقة (أ) هي إخبارك: "هذه كعكة شوكولاتة".
- الطريقة (ب) هي تسليمك قائمة بالمكونات والهياكل الكيميائية دون ذكر نوع الكعكة.
3. النتائج: الغش مقابل الفهم
كانت النتائج مفاجئة وحكت قصة واضحة:
- الروبوتات "غشاشة بالكلمات": عندما أُعطيت الروبوتات الأسماء (مثل "فانيليا")، كان أداؤها جيداً جداً. لقد عرفوا أن كلمة "فانيليا" ترتبط عادة برائحة حلوة.
- الروبوتات "عمياء عن المخططات الهيكلية": عندما أُعطيت الروبوتات المخططات الهيكلية الكيميائية (سلاسل SMILES)، انخفض أداؤها بشكل كبير.
ما يعنيه هذا: الروبوتات لا "تفهم" حقاً كيفية عمل الجزيئات. إنها لا تنظر إلى شكل الجزيء وتفكر: "آه، هذا الشكل يناسب مستشعراً في الأنف يشم رائحة النعناع". بدلاً من ذلك، هي فقط تحفظ أن كلمة "نعناع" غالباً ما ترتبط بروائح معينة. إنها تعتمد على الارتباطات اللفظية (الروابط بين الكلمات) بدلاً من الاستدلال الهيكلي (فهم الشيء المادي).
الأمر يشبه طالباً حفظ نموذج الإجابة للامتحان لكنه لا يفهم الرياضيات فعلياً. إذا غيرت الأرقام مع إبقاء السؤال كما هو، فسوف يفشل.
4. مشكلة "وعاء الخلط"
الجزء الأصعب من الاختبار كان تشابه المزيج.
- المهمة: "إليك وعاء يحتوي على المواد الكيميائية أ، ب، ج. وإليك وعاء آخر يحتوي على المواد س، ص، ع. هل لهما نفس الرائحة؟"
- الواقع: في العالم الحقيقي، يمكن لوعائين مختلفين تماماً من المواد الكيميائية أن يكون لهما نفس الرائحة تماماً (مثل وصفات مختلفة لنفس الحساء).
- فشل الروبوت: فشلت الروبوتات فشلاً ذريعاً هنا. حاولت عدّ المكونات. إذا لم تكن الأوعية تحتوي على نفس المكونات بالضبط، قالت الروبوتات: "هذه الروائح مختلفة تماماً!". لم تستطع استيعاب مفهوم أن الكل يمكن أن يختلف عن مجموع أجزائه.
5. الحاجز اللغوي
اختبر الباحثون أيضاً الروبوتات بـ 21 لغة مختلفة.
- النتيجة: الرائحة أمر معقد في بعض اللغات. بعض اللغات لديها كلمات محددة جداً للروائح، بينما لغات أخرى (مثل الإنجليزية) تكون غامضة بعض الشيء.
- الخبر الجيد: عندما جمعوا الإجابات من جميع اللغات الـ 21، أصبح الروبوتات أكثر ذكاءً! الأمر يشبه امتلاك فريق من الخبراء حيث يتحدث أحدهم الفرنسية، والآخر اليابانية، والثالث الألمانية. من خلال دمج معرفتهم، استطاعوا تخمين الرائحة بشكل أفضل من أي لغة منفردة.
6. خلل السلامة
هناك ملاحظة جانبية مضحكة (ولكنها جادة): بعض الروبوتات الأكثر ذكاءً رفضت الإجابة على أسئلة تتعلق بالمواد الكيميائية الخطرة (مثل عوامل الأعصاب) لأن فلاتر السلامة الخاصة بها قد تدخلت. لم تكن لتقول: "نعم، هذه رائحتها سيئة"، لأنها مبرمجة لتكون مفيدة وغير ضارة. هذا يوضح أنه حتى في الاختبار العلمي، يمكن لـ "ضمير" الروبوت أن يقف في طريق الإجابة.
الخلاصة الكبرى
حالياً، نماذج الذكاء الاصطنا هذه بارعة في تذكر الكلمات ولكنها سيئة جداً في فهم العالم المادي للرائحة.
- هي تعرف أن "القهوة" تفوح منها رائحة القهوة لأنها قرأت كلمة "قهوة" ملايين المرات.
- لكنها لا تعرف لماذا يمتلك هيكل كيميائي معين رائحة القهوة.
المستقبل:
يقول المؤلفون إن هذه مجرد البداية. لجعل الذكاء الاصطناعي "يشم" حقاً، نحتاج إلى تعليمه النظر إلى المخططات الجزيئية، وليس فقط الأسماء. نحن بحاجة إلى نقلهم من كونهم حفظة للكلمات إلى فاهمين للجزيئات. وحتى ذلك الحين، إذا سألت ذكاءً اصطناعياً عن رائحة مادة كيميائية جديدة وغريبة، فهو مجرد يخمن بناءً على الكلمات التي رآها، وليس بناءً على العلم الذي يفهمه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.