ThoughtTrace: Understanding User Thoughts in Real-World LLM Interactions

تخيل أنك تشاهد مسرحية حيث يمكن للممثلين فقط نطق جملهم، لكنك كفيف تماماً عن مونولوجاتهم الداخلية، مخاوفهم الخفية، إدراكاتهم المفاجئة، أو أحكامهم الصامتة. هذه هي الطريقة التي نتفاعل بها حالياً مع الذكاء الاصطناعي. نحن نرى ما يقوله المستخدمون لبرنامج الدردشة الآلي، ولكن ليس لدينا أدنى فكرة عما يفكرون فيه حقاً.

تقدم ورقة البحث "ThoughtTrace" طريقة جديدة لإلقاء نظرة خلف الستار. الأمر يشبه منح الممثلين ميكروفوناً لأفكارهم الداخلية، وتسجيلها جنباً إلى جنب مع جملهم المنطوقة.

إليك تفصيل لنتائج الورقة باستخدام تشبيهات بسيطة:

1. الفكرة الكبرى: مجموعة بيانات "المونولوج الداخلي"

لسنوات، درس الباحثون الذكاء الاصطناعي من خلال النظر في سجلات الدردشة (ما يكتبه الناس). لكن الكتابة غالباً ما تكون نسخة "ناقصة" من التفكير. قد تكتب "اصنع لي قائمة"، لكن فكرتك هي في الواقع: "أنا مسافر قليل الخبرة وأنا مرعوب من أن أنسى جواز سفري".

ThoughtTrace هي أول مجموعة ضخمة من المحادثات الواقعية حيث لم يكتفِ المستخدمون بالدردشة فحسب؛ بل قاموا أيضاً بالضغط على زر لتدوين أفكارهم الحقيقية في الوقت الفعلي.

• الأسباب: لماذا أرسلوا الرسالة (على سبيل المثال: "أحتاج إلى تقسيم هذه المهمة الكبيرة إلى خطوات أصغر حتى لا يرتبك الذكاء الاصطناعي").
• ردود الفعل: ما الذي فكروا فيه بعد رد الذكاء الاصطناعي (على سبيل المثال: "هذا مفيد، لكنه يبدو عاماً جداً ويتجاهل حقيقة أنني سأحضر مؤتمراً").

المجموعة ضخمة: أكثر من 1,000 شخص، 2,000 محادثة، و+10,000 تعليق فكري.

2. ما اكتشفوه: "الطبقة الخفية"

حلل الباحثون هذه البيانات ووجدوا أربعة أشياء مفاجئة حول هذه "الأفكار":

• الأفكار ليست مجرد تكرار للكلمات: إذا نظرت إلى "معنى" رسالة المستخدم المكتوبة مقابل فكرته المكتوبة، ستجد أنهما مختلفان تماماً. الأمر يشبه الفرق بين عنصر في قائمة الطعام ("شريحة لحم") وبين ملاحظات الوصفة السرية للطاهي. الأفكار تحتوي على طبقة كاملة من المعلومات تفتقدها الكلمات المكتوبة.
• الذكاء الاصطناعي سيء في قراءة العقول: حتى نماذج الذكاء الاصطنا edge (النماذج الرائدة) حاولت تخمين ما يفكر فيه المستخدم بناءً على تاريخ الدردشة فقط. لقد فشلت فشلاً ذريعاً. الأمر يشبه محاولة تخمين وصفة سرية لشخص ما بمجرد تذوق الطبق النهائي؛ لم يستطع الذكاء الاصطناعي معرفة المكونات الخفية (نية المستخدم الحقيقية أو إحباطه).
• الأفكار تتغير مع استمرار المحادثة:
  • في بداية الدردشة: تدور الأفكار غالباً حول الأهداف ("أريد التخطيط لرحلة").
  • في وقت لاحق من الدردشة: تتحول الأفكار إلى التنقيح ("هذه القائمة طويلة جداً، اجعلها أقصر") أو التحقق من القيود ("انتظر، ميزانيتي هي 500 دولار").
• الأفكال متنوعة: ليست مجرد "جيدة" أو "سيئة". فهي تغطي كل شيء من "أنا قلق بشأن هذا" إلى "أعجبني الأسلوب، لكن التنسيق غير مرتب".

3. لماذا هذا مهم: قوتان خارقتان

تظهر الورقة أنه إذا منحنا الذكاء الاصطناعي إمكانية الوصول إلى هذه "الأفكار"، فإنه يصبح أفضل بكثير في شيئين محددين:

أ. التنبؤ بالمستقبل (الكرة البلورية)

• التجربة: طلب الباحثون من نماذج الذكاء الاصطناعي تخمين ما سيكتبه المستخدم بعد ذلك.
• النتيجة: عندما سُمح للذكاء الاصطناعي بـ "رؤية" أفكار المستخدم، قفزت دقة تنبؤه بنسبة 41.7%.
• التشبيه: إنه الفرق بين خبير أرصاد جوية يتوقع هطول الأمطار بناءً على الرياح الحالية فقط، وبين خبير يعرف أيضاً أن الضغط الجوي ينخفض وأن السماء بدأت تصبح رمادية. "الأفكار" أعطت الذكاء الاصطناعي السياق المفقود لمعرفة ما سيقوله المستخدم بالضبط في الخطوة التالية.

ب. التعلم ليكون أفضل (المدرب الشخصي)

• التجربة: قام الباحثون بتدريب ذكاء اصطناعي ليكون أكثر فائدة. قارنوا بين طريقتين:
  1. التوجيه عبر الرسائل: يتعلم الذكاء الاصطناعي من خلال ما قاله المستخدم عندما كان غير راضٍ (على سبيل المثال: "اجعلها أقصر").
  2. التوجيه عبر الأفكار: يتعلم الذكاء الاصطناعي من خلال ما فكر فيه المستخدم عندما كان غير راضٍ (على سبيل المثال: "هذا طويل ومزدحم للغاية، أحتاج إلى قائمة مهام").
• النتيجة: أصبح الذكاء الاصطناዊ المدرب على الأفكار أفضل بكثير في اتباع التعليمات وإرضاء المستخدمين من ذلك المدرب على الرسائل فقط.
• التشبيه: تخيل مدرباً.
  • التوجيه عبر الرسائل: الرياضي يقول: "لقد خسرت". المدرب يقول: "حاول بجهد أكبر".
  • التوجيه عبر الأفكار: الرياضي يفكر: "لقد خسرت لأن حذائي كان ضيقاً جداً". المدرب يقول: "دعنا نصلح حذاءك".
    المدرب "الموجه بالأفكار" فهم المشكلة الحقيقية، وليس فقط الشكوى السطحية.

ملخص

تثبت ورقة ThoughtTrace أن ما يفكر فيه الناس هو المكون السري الذي يفتقده الذكاء الاصطناعي الحالي. من خلال تسجيل هذه الأفكار، يمكننا بناء ذكاء اصطناعي لا يكتفي بالاستماع إلى كلماتنا، بل يفهم حقاً أهدافنا، وإحباطاتنا، واحتياجاتنا الخفية. هذا يحول الذكاء الاصطناعي من مجرد آلة كاتبة بسيطة إلى شريك حواري حقيقي "يفهمنا".