PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction

تخيل أنك تقف أمام روبوت سحري، كلي المعرفة، يحب سرد القصص. تعطيه جملة بداية سرية، فيقوم فوراً بنفث حكاية طويلة ومثيرة للاهتمام. هكذا تعمل "نماذج اللغات الكبيرة" (LLMs) الحديثة: إنها تشبه محركات الإكمال التلقائي فائقة الذكاء التي تتوقع الكلمة التالية في الجملة، واحدة تلو الأخرى، لبناء استجابة. لكن الجزء الصعب هنا هو: إذا رأيت فقط نهاية القصة (الاستجابة)، فهل يمكنك معرفة ما كانت هي البداية (المطالبة/البرومبت) بالضبط؟ الأمر يشبه محاولة تخمين النقلة الأولى في لعبة الشطرنج بمجرد النظر إلى حالة كش ملك النهائية. عادةً، يكون هذا مستحيلاً تقريباً لأن العديد من الجمل البداية المختلفة يمكن أن تؤدي إلى نفس النهاية. لقد حاول العلماء حل لغز "الانعكاس" هذا لفهم كيف تعمل هذه العقول الاصطناعية، للإمساك بها إذا كشفت عن أسرار، أو لمعرفة ما إذا كان بإمكاننا خداعها. معظم المحاولات السابقة تطلبت التلصص داخل عقل الروبوت (الوصول إلى كوده الداخلي) أو استخدام كميات هائلة من البيانات الخارجية لتخمين نقطة البداية.

الآن، تعرف على الباحثين الذين قرروا تجربة خدعة مختلفة. بدلاً من محاولة قراءة عقل الروبوت أو التخمين بناءً على معرفة خارجية، قاموا ببناء "روبوت عكسي". لقد علموا هذا الروبوت الجديد كيف يفكر بشكل عكسي. بينما يتعلم الروبوت الأصلي من خلال السؤال: "ماذا يأتي بعد ذلك؟"، يتعلم الروبوت الجديد من خلال السؤال: "ما الذي جاء قبل ذلك؟". لم يحتاجوا لرؤية الكود السري للروبوت الأصلي أو استخدام مكتبة ضخمة من الكتب الخارجية. بدلاً من ذلك، لعبوا لعبة مع الروبوت الأصلي: قاموا بتغذيته بكلمات بداية عشوائية وسجلوا القصص التي يرويها. ثم قاموا بتغذية تلك القصص في "الروبوت العكسي" الجديد بترتيب عكسي، لتعليمه التنبؤ بالكلمات التي يجب أن تكون قد سبقت. الأمر يشبه مشاهدة فيلم يُعرض بشكل عكسي وتعلم التنبؤ بالمشهد الذي حدث للتو. والنتيجة؟ هذه الطريقة الجديدة، المسمى "التنبؤ بالرمز السابق" (PTP)، يمكنها إعادة بناء جملة البداية الأصلية بدقة مذهلة، حتى عندما يكون الروبوت "صندوقاً أسود" (بمعنى أننا لا نستطيع رؤية ما بداخله). وهذا يشير إلى أنه من خلال مجرد قلب اتجاه كيفية تعليم الذكاء الاصطناعي، يمكننا فتح طريقة قوية لإعادة عقله إلى الوراء.

سحر إعادة الزمن إلى الوراء

فكر في نموذج اللغة الكبيرة (LLM) كصديق كثير الكلام بارع في إكمال جملك. إذا قلت له: "كان يا ما كان"، فقد يقول: "هناك تنين". إذا قلت له: "السماء هي"، فقد يقول: "زرقاء". هذا الصديق يعمل من خلال النظر إلى ما قلته للتو وتخمين الكلمة التالية. هذا ما يسمى "التنبؤ بالرمز التالي" (Next-Token Prediction). هكذا يكتبون القصص، ويجيبون على الأسئلة، ويتحدثون معنا.

ولكن ماذا لو كان لديك فقط إجابة الصديق وتريد معرفة ما سألته بالضبط؟ ربما سمعت قصة رائعة وتريد معرفة السؤال الدقيق الذي بدأها، أو ربما تريد معرفة ما إذا كان الصديق يخفي تعليمات سرية. هذه هي مشكلة "الانعكاس". إنها صعبة لأن العديد من الأسئلة المختلفة يمكن أن تؤدي إلى نفس الإجابة. إذا قال صديقك: "أنا أحب البيتزا"، فقد تكون سألته: "ما هو طعامك المفضل؟" أو "ماذا تحب أن تأكل في أيام الجمعة؟" أو حتى "حدثني عن نظامك الغذائي".

الطريقة القديمة مقابل الخدعة الجديدة

قبل هذه الورقة البحثية، حاول العلماء حل ذلك إما عن طريق:

1. التلصص داخل الدماغ: النظر إلى الرياضيات الداخلية للروبوت (اللوجيتس/logits) لإعادة هندسة السؤال. هذا يشبه محاولة حل لغز وأنت ترتدي نظارات الأشعة السينية.
2. استخدام دليل مرجعي ضخم: تدريب ذكاء اصطناعي منفصل على ملايين من أزواج الأسئلة والأجوبة من الإنترنت لتخمين السؤال. هذا يشبه استئجار محقق قرأ كل كتاب في المكتبة.

المشكلة في هذه الطرق القديمة هي أنها غالباً ما تحتاج إلى وصول خاص (وهو ما لا تحصل عليه مع نموذج "الصندوق الأسود") أو كميات هائلة من البيانات الخارجية. كما أنها تميل إلى تخمين سؤال يعني نفس الشيء ولكنه ليس نفس الكلمات تماماً.

حل "الروبوت العكسي"

جاء مبتكروا هذه الورقة، بالتعاون مع نماذج من معهد IIT Bombay وAdobe Research، بحل ذكي ومكتفٍ ذاتياً. لم يحتاجوا إلى نظارات أشعة سينية أو مكتبة. كانوا يحتاجون فقط إلى الروبوت نفسه.

إليك كيف بنوا "روبوتهم العكسي":

1. الإعداد: أخذوا الروبوت المستهدف (الذي أرادوا عكسه) ولعبوا معه لعبة. قاموا بتغذيته بكل كلمة في مفرداته كنقطة بداية وتركوه يولد قصة قصيرة.
2. الالتواء: أخذوا تلك القصص وعكسوها. إذا كتب الروبوت "القط جلس"، فحولوه إلى "جلس قط الـ".
3. التدريب: قاموا بتدريب روبوت جديد وصغير (نموذج عكسي) من الصفر باستخدام هذه القصص المعكوسة. تعلم هذا الروبوت الجديد مهارة جديدة: التنبؤ بالرمز السابق. بدلاً من تخمين ما يأتي بعد، تعلم تخمين ما جاء قبل.
   • تشبيه: تخيل تعلم قيادة السيارة من خلال مشاهدة فيديوهات للسيارة وهي تسير للخلف فقط. في النهاية، ستصبح بارعاً جداً في القيادة للخلف لدرجة أنك إذا رأيت سيارة متوقفة، يمكنك التنبؤ بدقة بالمسار الذي سلكته للوصول إلى هناك.
4. الضبط الدقيق: لضمان أن يتحدث الروبوت مثل البشر، أعطوه بعض الأمثلة الحقيقية للأسئلة والأجوبة (من مجموعة بيانات تسمى ShareGPT) وعلموه عكس تلك أيضاً.

النتائج: إعادة شريط الزمن

عندما اختبروا هذه الطريقة الجديدة، كانت النتائج مثيرة للإعجاب حقاً. استخدموا نموذجاً يسمى Qwen3-0.6B ووجدوا أن "روبوتهم العكسي" يمكنه إعادة بناء المطالبة الأصلية (السؤال) بدقة عالية.

• المطابقة التامة: في حوالي 64.77% من الحالات، كانت المطالبة المعاد بناؤها هي نفسها تماماً مثل الأصلية. وهذا أمر كبير لأن الطرق السابقة كانت غالباً ما تصيب المعنى فقط، وليس الكلمات بدقة.
• مقياس Token F1: سجلوا 63.64، وهو مقياس لمدى تطابق الكلمات الفردية تماماً.
• التشابه الدلالي: حتى عندما لم تكن الكلمات متطابقة، كان المعنى قريباً جداً (تشابه جيب التمام/Cosine Similarity بنسبة 86.13).

كما أظهرت الورقة أن هذا "الروبوت العكسي" مرن للغاية. حتى لو قاموا بتدريبه على نوع واحد من الروبات (Qwen) وسألوه لتخمين المطالبات لروبوت آخر (مثل LLaMA أو GPT-4o)، فإنه لا يزال يعمل بشكل جيد معقول. لم يكن مثالياً في الكلمات الدقيقة (لأن الروبات المختلفة تستخدم قواميس مختلفة)، لكنه أصاب المعنى. هذا يشير إلى أن الروبوت تعلم "منطقاً" عاماً لكيفية الهندسة العكسية للأفكار، وليس مجرد خدعة خاصة بنموذج معين.

لماذا يهم هذا؟

تجادل الورقة بأن هذا النهج أفضل من الطرق القديمة لعدة أسباب:

• إنه حل "الصندوق الأسود": لا تحتاج لرؤية الكود الداخلي للروبوت أو أوزانه. أنت تحتاج فقط للتحدث إليه.
• إنه مكتفٍ ذاتياً: لا يحتاج إلى قاعدة بيانات خارجية ضخمة من الأسئلة والأجوبة. إنه يولد بيانات التدريب الخاصة به من خلال اللعب مع الروبوت المستهدف.
• إنه أمين: لأنه يتعلم العكس الدقيق للعملية الأمامية، يمكنه إعادة بناء الكلمات الدقيقة، وليس مجرد الفكرة العامة.

ومع ذلك، يوضح المؤلفون بحذر أن هذا ليس عصا سحرية تحل كل شيء. إذا كان الروبوت الذي تحاول عكسه يستخدم مجموعة مختلفة تماماً من الرموز (المفردات) أو بنية دماغية مختلفة جداً، فإن إعادة بناء الكلمات بدقة تصبح أصعب. أيضاً، عملية توليد بيانات التدريب تتطلب طرح الكثير من الأسئلة على الروبوت، مما قد يكون بطيئاً.

الصورة الكبيرة

ببساطة، توضح هذه الورقة أنه إذا كنت تريد معرفة ما كان الروبوت يفكر فيه قبل أن يتحدث، فأنت لست بحاجة لكسره أو استئجار محقق. أنت تحتاج فقط لتعليم روبوت جديد كيف يفكر بشكل عكسي. من خلال قلب السيناريو وتدريب نموذج للتنبؤ بـ "ما الذي جاء قبل" بدلاً من "ما الذي يأتي بعد"، ابتكر المؤلفون أداة يمكنها إعادة شريط محادثات الذكاء الاصطناعي بدقة مدهشة. إنه تذكير مرح وقوي بأنه أحياناً، لفهم المستقبل، تحتاج فقط للنظر إلى الماضي بشكل عكسي.