🤖 machine learning

Where LLM Annotators Fail: Label-Free Learning on Graphs with LLMs

تقدم هذه الورقة البحثية إطار التقدير الضجيجي الواعي بالعناقيد (CANE)، وهو إطار تعلم خالي من الملصقات يحسن تصنيف العقد في الرسوم البيانية من خلال تحديد وتصحيح الملصقات الزائفة المولدة بواسطة النماذج اللغوية الكبيرة بناءً على تباين موثوقيتها عبر عناقيد فضاء الميزات المختلفة، بدلاً من معاملة ضجيج التوسيم كضجيج منتظم أو مشروط بالفئة.

المؤلفون الأصليون: Safal Thapaliya, Jiatan Huang, Chuxu Zhang

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Safal Thapaliya, Jiatan Huang, Chuxu Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تنظيم مكتبة ضخمة حيث يمتلك كل كتاب وصفاً لغلافه، ولكن لا أحد يعرف إلى أي فئة ينتمي هذا الكتاب. يتعين عليك فرزها إلى أقسام مثل "العلوم"، أو "التاريخ"، أو "الخيال".

في الماضي، كان عليك استئجار فريق من الخبراء البشريين لقراءة كل كتاب وتصنيفه، وهذا يستغرق وقتاً طويلاً ويكلف ثروة طائلة.

مؤخراً، بدأنا في استخدام "القراء الخارقين" بالذكاء الاصطناعي (نماذج اللغات الكبيرة، أو LLMs) للقيام بمهمة التصنيف. إنهم سريعون وغير مكلفين. تظهر لهم بضعة كتب، فيخمنون الفئة، ثم تستخدم أنت آلة فرز ذكية (شبكة عصبية رسومية - Graph Neural Network) لمعرفة البقية بناءً على كيفية ارتباط الكتب ببعضها البعض.

المشكلة: الذكاء الاصطناعي غير موثوق تماماً، وعدم موثوقيته ليست متساوية في كل مكان.

تجادل الورقة البحثية بأن الطرق السابقة كانت تعامل أخطاء الذكاء الاصطناعي كمتوسط بسيط. فقد كانوا يعتقدون: "حسناً، الذكاء الاصطناعي يصيب في كتب 'العلوم' بنسبة 70% من الوقت". لذا، كانوا يثقون في تصنيفات الذكاء الاصطناعي لـ "العلوم" بنسبة 70% في كل مكان في المكتبة.

لكن المؤلفين اكتشفوا شيئاً مفاجئاً: موثوقية الذكاء الاصطناعي تعتمد على أين يقع الكتاب في "فضاء الأفكار" الخاص بالمكتبة، وليس فقط على فئته.

فكر في المكتبة كخريطة عملاقة.

في "منطقة الموثوقية العالية" من قسم العلوم، يكون الذكاء الاصطناعي عبقرياً (دقة 90%).
في "منطقة الموثوقية المنخفضة" من نفس قسم العلوم (ربما بسبب كتب ذات عناوين غريبة أو مربكة)، يكون الذكاء الاصطناعي سيئاً للغاية (دقة 20%).

إذا عاملت قسم العلوم بأكمله على أنه "موثوق بنسبة 70%"، فستنتهي بالثقة في الذكاء الاصطناعي أكثر من اللازم في المنطقة المربكة (مما يسبب أخطاءً)، ولن تثق به بما يكفي في المنطقة السهلة (مما يهدر عمله الجيد).

الحل: CANE (تقدير الضجيج المدرك للعناقيد)

بنى المؤلفون نظاماً جديداً يسمى CANE لإصلاح هذه المشكلة. وإليك كيف يعمل، باستخدام تشبيه بسيط:

1. "الفحص العشوائي" (البذور التمثيلية)

بدلاً من أن يطلب النظام من الذكاء الاصطناعي تصنيف كل شيء، يختار النظام أولاً مجموعة صغيرة ومتنوعة من الكتب من زوايا مختلفة من خريطة المكتبة، ويطلب من الذكاء الاصطناعي تصنيفها.

2. "خريطة الثقة" (تقدير الضجيج المشروط بالعنقود)

هذه هي الخطوة السحرية. ينظر النظام إلى الكتب التي صنفها الذكنا الاصطناعي ويسأل: "هل أصاب الذكاء الاصطناعي في هذا؟"
بما أننا لا نملك الإجابات الحقيقية بعد، فإننا نستخدم خدعة ذكية: نتحقق مما إذا كان جيران هذا الكتاب يتفقون معه.

إذا صنف الذكاء الاصطناعي كتاباً على أنه "علوم"، وكان جيرانه (الكتب ذات الأغلفة المشابهة) تبدو أيضاً كأنها "علوم" بالنسبة للذكاء الاصطناعي، فإن النظام يقول: "حسناً، هذا التصنيف آمن على الأرجى".
إذا صنف الذكاء الاصطناعي كتاباً على أنه "علوم"، لكن جيرانه يبدون كأنهم "تاريخ"، فإن النظام يقول: "أوه، الذكاء الاصطناعي مرتبك هنا. لا تثق في هذا التصنيف".

من خلال القيام بذلك، يبني النظام خريطة ثقة. فهو يتعلم أن: "في هذه الزاوية المحددة من قسم العلوم، الذكاء الاصطناعي مهزوز"، و"في تلك الزاوية الأخرى، الذكاء الاصطناعي متميز جداً".

3. "الفرز الذكي" (توسيع التسميات المستعارة)

الآن، يبدأ النظام في فرز بقية المكتبة.

عندما يواجه كتاباً في "منطقة المتميزين"، يقول: "الذكاء الاصطناعي قال 'علوم'، وخريطة الثقة تقول إن هذه المنطقة موثوقة. سأقبل هذا التصنيف".
عندما يواجه كتاباً في "منطقة مهزوزة"، يقول: "الذكاء الاصطناعي قال 'علوم'، لكن خريطة الثقة تقول إن هذه المنطقة مربكة. لن أقبل هذا التصنيف إلا إذا كنت متأكداً بنسبة 100%".

4. "التحقق المزدوج" (تصحيح التسميات التكراري)

أخيراً، يعود النظام لمراجعة عمله. إذا تم تصنيف كتاب ما على أنه "علوم" ولكن منطق النظام الداخلي (الشبكة العصبية الرسومية) يرى أنه يشبه "التاريخ"، فإنه يتحقق من خريطة الثقة مرة أخرى.

إذا كان الكتاب في "منطقة مهزوزة"، يكون النظام سريعاً في تغيير التصنيف.
إذا كان الكتاب في "منطقة المتميزين"، يكون النظام عنيداً ويحتفظ بتصنيف الذكاء الاصطناعي الأصلي ما لم تكن هناك أدلة قاطعة لتغييره.

النتائج

اختبر المؤلفون هذا النظام على عدة مجموعات بيانات من العالم الحقيقي (مثل الأوراق الأكاديمية وصفحات ويكيبيديا).

أين يتألق: في مجموعات البيانات الفوضوية حيث يتباين أداء الذكاء الاصطناعي بشكل هائل عبر مواضيع مختلفة، يتفوق CANE بشكل كبير على الطرق السابقة؛ فهو يعالج "النقاط العمياء" التي تفشل فيها الأنظمة الأخرى.
أين يكون محايداً: في مجموعات البيانات النظيفة جداً حيث يكون أداء الذكاء الاصطناعي جيداً باستمرار في كل مكان، لا يضر CANE الأداء، ولكنه لا يضيف فائدة إضافية كبيرة أيضاً.

باختاًختصار

كانت الطرق السابقة تعامل الذكاء الاصطناعي كموظف واحد بمستوى مهارة ثابت. أما CANE فيعامل الذكاء الاصطناعي كفريق من الموظفين الذين هم خبراء في بعض غرف المكتبة ولكنهم يرتبكون في غرف أخرى. ومن خلال رسم خريطة توضح بدقة أين يكون الذكاء الاصطناعي موثوقاً وأين لا يكون، يستطيع CANE بناء فهرس مكتبة أكثر دقة دون الحاجة إلى استئجار خبراء بشريين مكلفين لكل كتاب على حدة.

ملخص تقني: أين تخفق أدوات التعليق التوضيحي القائمة على النماذج اللغوية الكبيرة (LLMs): التعلم الخالي من الملصقات على الرسوم البيانية باستخدام النماذج اللغوية الكبيرة

بيان المشكلة

يعتمد تصنيف العقد في الرسوم البيانية ذات السمات النصية (TAGs) تقليديًا على العقد المصنفة، لكن الحصول على ملصقات (Labels) حقيقية على نطاق واسع يعد أمرًا مكلفًا. وبينما توفر النماذج اللغوية الكبيرة (LLMs) بديلًا منخفض التكلفة من خلال التعليق التوضيحي لمجموعة فرعية صغيرة من العقد بناءً على المحتوى الدلالي (مثل ملخصات الأوراق البحثية أو أوصاف المنتجات)، فإن هذه الملصقات المولدة هي بطبيعتها مشوبة بالضجيج. تحاول طرق تعلم الرسوم البيانية الحالية الخالية من الملصقات التخفيف من حدة هذا الضجيج عبر التعامل مع موثوقية النموذج اللغوي الكبير إما كـ خاصية عالمية للمُعلّق أو كنمط مشروط بالفئة (Class-conditional).

حدد المؤلفون نمط فشل حرج في هذه النهج الحالية: أخطاء التعليق التوضيحي للنماذج اللغوية الكبيرة ليست موحدة. بدلاً من ذلك، تتباين الموثوقية بشكل كبير عبر مناطق فضاء السمات (العناقيد/Clusters) حتى ضمن نفس الفئة الحقيقية. على سبيل المثال، في مجموعة بيانات DBLP، تُظهر فئة "Database" متوسط دقة للنموذج اللغسي يبلغ 64.7%، ولكن هذا يخفي تباينًا حادًا حيث تتراوح الدقة بين 81.0% في أحد العناقيد إلى 21.6% في عنقود آخر. إن التعامل مع الموثوقية كخاصية مشروطة بالفئة يؤدي إلى الإفراط في الثقة في العناقيد غير الموثوقة وعدم الاستفادة الكافية من العناقيد الموثوقة، مما يتسبب في انتشار الأخطاء عبر الرسم البياني عبر عملية تمرير الرسائل (Message Passing) وتوسيع الملصقات الزائفة.

المنهجية: تقدير الضجيج المدرك للعناقيد (CANE)

لمعالجة ذلك، يقترح المؤلفون إطار عمل CANE، وهو إطار تعلم خالٍ من الملصقات يقوم بتقدير موثوقية النموذج اللغسي الكبير المشروطة بالعنقود دون الحاجة إلى ملصقات حقيقية. يتكون خط العمل من خمس مراحل:

اختيار وتعليق البذور التمثيلية:
- يتم تضمين العقد باستخدام مشفر GraphMAE2 ذاتي الإشراف وتقسيمها إلى $K=2C$ من المناطق (حيث $C$ هو عدد الفئات).
- يتم اختيار العقد الأكثر مركزية في كل عنقود كبذور لضمان تمثيل مناطق متنوعة في فضاء السمات.
- يتم تخصيص مجموعة فرعية من هذه البذور ( $\rho = 0.4$ ) كـ مجموعة استقصاء (Probe set) ويتم التعليق عليها بواسطة النموذج اللغسي أولاً. يتم اختيار البذور المتبقية للتعليق لاحقًا. تُستخدم مجموعة الاستقصاء هذه لتقدير الموثوقية دون تكبد تكاليف استعلام إضافية.
تقدير الضجيج المشروط بالعنقود:
- يقوم CANE بتقدير مصفوفة انتقال مشروطة بالعنقود $T_c$ ، حيث $T_c[k, i, j] = P(\hat{y}=j | y=i, \text{cluster}=k)$ .
- والأهم من ذلك، يتم تقدير هذا دون وجود حقيقة أرضية (Ground Truth). تستخدم الطريقة الاتفاق عبر الوسائط المتعددة (Cross-modality agreement): بالنسبة لعقدة استقصاء $v$ ، يتم حساب نسبة جيرانها (الجيران في الرسم البياني والجيران الأقرب في فضاء السمات) الذين صنفهم النموذج اللسي بشكل متطابق مع $v$ .
- يعمل الاتفاق العالي بين الرؤى المستقلة (البنية والسمات) كوكيل لصحة الملصق. يتم تعيين المدخلات القطرية لـ $T_c$ لتكون متوسط الاتفاق لكل زوج (عنقود، فئة)، مع توزيع المدخلات غير القطرية بشكل موحد.
توسيع الملصقات الزائفة:
- يتم تدريب شبكة عصبية رسومية (GNN) على البذور التي تم التعليق عليها مبدئيًا بواسطة النموذج اللغسي.
- أثناء توسيع التدريب الذاتي، يتم تعديل عتبة القبول للملصقات الزائفة بناءً على الموثوقية المحلية. بالنسبة لعقدة في عنقود $k$ يُتوقع أنها تنتمي للفئة $g$ ، يتم رفع العتبة $\tau_g$ إذا كانت الموثوقية المقدرة $T_c[k, g, g]$ منخفضة:
  $\tau_g(k) = \tau_g + \alpha(1 - T_c[k, g, g])$
- يضمن هذا أنه في المناطق غير الموثوقة، يتم قبول التنبؤات عالية الثقة فقط، مما يمنع انتشار الضجيج.
التصحيح التكراري للملصقات:
- يقوم إطار العمل بإعادة تدريب الـ GNN بشكل تكراري وتصحيح الملصقات التي تتعارض مع تنبؤ النموذج الحالي.
- لا يتم استبدال الملصق إلا إذا كان تنبؤ الـ GNN مدعومًا بعدد كافٍ من الجيران المتفقين، حيث يتم ضبط عتبة دعم الجيران بواسطة الموثوقية المحلية $T_c$ . الملصقات في المناطق الموثوقة محمية من أن يتم استبدالها بأدلة ضعيفة، بينما الملصقات في المناطق الصاخبة يتم تصحيحها بسهولة أكبر.
التدريب النهائي:
- يتم تدريب GNN نهائي على مجموعة الملصقات المنقحة والمستقرة لإنتاج تنبؤات لجميع العقد.

المساهمات الرئيسية

تحديد الضجيج المشروط بالعنقود: يثبت البحث تجريبيًا أن ضجيج التعليق التوضيحي للنماذج اللغسية الكبيرة في الرسوم البيانية ذات السمات النصية ليس مجرد اعتماد على الفئة بل هو اعتماد على المنطقة. تتباين الموثوقية بشكل حاد عبر عناقيد فضاء السمات داخل نفس الفئة، وهي ظاهرة تفشل الطرق الحالية في التقاطها.
إطار عمل CANE: يقترح المؤلفون إطار عمل خالٍ من الملصقات يقوم بتقدير مصفوفة انتقال لكل عنقود باستخدام تضمينات الرسم البياني ذاتية الإشراف وإحصائيات التعليق التوضيحي للنماذج اللغسية (تحديدًا الاتفاق عبر الوسائط المتعددة)، مما يلغي الحاجة إلى ملصقات حقيقية خلال مرحلة تقدير الضجيج.
خط تدريب تكيفي: يدمج CANE تقديرات الموثوقية هذه في كل من توسيع الملصقات الزائفة (عبر العتبات التكيفية) والتصحيح التكراري للملصقات (عبر التحديثات المحكومة بالموثوقية)، مما يسمح للنظام بالثقة في الملصقات أكثر في المناطق الموثوقة وتصحيحها بقوة أكبر في المناطق الصاخبة.

النتائج التجريبية

قيم المؤلفون CANE على خمس مجموعات بيانات مرجعية للرسوم البيانية ذات السمات النصية (CITESEER, CORA, PUBMED, WIKICS, DBLP) باستخدام هياكل GCN وGAT، ومقارنتها مع نماذج أساس قوية مثل LLM-GNN وDMA وLOCLE.

الأداء: تفوق CANE على أقوى نموذج أساس خالٍ من الملصقات (LOCLE) في 8 من أصل 10 تركيبات (مجموعة بيانات-هيكل). وقد تجاوز باستمرار نماذج LLM-GNN وDMA في جميع الإعدادات.
الارتباط مع بنية الضجيج: كانت مكاسب الأداء أكثر أهمية في مجموعات البيانات التي تظهر ضجيجًا مشروطًا بالعنقود (مثل DBLP, WIKICS, CITESEER)، حيث تتقلب دقة النموذج اللغسي بشكل كبير بين العناقيد. أما في PUBMED، حيث كانت دقة النموذج اللغسي مرتفعة ومنتظمة بالفعل، فقد قدم CANE مكاسب طفيفة، وهو ما يتوافق مع تصميم الطريقة.
المتانة: ظل المنهج فعالًا عند استبدال النموذج اللغسي الأساسي من GPT-3.5-turbo إلى GPT-4o-mini، مما يشير إلى أن CANE يتكيف مع أنماط الخطأ الخاصة بالنموذج اللغسي بدلاً من الاعتماد على سمات محددة للنموذج.
دراسات الاستئصال (Ablation Studies): أدى إزالة نموذج الضجيج المشروط بالعنقود (تحويله إلى مصفوفة عالمية) إلى انخفاض كبير في الأداء، مما يؤكد أن نمذجة الضجيج المحلية هي المحرك الرئيسي للتحسن. كما أدى التقدير الخالي من الملصقات لـ $T_c$ إلى أداء يكاد يطابق التقدير "الأوركيلي" (Oracle) باستخدام الحقيقة الأرضية، مما يثبت فعالية المقدر القائم على الاتفاق.
الحساسية للميزانية: أظهر CANE أداءً فائقًا في الأنظمة ذات الميزانية المنخفضة (ندرة الملصقات)، حيث تدهور أداؤه بشكل أكثر سلاسة مقارنة بالنماذج الأخرى مع انخفاض ميزانية التعليق التوضيحي.

الأهمية والادعاءات

يزعم البحث أن نمذجة الضجيج المشروط بالعنقود تمثل تطورًا ضروريًا يتجاوز النهج المشروط بالفئة في التعلم الخالي من الملصقات للرسوم البيانية. من خلال الاعتراف بأن موثوقية النماذج اللغسية الكبيرة هي دالة لمناطق فضاء السمات المحلية، يوفر CANE آلية أكثر دقة لتصفية وتصحيح الإشراف المشوب بالضجيج.

يضع المؤلفون CANE كخطوة نحو تعلم رسوم بيانية أكثر متانة وفعالية من حيث التكلفة، يستفيد من القدرات الدلالية للنماذج اللغسية الكبيرة مع التخفيف من عدم اتساقها. ويشيرون إلى أنه بينما لا تقوم الطريقة بتعديل بنية الرسم البياني (على عكس بعض النماذج التي تستخدم إعادة تشكيل الرسم البياني)، فإنها تقدم نهجًا مكملاً يمكن دمجه مع الطرق الهيكلية. يسلط العمل الضوء على أن "نمط الفشل" للنماذج اللغسية الكبيرة ليس عشوائيًا بل مهيكل، واستغلال هذا الهيكل يسمح بتحسينات كبيرة في تصنيف العقد دون تدخل بشري.