⚡ electrical engineering

LLaMA-XR: A Novel Framework for Radiology Report Generation using LLaMA and QLoRA Fine Tuning

تقدم الورقة البحثية LLaMA-XR، وهو إطار عمل مبتكر يجمع بين LLaMA 3.1، وتضمينات صور DenseNet-121، وضبط دقيق باستخدام QLoRA لإنشاء تقارير إشعاعية دقيقة ومتماسكة سريريًا بكفاءة، محققًا أداءً هو الأفضل في فئته على مجموعة بيانات IU X-ray.

المؤلفون الأصليون: Md. Zihad Bin Jahangir, Muhammad Ashad Kabir, Sumaiya Akter, Israt Jahan, Minh Chau

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Md. Zihad Bin Jahangir, Muhammad Ashad Kabir, Sumaiya Akter, Israt Jahan, Minh Chau

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طبيب أشعة، وهو طبيب ينظر إلى صور الأشعة السينية لمعرفة ما هو الخطب في رئتي المريض. كل يوم، يتعين عليك التحديق في هذه الصور باللونين الأبيض والأسود ثم كتابة تقرير مهني مفصل يصف بالضبط ما تراه. الأمر يشبه كونك محققاً يتعين عليه كتابة تقرير شرطة بعد حل جريمة، ولكن عليك القيام بذلك لمئات المرضى يومياً. هذا الأمر مرهق، ويستغرق وقتاً طويلاً، وإذا شعرت بالتعب، فقد تفوتك إشارة صغيرة جداً.

تقدم هذه الورقة البحثية "مساعد ذكاء اصطناعي" جديداً يسمى LLaMA-XR، صُمم لمساعدة الأطباء على كتابة تقاريرهم بشكل أسرع وأكثر دقة. إليك كيف يعمل، مقسماً إلى أجزاء بسيطة:

1. نظام "الدماغين"

فكر في LLaMA-XR كفريق من متخصصين اثنين يعملان معاً:

"العين" (DenseNet-121): هذا برنامج كمبيوتر مدرب على النظر في الأشعة السينية. بدلاً من مجرد رؤية صورة، فإنه يعمل كمساعد منظم للغاية يقوم بمسح الصورة وإنشاء قائمة مراجعة. هو لا يكتب جملًا؛ بل يعطي أرقاماً فقط. على سبيل المثال، يقول: "هناك احتمال بنسبة 60% لوجود سوائل في الرئتين، واحتمال بنسبة 20% لوجود كسر في العظم، و0% لاحتمال وجود رئة منهارة". إنه يحول الصورة المعقدة إلى قائمة بسيطة من 18 احتمالاً طبياً مختلفاً.
"الكاتب" (LLaMA 3.1): هذا نموذج لغوي ذكي جداً (مثل نسخة متطورة من Siri أو ChatGPT) وهو خبير في الكتابة. يأخذ القائمة من "العين" ويحول تلك الأرقام إلى تقرير طبي كامل واحترافي. هو يعرف كيف يقول: "الرئتان صافيتان"، أو "هناك ظل صغير يشير إلى التهاب رئوي"، باستخدام المصطلحات الطبية الصحيحة.

2. الخدعة السحرية: "QLoRA" (البدلة خفيفة الوزن)

عادةً، يتطلب تعليم ذكاء اصطناعي ضخم مثل LLaMA 3.1 ليكون خبيراً طبياً حاسوباً عملاقاً باهظ الثمن. الأمر يشبه محاولة تعليم فيل ضخم كيف يرقص؛ فأنت تحتاج إلى مسرح ضخم والكثير من الطاقة.

استخدم الباحثون خدعة ذكية تسمى QLoRA. تخيل أن لديك مكتبة ضخمة من الكتب (معرفة الذكاء الاصطناعي). بدلاً من إعادة كتابة كل كتاب لتعليمه عن الأشعة السينية، يمكنك فقط إضافة بعض الملاحظات اللاصقة على الصفحات المهمة.

النتيجة: يظل الذكاء الاصطناعي ضخماً وذكياً، لكنه يحتاج فقط لتعلم قدر ضئيل من المعلومات الجديدة. هذا يجعل عملية التدريب أسرع بنسبة 60% ويتطلب ذاكرة كمبيوتر أقل بكثير. إنه يشبه تعليم الفيل الرقص عبر إعطائه زوجاً من أحذية الرقص بدلاً من بناء أرضية رقص جديدة بالكامل.

3. كيف علموه (لعبة "ملء الفراغات")

لتعليم الذكاء الاصطناعي، استخدموا مجموعة بيانات من الأشعة السينية الحقيقية والتقارير التي كتبها الأطباء لها. لقد صمموا لعبة:

المدخلات: أعطوا الذكاء الاصطناعي "قائمة المراجعة" (الأرقام من "العين") مع أمر نصي يقول: "إليك النتائج، يرجى كتابة التقرير".
المخرجات: حاول الذكاء الاصطناعي كتابة التقرير.
التصحيح: قارنوا تقرير الذكاء الاصطناعي بتقرير الطبيب الحقيقي. إذا فات الذكاء الاصطناعي تفصيل ما أو استخدم الكلمة الخاطئة، فإنه يتعلم من خطئه.

لقد فعلوا ذلك آلاف المرات حتى أصبح الذكاء الاصطناعي جيداً جداً في ذلك.

4. النتائج: أفضل من المنافسين

اختبر الباحثون LLaMA-XR مقابل نماذج ذكاء اصطناعي أخرى تم استخدامها في الماضي.

الدرجة: في عالم الذكاء الاصطناعي، يستخدمون درجات مثل ROUGE-L و METEOR لمعرفة مدى تطابق كتابة الذكاء الاصطناعي مع كتابة البشر. حصل LLaMA-XR على أعلى الدرجات المسجلة لهذا المهمة تحديداً.
لماذا هذا مهم: كانت بعض نماذج الذكاء الاصطناعي القديمة جيدة في مطابقة الكلمات (مثل إيجاد نفس الكلمات في الجملة)، لكنها غالباً ما كانت تبدو آلية أو تفتقر إلى المعنى. أما LLaMA-XR فهو أفضل في فهم السياق. هو لا يكتفي بالقول "الرئة سيئة"؛ بل يكتب قصة متماسكة يمكن لطبيب حقيقي أن يثق بها.

5. لماذا يعد هذا أمراً بالغ الأهمية

السرعة: يمكنه صياغة تقرير في ثوانٍ، مما يفرغ الأطباء للتركيز على المريض.
الدقة: يقلل من احتمالية أن يفوّت الطبيب المرهق تفصيلاً صغيراً.
سهولة الوصول: بفضل خدعة "QLoRA"، يمكن لهذا الذكاء الاصطناعي القوي أن يعمل على أجهزة الكمبيوتر العادية، وليس فقط على الحواسيب الفائقة التي تكلف مليارات الدولارات. وهذا يعني أنه يمكن للمستشفيات الصغيرة أيضاً استخدامه.

الخلاصة

LLaMA-XR يشبه منح كل طبيب أشعة متدرباً لا يكل، فائق الذكاء، يمكنه النظر في الأشعة السينية، وإنشاء قائمة مراجعة، وصياغة تقرير مثالي في ثوانٍ. يقوم الطبيب بعد ذلك بمجرد المراجعة، والتوقيع، والانتقال إلى المريض التالي. إنه لا يستبدل الطبيب؛ بل يمنحه قوة خارقة للعمل بشكل أسرع ومع أخطاء أقل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LLaMA-XR: إطار عمل مبتكر لتوليد تقارير الأشعة باستخدام LLaMA والضبط الدقيق بتقنية QLoRA."

1. بيان المشكلة

يهدف التوليد الآلي لتقارير الأشعة إلى مساعدة أطباء الأشعة من خلال تحويل صور الصدر (CXR) إلى تقارير سريرية وصفية. ومع ذلك، تواجه الطرق الحالية تحديات كبيرة:

تعقيد اللغة الطبية: يتطلب توليد التقارير ليس فقط وصف الميزات المرئية، بل أيضاً ربطها بالمصطلحات الطبية الدقيقة والسياق السريري.
قصور النماذج السابقة: عانت النهج المبكرة التي استخدمت بنيات CNN-RNN من صعوبة في التعامل مع الاعتمادات طويلة المدى وهياكل الجمل المعقدة. وبينما حسنت النماذج القائمة على المحولات (Transformer) ونماذج اللغات الكبيرة (LLMs) السابقة الأداء، إلا أنها غالباً ما افتقرت إلى الحجم اللازم لالتقاط العلاقات الطبية الدقيقة أو تطلبت موارد حوسبة مفرطة للضبط الدقيق الكامل.
قيود الموارد: غالباً ما يكون نشر النماذج الضخمة (مثل 7 مليار معلمة أو أكثر) للضبط الدقيق الطبي أمراً غير مجدٍ حوسبياً بسبب ارتفاع استهلاك الذاكرة، مما يحد من استخدامها في البيئات السريرية ذات الموارد المحدودة.

2. المنهجية: إطار عمل LLaMA-XR

يقترح المؤلفون LLaMA-XR، وهو إطار عمل معياري يدمج استخراج الميزات المرئية مع نموذج لغة كبير (LLM) مكمّم لتوليد التقارير. تتكون البنية من ثلاثة مكونات:

أ. استخراج الميزات المرئية (DenseNet-121)

النموذج: يُستخدم نموذج DenseNet-121 مُدرب مسبقاً (تحديداً DenseNet121-res224-all) لاستخراج الميزات المرئية من صور الصدر (CXR).
معالجة المدخلات: يتم تغيير حجم الصور إلى 224×224 بكسل.
تمثيل المخرجات: بدلاً من استخدام تضمينات عالية الأبعاد، يُخرج النموذج متجهاً مكوناً من 36 بُعداً. يتكون هذا المتجه من درجات الثقة لـ 18 حالة طبية محددة (مثل: انخماص الرئة، الالتهاب الرئوي، تضخم القلب) مشتقة من منظورين: أمامي وجانبي (18 درجة × منظورين = 36 بُعداً).
المسوغ: يوفر هذا النهج مقدمات قابلة للتفسير سريرياً، ويقلل من أبعاد المدخلات للنموذج اللغوي الكبير (LLM)، ويتوافق مع المصطلحات الإشعاعية القياسية مع الحفاظ على الثراء الدلالي.

ب. توليد اللغة (LLaMA 3.1 8B)

النموذج الأساسي: يستخدم إطار العمل نموذج LLaMA 3.1 8B، وهو نموذج متطور يعمل بنظام فك التشفير التلقائي (autoregressive decoder-only) بـ 8 مليارات معلمة.
هندسة الأوامر (Prompt Engineering): يتم تنسيق درجات الثقة المكونة من 36 بُعداً في أمر بنمط Alpaca. يتضمن الأمر تعليمات محددة لتوليد تقرير طبي بناءً على درجات التصنيف المقدمة للمنظورين الأمامي والجانبي.
البنية: يعالج النموذج اللغوي المدخلات المرمزة عبر كتل المحولات (Self-attention و Feedforward networks) لتوليد التقرير النصي النهائي بشكل تلقائي.

ج. الضبط الدقيق الفعال (QLoRA & SFT)

لجعل الضبط الدقيق لنموذج بـ 8 مليارات معلمة ممكناً على أجهزة محدودة (مثل وحدة معالجة رسومات واحدة من نوع A100)، استخدم المؤلفون تقنية الضبط الدقيق منخفض الرتبة المكمّم (QLoRA):

التكميم بـ 4 بت: تم تكميم الأوزان المُدربة مسبقاً لنموذج LLaMA 3.1 إلى 4 بت (NF4)، مما قلل من بصمة الذاكرة بنسبة ~60%.
التكيف منخفض الرتبة (LoRA): يتم تحديث المصفوفات الصغيرة القابلة للتدريب منخفضة الرتبة ( $A$ و $B$ ) فقط، بينما تظل الأوزان الرئيسية ( $W_0$ ) ثابتة.
الضبط الدقيق الخاضع للإشراف (SFT): تم تدريب النموذج على مجموعة بيانات IU X-ray (7,470 صورة، 3,955 تقريراً) باستخدام مكتبة Unsloth التي تعمل على تحسين سرعة التدريب وكفاءة الذاكرة للنماذج المكمّمة.
المعلمات الفائقة للتدريب (Hyperparameters): 3 دورات تدريبية (epochs)، حجم الدفعة (batch size) 8 (تراكمي ليصل إلى 32)، معدل التعلم $2 \times 10^{-6}$ ، ومحسن AdamW بـ 8 بت.

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم LLaMA-XR، الذي يسد الفجوة بين البيانات المرئية والتوليد النصي عبر الجمع بين درجات حالة DenseNet-121 ونموذج LLaMA 3.1 8B.
كفاءة المعلمات: إثبات أن تقنية QLoRA تسمح بالضبط الدقيق لنماذج ضخمة بـ 8 مليارات معلمة على مجموعات بيانات طبية مع تقليل كبير في استهلاك الذاكرة ووقت التدريب، مما يجعل الذكاء الاصي الاصطناعي عالي الأداء متاحاً على الأجهزة القياسية.
أداء متفوق: يحقق إطار العمل معايير جديدة في مجموعة بيانات IU X-ray، متفوقاً على العديد من الطرق الحالية (SOTA) في التماسك الدلالي والصلة السريرية.
الأهمية السريرية: يضمن استخدام درجات الحالات الطبية المحددة كمدخلات أن تكون التقارير المولدة مستندة إلى النتائج السريرية، مما يقلل من ظاهرة "الهلوسة" مقارنة بالنماذج التي تعتمد فقط على التضمينات المرئية الخام.

4. النتائج

تم تقييم النموذج على مجموعة بيانات IU X-ray باستخدام مقاييس معالجة اللغات الطبيعية (NLP) القياسية ومقارنته مع أكثر من 30 طريقة من أفضل ما توصل إليه العلم (بما في ذلك R2Gen, PGT, UAR, و CvT-DistilGPT2).

المقاييس الكمية:
- ROUGE-L: بلغ 0.433 (الأعلى تسجيلاً؛ تحسن بنسبة +4.34% عن أفضل نموذج سابق وهو SGF).
- METEOR: بلغ 0.336 (الأعلى تسجيلاً؛ تحسن بنسبة +54.13% عن نموذج UAR).
- BLEU-4: بلغ 0.180 (أقل قليلاً من بعض النماذج الحديثة، لكن المؤلفين يجادلون بأن BLEU أقل ملاءمة للنصوص السريرية بسبب تركيزه على تداخل الـ n-gram بدلاً من المعنى الدلالي).
التحليل النوعي:
- الأمانة (Faithfulness): أظهر LLaMA-XR دقة أعلى في مطابقة المحتوى المصدر، حيث حدد بشكل صحيح غياب الاعتلالات (مثل "لا يوجد التهاب رئوي"، "لا يوجد ارتشاح") في الحالات التي فشلت فيها النماذ الأخرى أو قامت بالهلوسة.
- التماسك (Coherence): أظهرت التقارير المولدة سيولة لغوية وصياغة مهيكلة أفضل مقارنة بنماذج مثل CvT-DistilGPT2، التي غالباً ما تنتج نصوصاً مكررة أو عامة.
- تقليل الهلوسة: قلل إطار العمل بشكل كبير من توليد النتائج الخارجية أو غير الدقيقة مقارنة بالنماذج المرجعية.

5. الأهمية والخاتمة

يمثل إطار عمل LLaMA-XR خطوة هامة للأمام في مجال الذكاء الاصطناي الطبي عبر إثبات أن نماذج اللغات الكبيرة يمكن تكييفها بفعالية وكفاءة للمهام السريرية المتخصصة.

المنفعة السريرية: من خلال إعطاء الأولوية للدقة الدلالية (ROUGE-L/METEOR) على مطابقة الكلمات السطحية (BLEU)، يولد النموذج تقارير أكثر قابلية للتطبيق والاعتماد من الناحية السريرية.
القابلية للتوسع: يثبت دمج QLoRA والتكميم بـ 4 بت أن نماذج LLaMA 3.1 8B القوية يمكن نشرها في بيئات محدودة الموارد، مما يساهم في دمقرطة الوصول إلى أدوات التشخيص المتقدمة.
التأثير المستقبلي: تسلط الدراسة الضوء على إمكانية الجمع بين نماذج الرؤية واللغة لمساعدة أطباء الأشعة، لا سيما في البيئات ذات التوفر المحدود للمتخصصين. كما تقترح مساراً نحو أشعة مدعومة بالذكاء الاصطناعي أكثر دقة وكفاءة وقابلية للتفسير، رغم أن العمل المستقبلي يجب أن يركز على التحقق باستخدام مجموعات بيانات أكبر ومتنوعة (مثل MIMIC-CXR) والنشر في العالم الحقيقي.