AiFlow: Token-Native Reactive Orchestration with Bounded Backpressure for Streaming LLM Applications
تقدم هذه الورقة AiFlow، وهو إطار عمل للتنسيق التفاعلي القائم على الرموز (token-native)، يعمل على توحيد الفروقات بين مزودي النماذج اللغوية الكبيرة (LLM) في شكل أحداث محددة النوع ضمن رسم بياني تدفقي موجه، مستخدماً "حراس العقد" (Node Guardians) لفرض ضغط عكسي محدود وتزامن محلي، مما يقلل بشكل كبير من زمن الوصول لأول رمز جزئي (time-to-first-partial-token) وعمق الطابور مقارنة بالنهج القائمة على التجميع الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مطبخاً تقنياً عالي التطور ومزدحماً، حيث يقوم طاهٍ سحري (النموذج اللغوي الكبير) بطهي طبق معقد كلمة بكلمة. في الأيام الخوالي، كان طاقم المطبخ ينتظر حتى ينهي الطاهي الوجبة كاملة قبل البدء في تقديم الأطباق أو تذوق الطعام أو التحقق من وجود مسببات الحساسية. وهذا يعني أن الزبون كان يضطر للانتظار وقتاً طويلاً لتناول أول لقمة. ولكن الآن، يقدم الطاهي الطعام أثناء طهيه، كلمة بكلمة. المشكلة هي أن طاقم المطبخ (الأجزاء الأخرى من التطبيق) ليس مستعداً لهذا الإيقاع السريع. فبعض الموظفين سريعون جداً، بينما آخرون، مثل الشخص الذي يتحقق من المكونات الحارة أو الشخص الذي يحول الطعام إلى صوت، أبطأ بكثير. إذا استمر الموظفون السريعون في دفع الأطباق على المنضدة بسرعة أكبر مما يستطيع الموظفون البطيئون إخلاءها، فسوف تفيض المنضدة، ويصبح المطبخ فوضوياً، وينهار النظام بأكله. هذا هو عالم تطبيقات الذكاء الاصطناعي "التدفقية" (Streaming)، حيث الهدف هو معالجة المعلومات فور وصولها، لكن التحدي يكمكمن في الحفاظ على تدفق منظم دون ترك المطبخ ينفجر.
إليك AiFlow، وهو نظام جديد صُمم ليكون المدير المثالي لهذه المطابخ المخصصة للطهاة السحريين. بدلاً من ترك الموظفين يكتشفون كيفية التعامل مع الزحام بقواعد عشوائية وغير منظمة، يقوم AiFlow بإعداد نظام حزام ناقل صارم وذكي منذ البداية. فهو يعامل كل كلمة (أو "رمز" - Token) يخرجها الطاهي كطرد خاص ومصنف يسير في مسار موجه. تقدم الورقة البحثية مفهوم "حارس العقدة" (Node Guardian) لكل محطة على الحزام — وهو بمثابة حارس شخصي صغير وصارم للغاية، يقرر بالضبط عدد الطرود التي يمكن أن تنتظر في الطابور، وعدد العمال الذين يمكنهم التعامل معها في وقت واحد، وما يجب فعله إذا أصبح الطابور طويلاً جداً (مثل إسقاط أقدم عنصر أو إيقاف الطاهي مؤقتاً). وقد وجد الباحثون أنه باستخدام هذا النظام، تنخفض المدة التي يستغرقها وصول أول كلمة معالجة إلى الزبون بشكل كبير، بنسبة تتراوح بين 71% إلى 95% مقارنة بالطريقة القديمة "الانتظار حتى النهاية". ومع ذلك، هم واضحون جداً في أن AiFlow لا يجعل الطاهي يطهو بشكل أسرع؛ بل يجعل المطبخ يعمل بسلاسة أكبر بحيث يصل الطعام إلى الطاولة بسرعة أكبر بكثير.
المشكلة: فوضى المطبخ
تخيل أنك تبني مساعداً آلياً يتحدث إليك. عندما تسأله سؤالاً، فإنه لا يعطيك مجرد إجابة نهائية؛ بل "يفكر" بصوت عالٍ، مولداً الكلمات واحدة تلو الأخرى. في تطبيق حديث، قد ترغب في القيام بعدة أشياء بهذه الكلمات فور ظهورها:
- تصنيفها: هل هذا جزء من تفكير الروبوت أم إجابته النهائية؟
- تصفيتها: هل يوجد أي شيء غير آمن في هذه الكلمة؟
- إرسالها إلى مكبر صوت: تحويل النص إلى صوت فوراً.
- تسجيلها: حفظ عملية التفكير للرجوع إليها لاحقاً.
في الماضي، كان على المطورين كتابة أكواد مخصصة وفوضوية لربط هذه الخطوات. كان عليهم إنشاء "خطوط انتظار" (Queues) يدوياً بين الخطوات، وتحديد عدد العمال لكل خطوة، ومعرفة ما يجب فعله إذا كان مكبر الصوت بطيئاً في مواكبة السرعة. إذا ارتكبوا خطأً، ستنمو خطوط الانتظار إلى الأبد، مما يستهلك كل ذاكرة الكمبيوتر، أو قد تختلط الكلمات. كان الأمر يشبه محاولة إدارة مطبخ فوضوي حيث يصرخ الجميع بالتعليمات لبعضهم البعض دون خطة مركزية.
الحل: AiFlow و"حارس العقدة"
ابتكر مؤلف هذه الورقة نظام AiFlow، الذي يحول هذه الفوضى إلى خط تجميع منظم جيداً. فكر في AiFlow كأنه مخطط لمصنع حيث لكل آلة كتاب قواعد خاصة بها.
1. التنسيق القائم على الرموز (Token-Native Orchestration):
بدلاً من الانتظار حتى انتهاء الجملة بأكملها، يعامل AiFlow كل كلمة كـ "مواطن من الدرجة الأولى". فبمجرد أن يولد الطاهي السحري كلمة، يتم منحها ملصقاً (مثل "تفكير" أو "إجابة") ويتم إرسالها فوراً عبر المسار الصحيح. وهذا يعني أن فرع "الإجابة" يمكنه البدء في العمل على الكلمة الأولى بينما لا يزال الطاهي يولد الكلمة الخمسين.
2. حارس العقدة (The Node Guardian):
هذا هو نجم العرض. فكل محطة على خط التجميع لديها "حارس عقدة". وهذا الحارس هو مدير صارم يفرض القواعد التي وضعها المصمم:
- حدود الطابور (Queue Bounds): "يمكن لـ 8 عناصر فقط الانتظار هنا". إذا امتلأ الخط، يقوم الحارس بإيقاف الآلة التي تسبقه عن إرسال المزيد. يُسمى هذا الضغط العكسي (Backpressure)، وهو يمنع النظام من الانهيار بسبب زيادة استهلاك الذاكرة.
- عدد العمال (Worker Count): "لدينا 3 عمال لهذه المحطة".
- سياسة الفائض (Overflow Policy): "إذا امتلأ الخط، أسقط أقدم عنصر" أو "توقف وانتظر".
- الترتيب (Ordering): "تأكد من خروج الكلمات بنفس الترتيب الذي صُنعت به تماماً".
تثبت الورقة رياضياً أنه إذا قمت بتحديد هذه القواعد، فإن كمية الذاكرة التي يستخدمها النظام لن تنفجر أبداً، بل ستظل ضمن حد آمن ويمكن التنبؤ به.
ماذا وجدوا: النتائج
اختبر الباحثون AiFlow باستخدام مزيج من الاختبارات المحاكية والبيانات الواقعية من نموذج يسمى DeepSeek. وقارنوا AiFlow بثلاث طرق أخرى للتعامل مع البيانات:
- التجميع (Aggregate): الانتظار حتى اكتمال الإجابة بالكامل قبل القيام بأي شيء (الطريقة القديمة والبطيئة).
- استدعاء التدفق (Stream Callback): معالجة الكلمات فور وصولها ولكن بدون قواعد صارمة (الطريقة "الفوضوية").
- LangGraph: أداة شهيرة حالياً تتعامل مع التدفق ولكنها تعتمد على المطورين لإدارة الطوابير يدوياً.
إليك ما أظهرته الأرقام:
- السرعة: لم يجعل AiFlow النموذج يولد الكلمات بشكل أسرع (ظل "زمن الوصول لأول رمز" - Model TTFT ثابتاً عند حوالي 101 مللي ثانية في الاختبارات). ومع ذلك، فقد جعل التطبيق يقدم أول نتيجة معالجة بشكل أسرع بكثير. مقارنة بطريقة "التجميع"، قلل AiFlow الوقت اللازم للحصول على أول رمز معالج بنسبة 70.9% إلى 94.7%. على سبيل المثال، في أحد الاختبارات، انخفض الوقت من أكثر من 10 ثوانٍ إلى 210 مللي ثانية فقط.
- سلامة الذاكرة: هذا هو الفوز الأكبر. عندما لم تستطع الأجزاء "البطيئة" من النظام (مثل تحويل النص إلى كلام) مواكبة السرعة، سمحت الأنظمة التي "تفتقر للضغط العكسي" لخطوط الانتظار بالنمو إلى أكثر من 231 عنصراً، مما عرضها لخطر الانهيار. أما AiFlow، بفضل حراس العقد، فقد أبقى الخط صارماً عند 8 عناصر فقط، مما منع أي تجاوز لسعة الذاكرة.
- الموثوقية: حتى عندما اختبروه مع سرعات إنترنت متغيرة وغير متوقعة ونماذج مختلفة (مثل Ollama)، حافظ AiFlow على استهلاك منخفض للذاكرة وسرعة عالية.
ماذا يعني هذا بالنسبة لك
لا تدعي الورقة أنها اخترعت شريحة كمبيوتر أسرع أو عقلاً ذكياً للذكاء الاصطناعي. بدلاً من ذلك، لقد حلت مشكلة "الازدحام المروري". لقد أظهرت أنه من خلال تحديد قواعد كيفية تدفق البيانات قبل تشغيل البرنامج (باستخدام لغة بسيطة أو ملف JSON)، يمكن للمطورين بناء تطبيقات ذكاء اصطناعي أسرع، وأكثر أماناً، وأسهل في الإصلاح.
إذا كنت مطوراً، فهذا يعني أنك لست بحاجة لكتابة أكواد معقدة لإدارة الطوابير والعمال بعد الآن؛ ما عليك سوى تحديد القواعد، وسيتولى "حراس العقد" الباقي. وإذا كنت مستخدماً، فهذا يعني أن روبوت الدردشة الخاص بك يمكنه البدء في التحدث إليك، وتصفية كلماته، ونطقها بصوت عالٍ بشكل فوري تقريباً، دون أن يتجمد التطبيق أو تنفد ذاكرته عندما تطول المحادثة. النظام مصمم ليكون قوياً، مما يضمن أنه حتى لو كان الذكاء الاصطناعي كثير الكلام والمستخدم بطيئاً في القراءة، فإن المطبخ سيظل نظيفاً والطعام سيستمر في الوصول.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.