Operationalizing Document AI: A Microservice Architecture for OCR and LLM Pipelines in Production
تقدم هذه الورقة بنية خدمات مصغرة وتجربة تشغيلية لنشر مسارات الذكاء الاصطناعي للمستندات على نطاق واسع، مع تسليط الضوء على قرارات التصميم مثل فصل مهام وحدة معالجة الرسومات (GPU) عن مهام وحدة المعالجة المركزية (CPU)، وكشف أن زمن انتقال التعرف الضوئي على الحروف (OCR) وسعة وحدة معالجة الرسومات المشتركة، وليس تعقيد النموذج أو عدد العمال، هما العائقان الأساسيان في بيئة الإنتاج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مرفقاً ضخماً لفرز البريد فائق السرعة. في كل يوم، تصل آلاف الوثائق المعقدة — بعضها مجعد، وبعضها غير واضح، وبعضها عقود متعددة الصفحات، والبعض الآخر مجرد صور لإيصالات. هدفك هو قراءة كل منها، وفهم ماهيتها، واستخراج تفاصيل محددة (مثل التواريخ، أو الأسماء، أو المبالغ) لوضعها في جدول بيانات رقمي منظم.
تصف هذه الورقة كيف قام الفريق في Kungfu.ai ببناء "مصنع" للقيام بذلك بالضبط، ولكن مع لمسة مختلفة: فقد أدركوا أن محاولة القيام بكل شيء باستخدام آلة واحدة عملاقة (نظام متجانس - Monolith) كان أمراً بطيئاً، ومكلفاً، وعرضة للأعطال. بدلاً من ذلك، قاموا ببناء بنية الخدمات المصغرة (Microservice Architecture)، وهي تشبه تحويل ذلك المصنع إلى فريق من العمال المتخصصين، لكل منهم وظيفة محددة، يمررون الوثائق لبعضهم البعض عبر حزام ناقل.
إليك كيف يعمل نظامهم، مشروحاً ببساطة:
1. الفرق الثلاثة المتخصصة (الخدمات المصغرة)
بدلاً من روبوت واحد يحاول المسح الضوئي، والقراءة، والتفكير في آن واحد، قاموا بتقسيم العمل إلى ثلاثة فرق متميزة:
- البوابة (موظف الاستقبال):
هذا هو الباب الأمامي. مهمته الوحيدة هي استقبال الوثائق من العالم الخارجي، وتخزين الصور بأمان في مستودع رقمي (تخزين الكائنات - Object Storage)، ووضع "تذكرة" في طابور انتظار تقول: "مهلاً، لدينا وثيقة جديدة للمعالجة!". هو لا يقوم بأي عمل شاق؛ بل يدير التدفق فقط. إذا مرض موظف الاستقبال، فلن تدخل رسائل جديدة، لكن العمال في الداخل سيستمرون في العمل على ما لديهم بالفعل. - العمال (المديرون):
هؤلاء هم المديرون المدعومون بقوة المعالجات (CPU). يلتقطون التذاكر من طابور الانتظار، وينظرون إلى الوثيقة، ويقررون ما يجب أن يحدث بعد ذلك. هم بارعون في التنظيم، والانتظار للحصول على الإجابات، ونقل البيانات، لكنهم ليسوا جيدين جداً في مهام "التفكير" أو "الرؤية" الثقيلة. إنهم يعملون كقائد الأوركسترا، يخبرون المتخصصين متى يعزفون. - خدمة الاستدلال (العمال الثقال):
هذا هو الفريق الذي يمتلك بطاقات الرسوميات (GPUs) الغالية والسريعة جداً. هم الوحيدون المسموح لهم بالقيام بالعمل البصري الشاق: التعرف الضوئي على الحروف (OCR) (تحويل الصور الضبابية إلى نص) و تحليل النماذج اللغوية الكبيرة (LLM Parsing) (استخدام عقل ذكاء اصطناعي ضخم لفهم النص واستخراج حقول محددة). ولأن هذه الآلات مكلفة، حافظ الفريق على فصلها حتى لا يضطروا للدفع مقابلها عندما يكون "العمال" في حالة انتظار فقط.
2. خط التجميع (خط الإنتاج)
عندما تصل وثيقة، تمر بسلسلة محددة من الخطوات، مثل سيارة على خط إنتاج:
- التصنيف (الفرّاز):
أولاً، يحتاج النظام لمعرفة نوع هذه الوثيقة (هل هي فاتورة أم نموذج طبي مثلاً؟).
- الحيلة: يستخدمون "استراتيجية هجينة". أولاً، يستخدمون ذكاءً اصطناعياً محلياً سريعاً ورخيصاً (CLIP-KNN) لتخمين النوع. دقة هذا النظام هي 92% وهو مجاني. إذا لم يكن الذكاء الاصطناعي متأكداً (نسبة ثقة أقل من 70%)، حينها فقط يرسلونها إلى الذكاء الاصطناعي الفائق الذكاء والأغلى ثمناً (Claude Sonnet) للتحقق مجدداً. هذا يوفر الكثير من المال لأن الذكاء الاصطناعي الرخيص يصيب في 96% من الحالات بمفرده.
- التعرف الضوئي على الحروف (المترجم):
الوثيقة عبارة عن صورة. يستخدم النظام فريق الـ GPU لتحويل هذه الصورة إلى نص فعلي، كلمة بكلمة.
- المفاجأة: وجد المؤلفون أن هذه الخطوة هي العقبة الأكبر (Bottleneck). فهي تستغلك معظم الوقت. على الرغم من أن "ذكاء التفكير" (LLM) معقد، إلا أنه يقرأ النص مرة واحدة فقط للوثيقة بأكملة. أما الـ OCR فيجب عليه النظر في كل صفحة على حدة. إنه يشبه الفرق بين قراءة كتاب كامل (سريع) مقابل ترجمة كل كلمة في الكتاب واحدة تلو الأخرى (بطيء).
- ربط النصوص (اللاصق):
إذا كانت الوثيقة مكونة من 10 صفحات، يأخذ النظام النص من الصفحة 1، ثم الصفحة 2، وهكذا، ويلصقهم معاً في قصة واحدة طويلة. - التحليل الهيكلي (المستخرج):
أخيراً، يقرأ "ذكاء التفكير" (LLM) النص المجموع ويملأ نموذجاً رقمياً (مثل ملف JSON) بالبيانات المطللة (مثلاً: "تاريخ الفاتورة: 2023-10-01").
3. السر الصغير: كيف يتوسع النظام
تسلط الورقة الضوء على لحظتين رئيسيتين من نوع "وجدتها!" أثناء تشغيل هذا النظام:
- العقبة هي "العيون" وليست "الدماغ":
افترض الجميع أن "ذكاء التفكير" (LLM) سيكون الجزء البطيء. لكنهم كانوا مخطئين. "العيون" (OCR) كانت هي الجزء البطيء. ولأن الـ OCR هو العقبة، أدركوا أنهم بحاجة لتوسيع فريق الـ GPU خصيصاً لعملية الـ OCR، وليس مجرد إضافة المزيد من المديرين (العمال). إذا أضفت المزيد من المديرين دون إضافة المزيد من "العيون"، فسوف يجلس المديرون مكتوفي الأيدي في حالة انتظار. - طابور الانتظار هو شبكة الأمان:
يستخدمون طابور رسائل (مثل غرفة انتظار رقمية). إذا كان "العمال الثقال" مشغولين، فستنتظر الوثائق في الطابور. هذا يمنع النظام من الانهيار. كما يعني أيضاً أنه إذا تعطل أحد العمال، فستعود الوثيقة ببساطة إلى الطابور ليتم استلامها من قبل عامل آخر، مما يضمن عدم ضياع أي شيء.
4. النتائج
من خلال استخدام هذه البنية، حققوا أمرين مذهلين:
- التكلفة: خفضوا تكلفة معالجة الصفحة من 0.01 دولار إلى 0.001 دولار (انخفاض بمقدار 10 أضعاف). فعلوا ذلك باستخدام الذكاء الاصطناعي الرخيص لمعظم المهام والدفع للذكاء الاصطناعي الغالي فقط عند الضرورة القصوى.
- الموثوقية: حافظوا على دقة بنسبة 96% أثناء معالجة آلاف الصفحات في الساعة.
الملخص
تجادل الورقة بأن بناء نظام ذكاء اصطناعي للإنتاج لا يتعلق فقط بامتلاك أذكى نموذج؛ بل يتعلق بـ الهندسة. يجب عليك فصل "التفكير" عن "التنظيم"، واستخدام طوابير الانتظار لإدارة حركة المرور، وإدراك أن الجزء الأبطأ في عمليتك (في هذه الحالة، قراءة النص) هو الجزء الذي تحتاج إلى تحسينه، وليس الجزء الذي تعتقد أنه الأكثر تعقيداً.
لقد حولوا عملية فوضوية ومكلفة إلى مصنع انسيابي ومنخفض التكلفة، حيث يعرف كل عامل وظيفته بدقة، وحيث تُستخدم الآلات الغالية فقط عندما تكون هناك حاجة حقيقية إليها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.