💻 computer science

DeepNeutroBiLSTM: A Hybrid Neutrosophic and CNN-BiLSTM Framework with Sobel-Based Indeterminacy for Arabic Handwritten Character Recognition

Dieses Paper schlägt DeepNeutroBiLSTM vor, ein neuartiges hybrides Framework, das neutrosophische Unsicherheitsmodellierung mit Sobel-basierter Unbestimmtheit, CNNs und BiLSTMs integriert, um eine erstklassige Genauigkeit und Robustheit bei der Erkennung arabischer handgeschriebener Zeichen auf den Datensätzen AHCD und HIJJA zu erreichen.

Ursprüngliche Autoren: Othmane Farhaoui, Mohamed Rida Fethi, Imad Zeroual, Ahmad El Allaoui

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Othmane Farhaoui, Mohamed Rida Fethi, Imad Zeroual, Ahmad El Allaoui

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, handgeschriebene arabische Buchstaben zu lesen. Das ist ein schwieriger Job, denn Arabisch wird in einem fließenden, kursiven Stil geschrieben, und Menschen schreiben sehr unterschiedlich. Einige Buchstaben sehen fast identisch aus, und manchmal verschmiert die Tinte oder der Scanner macht das Bild unscharf. Für einen Computer ist ein verschwommenes oder unordentliches Letter wie ein Puzzle mit fehlenden Teilen.

Dieses Paper stellt ein neues Computerprogramm namens DeepNeutroBiLSTM vor, um dieses Puzzle zu lösen. So funktioniert es, unterteilt in einfache Konzepte:

1. Das Problem: „Alles sieht gleich aus“

Die meisten Computerprogramme, die Handschriften lesen, behandeln jeden einzelnen Tintenpunkt auf der Seite als gleich wichtig. Sie gehen davon aus, dass das Bild perfekt ist. Aber in der Realität ist Handschrift unordentlich.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine handgeschriebene Notiz zu lesen, auf die jemand Kaffee verschüttet hat. Ein Standard-Computer versucht, den Kaffeefleck so zu lesen, als wäre er Teil des Buchstabens. Er wird verwirrt, weil er nicht weiß, was ein echter Buchstabe ist und was nur ein unordentlicher Fleck ist.

2. Die Lösung: Die „Drei-Schicht-Brille“ (Neutrosophische Repräsentation)

Die Autoren haben eine spezielle Art und Weise entwickelt, wie der Computer das Bild betrachtet, inspiriert von einer mathematischen Idee namens Neutrosophie. Anstatt nur „Schwarz“ (den Buchstaben) oder „Weiß“ (den Hintergrund) zu sehen, setzt der Computer eine „Drei-Schicht-Brille“ auf, die jeden Teil des Bildes in drei Kategorien unterteilt:

Wahrheit: „Dieser Teil ist definitiv Teil des Buchstabens.“
Falschheit: „Dieser Teil ist definitiv Hintergrund/Rauschen.“
Unbestimmtheit: „Ich bin mir nicht sicher. Das sieht aus wie ein Fleck, ein Verschmieren oder ein seltsamer Strich. Ich muss hier vorsichtig sein.“

Der kreative Kniff: In älteren Systemen musste der Computer raten, was „unbestimmt“ war, indem er eine feste Regel verwendete (wie eine vorgegebene Formel). In diesem neuen System lernt der Computer, was unbestimmt ist. Es ist, als würde man dem Computer einen Schüler geben, der aus Erfahrung lernt: „Oh, ich sehe, dass diese spezifische Art von Verschmierung normalerweise bei diesem Buchstaben auftritt, also werde ich sie beim nächsten Mal als ‚unbestimmt‘ kennzeichnen.“

3. Der „Sobel“-Detektiv

Um dem Computer zu helfen, diese unbestimmten Bereiche zu finden, haben sie ein Werkzeug namens Sobel-Operator verwendet.

Die Analogie: Denken Sie an den Sobel-Operator als einen Detektiv mit einer Lupe, der nur auf Kanten achtet. Er hebt die scharfen Linien hervor, an denen ein Buchstabe beginnt und endet. Da arabische Buchstaben durch ihre Striche und Kurven definiert sind, hilft dieses Werkzeug dem Computer, zwischen einer echten Buchstabenkante und einem zufälligen Tintenfleck zu unterscheiden. Es sagt dem Computer: „Achte besonders auf diese Grenzen, denn dort entsteht meistens die Verwirrung.“

4. Teamarbeit: Der „Architekt“ und der „Geschichtenerzähler“

Das System kombelt zwei leistungsstarke Arten von künstlicher Intelligenz, um die Hauptarbeit zu leisten:

Der Architekt (CNN): Dieser Teil betrachtet das Bild und identifiziert Formen, Linien und Kurven. Er baut eine mentale Karte davon, wie der Buchstabe aussieht.
Der Geschichtenerzähler (BiLSTM): Arabisch wird im Fluss geschrieben. Die Form eines Buchstabens hängt oft von den vorangegangenen und nachfolgenden Buchstaben ab. Der Geschichtenerzähler betrachtet die Sequenz der Formen und versteht den Kontext. Er weiß: „Wenn ich diese Form nach dieser Form sehe, muss es dieser spezifische Buchstabe sein, selbst wenn sie sich ähnlich sehen.“

Durch die Kombination der „Drei-Schicht-Brille“ (um mit der Unordnung umzugehen), des „Detektivs“ (um die Kanten zu finden), des „Architekten“ (um die Formen zu sehen) und des „Geschichtenerzählers“ (um den Fluss zu verstehen), wird das System sehr intelligent darin, unordentliche Handschriften zu lesen.

5. Die Ergebnisse: Wie gut hat es funktioniert?

Die Forscher haben ihr neues System an zwei berühmten Sammlungen handgeschriebener arabischer Buchstaben (genannt AHCD und HIJJA) getestet.

Beim „einfacheren“ Test (AHCD): Das neue System war zu 98,39 % korrekt. Dies ist eine enorme Verbesserung gegenüber älteren Methoden, die mit den unordentlichen Teilen des Bildes zu kämpfen hatten.
Beim „schwierigeren“ Test (HIJJA): Dieser Test wies eine viel größere Variation in den Handschriften auf. Das neue System erreichte dennoch 92,92 % korrekt und schlug damit alle anderen Modelle, mit denen es verglichen wurde.

Das Resümee

Das Paper behauptet, dass, indem man den Computer lehrt, „Unbestimmtheit“ (die verschwommenen, unordentlichen Teile der Handschrift) explizit zu erkennen und zu handhaben, anstatt sie zu ignorieren, er arabische Handschriften viel genauer lesen kann. Es ist, als würde man einem Leser nicht nur beibringen, die Wörter zu lesen, sondern auch zu verstehen, wann die Tinte verschmiert ist und wie man den Kontext nutzt, um zu erraten, was das Wort sein sollte.

Was das Paper NICHT behauptet:

Es behauptet nicht, dass dies bereits zum Lesen ganzer Sätze oder Absätze geeignet ist (es konzentriert sich auf einzelne Zeichen).
Es behauptet nicht, dass dies bereits für medizinische Diagnosen oder andere spezifische reale Anwendungen bereit ist; es ist ein Proof-of-Concept für die Zeichenerkennung.
Es behauptet nicht, dass dies schneller als alle anderen Methoden ist (tatsächlich dauert die Berechnung etwas länger, da sie komplexere Analysen durchführt).

Technische Zusammenfassung: DeepNeutroBiLSTM für die Erkennung arabischer handgeschriebener Zeichen

Problemstellung
Die Erkennung arabischer handgeschriebener Zeichen (Arabic Handwritten Character Recognition, AHCR) bleibt aufgrund der kursiven Natur der Schrift, der hohen Variabilität in den Schreibstilen, des Vorhandenseins von Diakritika und der strukturellen Ähnlichkeiten zwischen den Zeichen eine erhebliche Herausforderung. Darüber hinaus haben Erkennungssysteme oft Schwierigkeiten mit dem Rauschen, das durch Scannen, Tintenverlauf und Bilddegradation entsteht. Traditionelle Deep-Learning-Ansätze, wie Convolutional Neural Networks (CNNs) und Recurrent Neural Networks (RNNs), gehen typischerweise davon aus, dass alle Eingabepixel gleichermaßen zuverlässig sind. Diese deterministische Annahme berücksichtigt nicht die Unsicherheit in amorphen Regionen, was zu einer reduzierten Robustheit beim Umgang mit degradierten oder variablen Handschriften führt. Während die Neutrosophische Mengenlehre einen mathematischen Rahmen zur Modellierung von Unsicherheit durch die Komponenten Wahrheit (Truth), Unbestimmtheit (Indeterminacy) und Falschheit (Falsity) bietet, stützen sich bestehende Anwendungen in diesem Bereich auf manuell entworfene, feste Regeln (z. B. Entropie- oder Gradienten-Heuristiken), um Unbestimmtheit zu berechnen. Diese statischen Methoden besitzen nicht die Flexibilität, Unsicherheitsrepräsentationen direkt aus Daten zu lernen, und können nicht gemeinsam mit dem Erkennungsziel optimiert werden.

Methodik
Das Paper schlägt DeepNeutroBiLSTM vor, ein hybrides Deep-Learning-Framework, das die neutrosophische Unsicherheitsmodellierung mit einer CNN-BiLSTM-Architektur integriert. Das Framework operiert durch fünf Primärstadien: Vorverarbeitung, Neutrosophische Repräsentation, Merkmalsextraktion, Klassifizierung und Nachverarbeitung.

Lernbare Neutrosophische Repräsentation (LNL): Die zentrale Innovation ist die Lernbare Neutrosophische Schicht (Learnable Neutrosophic Layer), die ein normalisiertes Graustufen-Eingangsbild $X$ in ein neutrosophisches Tripel $[T, I, F]$ (Wahrheit, Unbestimmtheit, Falschheit) transformiert.
- Wahrheit ( $T$ ): Wird direkt aus dem Eingabebild abgeleitet ( $T = X$ ).
- Unbestimmtheit ( $I$ ): Anstatt fester Heuristiken untersucht das Paper zwei Ansätze. Der primäre Beitrag ist eine Lernbare Unbestimmtheit, die über eine trainierbare konvolutionale Abbildung gefolgt von einer Sigmoid-Aktivierungsfunktion berechnet wird: $I = \sigma(W_I * X + b_I)$ . Dies ermöglicht es dem Netzwerk, direkt aus den Daten zu lernen, wo Unsicherheit existiert.
- Falschheit ( $F$ ): Wird berechnet als $F = \text{clip}(1 - T - I, 0, 1)$ .
- Sobel-basierte Unbestimmtheit: Zur vergleichenden Evaluierung implementiert das Paper zudem eine feste Unbestimmtheitsrepräsentation unter Verwendung des Sobel-Operators, um Kantengradienten zu erfassen, die entscheidend für die Unterscheidung visuell ähnlicher arabischer Zeichen sind.
Hybride Architektur:
- CNN-Backbone: Die neutrosophische Repräsentation wird in ein hierarchisches CNN eingespeist (drei konvolutionale Blöcke mit zunehmender Kanaltiefe: 64, 128, 256), um räumliche Strichmuster und strukturelle Merkmale zu extrahieren.
- BiLSTM Sequenzielle Modellierung: Die räumlichen Feature-Maps werden in Sequenzen umgeformt und von einem bidirektionalen Long Short-Term Memory (BiLSTM) Netzwerk verarbeitet. Dies erfasst kontextuelle Abhängigkeiten sowohl in Vorwärts- als auch in Rückwärtsrichtung, was die Diskriminierung von Zeichen mit ähnlichen Formen basierend auf ihrem umliegenden Kontext unterstützt.
- Klassifizierung: Der Output wird durch vollvernetzte Schichten und einen Softmax-Klassifikator geleitet.
Trainingsstrategie: Das Modell wird End-to-End unter Verwendung von Categorical Cross-Entropy Loss und dem Adam-Optimizer trainiert. Das Framework wurde auf zwei öffentlichen Datensätzen evaluiert: AHCD (28 Zeichen) und HIJJA (29 Zeichen), wobei Data Augmentation (Rotation, Translation, Zoom, Scherung) angewendet wurde, um die Generalisierung zu verbessern.

Wesentliche Beiträge

Lernbare Neutrosophische Schicht (LNL): Das Paper führt einen Mechanismus ein, um die Komponente der Unbestimmtheit direkt aus Bildern unter Verwendung trainierbarer konvolutaler Filter zu lernen, weg von statischen, manuell definierten Unbestimmtheitsregeln.
Integration der Sobel-basierten Unbestimmtheit: Die Studie zeigt, dass die Integration von Sobel-basierten Gradienteninformationen in die neutrosophische Repräsentation die Fähigkeit des Modells signifikant verbessert, Strichgrenzen in amorphen Regionen zu unterscheiden.
Vereinheitlichtes Hybrides Framework: Die Arbeit validiert eine vereinheitlichte Architektur, die die Unsicherheitsmodellierung (Neutrosophisch), die räumliche Merkmalsextraktion (CNN) und das sequentielle Kontextlernen (BiLSTM) gemeinsam optimiert.
Umfassende Ablationsstudie: Die Autoren vergleichen systematisch Baseline-CNNs, CNN-BiLSTMs, feste neutrosophische Modelle und die vorgeschlagenen hybriden Modelle, um den Einfluss der Unsicherheitsmodellierung und des sequentiellen Lernens zu isolieren.

Ergebnisse
Das Framework wurde auf den Datensätzen AHCD und HIJJA unter Verwendung von Accuracy, F1-Score, AUC, Character Accuracy Rate (CAR) und Expected Calibration Error (ECE) evaluiert.

AHCD-Datensatz: Das vorgeschlagene DeepNeutroBiLSTM (Sobel) erreichte die höchste Leistung mit 98,39 % Genauigkeit, einem F1-Score von 0,9821 und einer AUC von 0,9997. Dies stellt eine Verbesserung von +1,96 % gegenüber dem Baseline-CNN und eine Reduktion des Kalibrierungsfehlers um ca. 50 % im Vergleich zur Baseline dar.
HIJJA-Datensatz: Angesichts der höheren Variabilität und strukturellen Ambiguität dieses Datensatzes erreichte das vorgeschlagene Modell eine Genauigkeit von 92,92 % und einen F1-Score von 0,9322. Dies war eine signifikante Verbesserung von etwa 5,0 % gegenüber dem Baseline-CNN (87,96 %).
Vergleichende Analyse: Die Ergebnisse deuten darauf hin, dass BiLSTM allein nur minimale Gewinne auf dem strukturierten AHCD-Datensatz lieferte, die Kombination aus neutrosophischer Unsicherheitsmodellierung und sequentiellem Lernen jedoch konsistente Verbesserungen über beide Datensätze hinweg bot. Die Sobel-basierte Unbestimmtheitsrepräsentation übertraf sowohl die entropiebasierte als auch die rein lernbare Unbestimmtheitsansätze in der finalen hybriden Konfiguration.
Kalibrierung: Das vorgeschlagene Modell demonstrierte gut kalibrierte Wahrscheinlichkeitsverteilungen mit niedrigen Expected Calibration Error (ECE) Werten (0,0119 für AHCD und 0,0456 für HIJJA).

Bedeutung und Behauptungen
Das Paper behauptet, dass das DeepNeutroBiLSTM-Framework eine überlegene Lösung für die Erkennung arabischer handgeschriebener Zeichen bietet, indem es die der visuellen Daten inhärente Unsicherheit explizit adressiert. Durch den Übergang von manuellen, festen Definitionen der Unbestimmtheit zu einem datengesteuerten, lernbaren Ansatz kann das Modell sich an spezifische Variationen in Handschriften und Rauschniveaus anpassen. Die Autoren behaupten, dass die Integration der Sobel-basierten Unbestimmtheit besonders effektiv ist, da sie die Strichgrenzen und lokalen Gradientenänderungen betont, welche entscheidend für die Differenzierung visuell ähnlicher arabischer Zeichen sind. Die Studie kommt zu dem Schluss, dass dieser hybride Ansatz die Variabilität der Handschrift und des Bildrauschens effektiv handhabt und die State-of-the-Art CNN- und CNN-BiLSTM-Baselines übertrifft. Die Autoren merken an, dass sich zukünftige Arbeiten auf die Erweiterung dieses Frameworks auf die Erkennung arabischer handgeschriebener Wörter und Texte konzentrieren werden.