💻 computer science

DeepNeutroBiLSTM: A Hybrid Neutrosophic and CNN-BiLSTM Framework with Sobel-Based Indeterminacy for Arabic Handwritten Character Recognition

Cet article propose DeepNeutroBiLSTM, un nouveau cadre hybride intégrant la modélisation de l'incertitude neutrosophique avec l'indétermination basée sur Sobel, des CNN et des BiLSTM afin d'atteindre une précision et une robustesse de pointe dans la reconnaissance de caractères arabes manuscrits sur les ensembles de données AHCD et HIJJA.

Auteurs originaux : Othmane Farhaoui, Mohamed Rida Fethi, Imad Zeroual, Ahmad El Allaoui

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Othmane Farhaoui, Mohamed Rida Fethi, Imad Zeroual, Ahmad El Allaoui

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un ordinateur à lire les lettres arabes manuscrites. C'est un travail délicat car l'arabe est écrit dans un style cursif et fluide, et les gens écrivent de manières très différentes les uns des autres. Certaines lettres semblent presque identiques, et parfois l'encre bave ou le scanner rend l'image floue. Pour un ordinateur, une lettre floue ou mal formée est comme un puzzle auquel il manque des pièces.

Cet article présente un nouveau programme informatique appelé DeepNeutroBiLSTM pour résoudre ce puzzle. Voici comment il fonctionne, décomposé en concepts simples :

1. Le Problème : « Tout se ressemble »

La plupart des programmes informatiques qui lisent l'écriture manuscrite traitent chaque point d'encre sur la page comme étant d'égale importance. Ils supposent que l'image est parfaite. Mais en réalité, l'écriture manuscrite est désordonnée.

L'analogie : Imaginez que vous essayiez de lire une note manuscrite sur laquelle quelqu'un a renversé du café. Un ordinateur standard essaierait de lire la tache de café comme si elle faisait partie de la lettre. Il s'embrouille parce qu'il ne sait pas ce qui est une vraie lettre et ce qui est juste une tache informe.

2. La Solution : Les « Lunettes à Trois Couches » (Représentation Neutrosophique)

Les auteurs ont créé une manière spéciale pour l'ordinateur de regarder l'image, inspirée d'une idée mathématique appelée Neutrosophie. Au lieu de simplement voir du « Noir » (la lettre) ou du « Blanc » (le fond), l'ordinateur enfile une paire de « lunettes à trois couches » qui divise chaque partie de l'image en trois catégories :

Vérité : « Cette partie fait définitivement partie de la lettre. »
Fausseté : « Cette partie est définitivement le fond ou du bruit. »
Indétermination : « Je ne suis pas sûr. Cela ressemble à une tache, un flou ou un trait bizarre. Je dois être prudent ici. »

La touche créative : Dans les anciens systèmes, l'ordinateur devait deviner ce qui était « incertain » en utilisant une règle fixe (comme une formule préétablie). Dans ce nouveau système, l'ordinateur apprend ce qui est incertain. C'est comme donner à l'ordinateur un étudiant qui apprend par l'expérience : « Oh, je vois que ce type de flou arrive habituellement avec cette lettre, donc je le signalerai comme "incertain" la prochaine fois. »

3. Le Détective « Sobel »

Pour aider l'ordinateur à trouver ces zones incertaines, ils ont utilisé un outil appelé l'opérateur Sobel.

L'analogie : Considérez l'opérateur Sobel comme un détective avec une loupe qui ne regarde que les contours. Il met en évidence les lignes nettes là où une lettre commence et s'arrête. Puisque les lettres arabes sont définies par leurs traits et leurs courbes, cet outil aide l'ordinateur à distinguer le bord d'une vraie lettre d'une tache d'encre aléatoire. Il dit à l'ordinateur : « Prêtez une attention particulière à ces limites car c'est là que la confusion se produit généralement. »

4. Le Travail d'Équipe : L'« Architecte » et le « Conteur »

Le système combine deux types puissants d'intelligence artificielle pour effectuer le gros du travail :

L'Architecte (CNN) : Cette partie regarde l'image et identifie les formes, les lignes et les courbes. Elle construit une carte mentale de ce à quoi la lettre ressemble.
Le Conteur (BiLSTM) : L'arabe s'écrit dans un flux. La forme d'une lettre dépend souvent des lettres qui la précèdent et la suivent. Le Conteur regarde la séquence de formes et comprend le contexte. Il sait : « Si je vois cette forme après cette forme, il doit s'agir de cette lettre spécifique, même si elles se ressemblent. »

En combinant les « Lunettes à Trois Couches » (pour gérer le désordre), le « Détective » (pour trouver les bords), l'« Architecte » (pour voir les formes) et le « Conteur » (pour comprendre le flux), le système devient très intelligent pour lire l'écriture manuscrite désordonnée.

5. Les Résultats : À quel point cela a-t-il fonctionné ?

Les chercheurs ont testé leur nouveau système sur deux collections célèbres de lettres arabes manuscrites (appelées AHCD et HIJJA).

Sur le test « plus facile » (AHCD) : Le nouveau système a obtenu 98,39 % de réussite. C'est une améliure énorme par rapport aux anciennes méthodes, qui avaient du mal avec les parties désordonnées de l'image.
Sur le test « plus difficile » (HIJJA) : Ce test présentait beaucoup plus de variations dans les styles d'écriture. Le nouveau système a tout de même réussi à obtenir 92,92 % de réussite, battant tous les autres modèles auxquels ils l'ont comparé.

L'essentiel

L'article affirme qu'en apprenant à l'ordinateur à reconnaître et à gérer explicitement l'« incertitude » (les parties floues et désordonnées de l'écriture) plutôt qu'à les ignorer, il peut lire l'écriture manuscrite arabe avec beaucoup plus de précision. C'est comme apprendre à un lecteur non seulement à lire les mots, mais aussi à comprendre quand l'encre est étalée et à utiliser le contexte pour deviner ce que le mot devrait être.

Ce que l'article ne prétend PAS :

Il ne prétend pas que cela fonctionne pour lire des phrases ou des paragraphes entiers pour le moment (il se concentre sur les caractères individuels).
Il ne prétend pas que c'est prêt pour le diagnostic médical ou d'autres applications spécifiques au monde réel pour l'instant ; c'est une preuve de concept pour la reconnaissance de caractères.
Il ne prétend pas être plus rapide que toutes les autres méthodes (en fait, cela prend un peu plus de temps pour calculer car cela effectue une analyse plus complexe).

Résumé Technique : DeepNeutroBiLSTM pour la Reconnaissance de Caractères Arabes Manuscrits

Énoncé du Problème
La reconnaissance de caractères arabes manuscrits (AHCR) demeure un défi de taille en raison de la nature cursive de l'écriture, de la grande variabilité des styles d'écriture, de la présence de diacritiques et des similitudes structurelles entre les caractères. De plus, les systèmes de reconnaissance peinent souvent face au bruit introduit par la numérisation, la diffusion de l'encre et la dégradation de l'image. Les approches classiques d'apprentissage profond, telles que les réseaux de neurones convolutionnels (CNN) et les réseaux de neurones récurrents (RNN), supposent généralement que tous les pixels d'entrée sont également fiables. Cette hypothèse déterministe ne parvient pas à rendre compte de l'incertitude dans les régions ambiguës, ce qui réduit la robustesse lors du traitement de l'écriture dégradée ou variable. Bien que la théorie des ensembles neutrosophiques offre un cadre mathématique pour modéliser l'incertitude à travers les composantes de Vérité, d'Indétermination et de Falsité, les applications existantes dans ce domaine reposent sur des règles fixes conçues manuellement (par exemple, l'entropie ou des heuristiques de gradient) pour calculer l'indétermination. Ces méthodes statiques manquent de la flexibilité nécessaire pour apprendre les représentations d'incertitude directement à partir des données et ne peuvent être optimisées conjointement avec l'objectif de reconnaissance.

Méthodologie
Le présent article propose DeepNeutroBiLSTM, un cadre d'apprentissage profond hybride qui intègre la modélisation de l'incertitude neutrosophique à une architecture CNN-BiLSTM. Le cadre fonctionne à travers cinq étapes primaires : le prétraitement, la représentation neutrosophique, l'extraction de caractéristiques, la classification et le post-traitement.

Représentation Neutrosophique Apprenable (LNL) : L'innovation centrale est la Couche Neutrosophique Apprenable (Learnable Neutrosophic Layer), qui transforme une image d'entrée en niveaux de gris normalisée $X$ en un triplet neutrosophique $[T, I, F]$ (Vérité, Indétermination, Falsité).
- Vérité ( $T$ ) : Directement dérivée de l'image d'entrée ( $T = X$ ).
- Indétermination ( $I$ ) : Au lieu d'utiliser des heuristiques fixes, l'article explore deux approches. La contribution principale est une composante d'Indétermination Apprenable calculée via une cartographie convolutionnelle entraînable suivie d'une activation sigmoïde : $I = \sigma(W_I * X + b_I)$ . Cela permet au réseau d'apprendre où l'incertitude existe directement à partir des données.
- Falsité ( $F$ ) : Calculée comme $F = \text{clip}(1 - T - I, 0, 1)$ .
- Indétermination basée sur Sobel : Pour une évaluation comparative, l'article implémente également une représentation d'indétermination fixe utilisant l'opérateur Sobel pour capturer les gradients de contours, lesquels sont critiques pour distinguer les caractères arabes visuellement similaires.
Architecture Hybride :
- Backbone CNN : La représentation neutrosophique est injectée dans un CNN hiérarchique (trois blocs convolutionnels avec une profondeur de canaux croissante : 64, 128, 256) pour extraire les motifs de traits spatiaux et les caractéristiques structurelles.
- Modélisation Séquentielle BiLSTM : Les cartes de caractéristiques spatiales sont remodelées en séquences et traitées par un réseau de mémoire à long court bidirectionnel (BiLSTM). Cela capture les dépendances contextuelles dans les directions avant et arrière, aidant à la discrimination des caractères ayant des formes similaires en fonction de leur contexte environnant.
- Classification : La sortie est transmise à des couches entièrement connectées et à un classificateur Softmax.
Stratégie d'Entraînement : Le modèle est entraîné de bout en bout en utilisant une perte d'entropie croisée catégorielle (Categorical Cross-Entropy) et l'optimiseur Adam. Le cadre a été évalué sur deux jeux de données publics : AHCD (28 caractères) et HIJJA (29 caractères), avec une augmentation de données (rotation, translation, zoom, cisaillement) appliquée pour améliorer la généralisation.

Contributions Clés

Couche Neutrosophique Apprenable (LNL) : L'article introduit un mécanisme pour apprendre la composante d'indétermination directement à partir des images en utilisant des filtres convolutionnels entraînables, s'éloignant ainsi des règles d'indétermination statiques et définies manuellement.
Intégration de l'Indétermination basée sur Sobel : L'étude démontre que l'intégration de l'information de gradient basée sur Sobel dans la représentation neutrosophique améliore significativement la capacité du modèle à distinguer les limites de traits dans les régions ambiguës.
Cadre Hybride Unifié : Ce travail valide une architecture unifiée qui optimise conjointement la modélisation de l'incertitude (Neutrosophique), l'extraction de caractéristiques spatiales (CNN) et l'apprentissage du contexte séquentiel (BiLSTM) pour l'AHCR.
Étude d'Ablation Complète : Les auteurs comparent systématiquement les CNN de base, les CNN-BiLSTMs, les modèles neutrosophiques fixes et les modèles hybrides proposés afin d'isoler l'impact de la modélisation de l'incertitude et de l'apprentissage séquentiel.

Résultats
Le cadre a été évalué sur les jeux de données AHCD et HIJJA en utilisant la Précision (Accuracy), le score F1, l'AUC, le Taux de Précision des Caractères (CAR) et l'Erreur de Calibration Attendue (ECE).

Jeu de données AHCD : Le DeepNeutroBiLSTM (Sobel) proposé a atteint la performance la plus élevée avec 98,39 % de précision, un score F1 de 0,9821 et une AUC de 0,9997. Cela représente une amélioration de +1,96 % par rapport au CNN de base et une réduction d'environ 50 % de l'erreur de calibration par rapport à la base.
Jeu de données HIJJA : Étant donné la plus grande variabilité et l'ambiguïté structurelle de ce jeu de données, le modèle proposé a atteint 92,92 % de précision et un score F1 de 0,9322. Il s'agit d'une amélioration significative d'environ 5,0 % par rapport au CNN de base (87,96 %).
Analyse Comparative : Les résultats indiquent que si le BiLSTM seul offrait des gains minimes sur le jeu de données structuré AHCD, la combinaison de la modélisation de l'incertitude neutrosophique et de l'apprentissage séquentiel a fourni des améliorations constantes sur les deux jeux de données. La représentation d'indétermination basée sur Sobel a surpassé les approches d'indétermination basées uniquement sur l'entropie ou l'apprentissage dans la configuration hybride finale.
Calibration : Le modèle proposé a démontré des distributions de probabilité bien calibrées, avec de faibles valeurs d'Erreur de Calibration Attendue (ECE) (0,0119 pour AHCD et 0,0456 pour HIJJA).

Signification et Revendications
L'article affirme que le cadre DeepNeutroBiLSTM offre une solution supérieure pour la reconnaissance de caractères arabes manuscrits en traitant explicitement l'incertitude inhérente aux données visuelles. En passant de définitions manuelles et fixes de l'indétermination à une approche apprenable et pilotée par les données, le modèle peut s'adapter aux variations spécifiques des styles d'écriture et des niveaux de bruit. Les auteurs soutiennent que l'intégration de l'indétermination basée sur Sobel est particulièrement efficace car elle met l'accent sur les limites de traits et les changements de gradients locaux, qui sont critiques pour différencier les caractères arabes visuellement similaires. L'étude conclut que cette approche hybride gère efficacement la variabilité de l'écriture et le bruit de l'image, surpassant les bases CNN et CNN-BiLSTM de l'état de l'art. Les auteurs notent que les travaux futurs se concentreront sur l'extension de ce cadre à la reconnaissance de mots et de textes arabes manuscrits.