💬 NLP

Beyond Clean Text: Evaluating Encoder and Decoder Robustness for Bangla Event Detection in Noisy Text

Cet article présente un benchmark complet de détection d'événements en bengali avec des données bruitées pour démontrer que, si les modèles de type encodeur excellent sur le texte propre, les LLM de type décodeur offrent une robustesse supérieure au bruit du monde réel, un écart qui peut être réduit grâce à un entraînement combiné et à la mise à l'échelle des modèles.

Auteurs originaux : Tanvir Ahmed Sijan, S. M Golam Rifat, Nayeemul Islam, Md. Musfique Anwar

Publié 2026-07-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tanvir Ahmed Sijan, S. M Golam Rifat, Nayeemul Islam, Md. Musfique Anwar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre une histoire qui vous est racontée. Parfois, l'histoire est racontée de manière parfaitement claire par un présentateur de journal télévisé professionnel. D'autres fois, elle est racontée par un ami qui a un rhume, qui tape sur un clavier cassé ou qui parle dans un micro qui grésille.

Ce document traite de la façon d'apprendre aux ordinateurs à comprendre des événements (comme « un cyclone a frappé », « une manifestation a commencé » ou « les prix ont augmenté ») dans la langue bengalie, spécifiquement lorsque le texte est désordonné, bruyant ou rempli de fautes de frappe.

Voici la décomposition de leur étude en utilisant des analogies simples :

1. Le Problème : La « Salle Propre » vs Le « Monde Réel »

La plupart des programmes informatiques qui lisent les actualités sont entraînés dans une « salle propre ». Ils ne voient que du texte parfait et édité. Mais dans le monde réel, le texte est désordonné. Il provient de :

ASR (Reconnaissance Automatique de la Parole) : Des ordinateurs essayant de transcrire des informations parlées, faisant souvent des erreurs de mots à cause des accents ou du bruit de fond.
Fautes de frappe : Des gens tapant rapidement sur des téléphones, frappant les mauvaises touches ou mélangeant des lettres aux sonorités similaires.

Les chercheurs ont demandé : Si nous entraînons un ordinateur sur du texte parfait, fonctionnera-t-il toujours lorsque le texte est désordonné ?

2. L'Expérience : Deux types de « Lecteurs »

Ils ont testé deux types différents de « lecteurs » IA sur une vaste collection de 9 979 phrases en bengali (certaines parfaites, d'autres désordonnées) :

Le « Spécialiste » (Modèles Encodeurs comme BanglaBERT) : Considérez cela comme un bibliothécaire hautement qualifié. Si le livre est parfait, ce bibliothécaire est incroyablement rapide et précis pour trouver des mots spécifiques. Ils sont les meilleurs pour lire du texte propre.
Le « Généraliste » (LLM Décodeurs comme Llama 3 et Gemma) : Considérez cela comme un conteur sage et expérimenté. Ils ne sont peut-être pas aussi rapides pour trouver un mot spécifique dans un livre parfait, mais ils sont excellents pour comprendre l'histoire même si l'interlocuteur bafouille ou fait des fautes d'orthographe. Ils utilisent le contexte pour deviner ce qui était voulu.

L'analogie :
Imaginez un champion de concours d'orthographe (le Spécialiste) contre un détective chevronné (le Généraliste).

Si le mot est écrit parfaitement, le champion l'épèle instantanément.
Si le mot est écrit avec une lettre manquante ou un accent bizarre, le champion se fige. Le détective, cependant, examine les indices autour du mot et dit : « Ah, ils voulaient clairement dire "cyclone" ».

3. La Grande Découverte : Le Compromis

Les résultats ont montré une séparation claire de personnalité entre les deux types de lecteurs :

Sur le Texte Propre : Le Spécialiste (Encodeur) gagne. Il trouve les événements avec la plus haute précision.
Sur le Texte Désordonné : Le Généraliste (Décodeur) gagne. Lorsque le texte est plein de fautes de frappe ou d'erreurs de parole, le Spécialiste s'embrouille et échoue. Le Généraliste, quant à lui, reste calme. Il utilise son « bon sens » pour comprendre que « syclone » signifiait bien « cyclone ».

L'analogie :
Imaginez un champion d'orthographe (le Spécialiste) contre un détective chevronné (le Généraliste).

Si le mot est écrit parfaitement, le champion l'épèle instantanément.
Si le mot est écrit avec une lettre manquante ou un accent bizarre, le champion se fige. Le détective, cependant, regarde les indices autour du mot et dit : « Ah, ils voulaient clairement dire 'cyclone' ».

4. Le « Déclencheur » vs Le « Contexte »

Les chercheurs ont approfondi pour comprendre pourquoi le Généraliste était meilleur. Ils ont trouvé une faiblesse spécifique du Spécialiste :

Corruption du Déclencheur : Si le mot clé de l'événement (le « déclencheur », comme le mot « arrestation ») est mal orthographié, le Spécialiste échoue complètement. Le Généraliste peut toujours le comprendre.
Corruption du Contexte : Si les mots environnants sont désordonnés mais que le mot clé est parfait, le Spécialiste réussit plutôt bien.

La Leçon : Le Généraliste est meilleur pour deviner le sens d'un mot clé brisé. Le Spécialiste est meilleur pour lire l'histoire environnante si le mot clé est intact.

5. Comment les rendre plus forts (Les Astuces d'Entraînement)

Le papier a testé deux façons de rendre ces lecteurs IA plus robustes :

Leur donner un manuel de règles (Ajustement par Instruction) : Ils ont donné au Généraliste une « fiche de triche » détaillée expliquant exactement ce qu'est un événement.
- Résultat : Cela a rendu le Généraliste plus intelligent globalement, mais cela ne l'a pas toujours rendu meilleur pour gérer le bruit. Parfois, connaître les règles trop strictement le rendait moins flexible.
L'entraînement sur des Données Désordonnées (Entraînement Combiné) : Ils ont entraîné l'IA sur un mélange de texte parfait et de texte désordonné.
- Résultat : C'était la solution miracle pour le Spécialiste. En s'entraînant sur du texte désordonné, le Spécialiste a appris à ignorer le bruit. Il n'est pas devenu beaucoup meilleur pour lire du texte parfait, mais il est devenu beaucoup moins susceptible de paniquer quand le texte devient sale. Cela a réduit l'écart entre les deux types d'IA.

6. Plus Gros n'est pas Toujours Meilleur (Pour Tout le Monde)

Pour le Généraliste (Décodeur) : Rendre le modèle plus grand (plus de « puissance cérébrale ») le rend systématiquement plus robuste face au bruit. Un détective plus grand est meilleur pour résoudre des affaires désordonnées.
Pour le Spécialiste (Encodeur) : Rendre le modèle plus grand n'a pas beaucoup aidé pour le bruit. Un bibliothécaire plus grand est tout aussi confus par une faute de frappe qu'un petit.

Résumé

Le papier conclut que si vous voulez qu'une IA détecte des événements dans le monde réel (où le texte est souvent désordonné, parlé ou plein de fautes de frappe), vous ne devriez pas seulement compter sur les modèles « Spécialistes » entraînés sur des données parfaites.

Au lieu de cela, vous devriez utiliser les modèles « Généralistes » (Décodeurs), qui sont naturellement plus résilients au bruit, ou vous devez entraîner vos modèles « Spécialistes » sur des données désordonnées pour leur apprendre à gérer le monde réel. L'ancienne méthode consistant à ne tester que sur du texte propre donne un faux sentiment de sécurité.

Résumé Technique : Au-delà du texte propre : Évaluation de la robustesse des encodeurs et des décodeurs pour la détection d'événements en bengali dans les textes bruités

Énoncé du problème
Les systèmes de détection d'événements (ED - Event Detection) sont principalement évalués sur des textes propres et curés, laissant leur robustesse face au bruit du monde réel largement inexplorée, particulièrement pour les langues à faibles ressources comme le bengali. Dans les applications pratiques, telles que la surveillance d'urgence, les données sont intrinsèquement bruitées en raison d'erreurs typographiques, de variations orthographiques et de fautes de transcription de la reconnaissance automatique de la parole (ASR). La recherche actuelle sur l'ED en bengali est limitée à des domaines étroits (ex. : violence, catastrophes) et à des textes propres, manquant d'une ontologie généralisée comparable à ACE 2005. De plus, le domaine n'a pas systématiquement comparé la robustesse des modèles traditionnels de type encodeur uniquement (ex. : basés sur BERT) par rapport aux modèles de langage (LLM) modernes de type décodeur uniquement, ajustés par instruction, sous des conditions de bruit réalistes.

Méthodologie
Les auteurs abordent ces lacunes par le développement d'un benchmark complet et d'un cadre d'évaluation systématique :

Ontologie et construction du jeu de données :
- Ontologie : Une ontologie d'événements d'actualité en bengali généralisée a été développée en étendant ACE 2005 avec des types d'événements localement pertinents dérivés des corpus GDELT et GKG. Le schéma final comprend 14 catégories d'événements principales et 40 sous-types.
- Données : Le benchmark comprend 9 979 phrases annotées contenant 7 813 mentions d'événements. Le jeu de données est divisé en :
  - Texte de presse propre : 5 320 phrases provenant de grands journaux bangladais.
  - Transcriptions ASR du monde réel : 4 659 phrases issues de diffusions vidéo de nouvelles, capturant les erreurs de transcription naturelles, les variations dialectales et les expressions familières.
  - Bruit orthographique simulé : Le jeu de test propre a été corrompu à l'aide d'un algorithme basé sur des modèles courants de frappe en bengali (ex. : substitutions phonétiques, erreurs de proximité de clavier) à des taux de corruption de mots (WCR - Word Corruption Rates) de 10 % à 40 %.
- Annotation : Les données ont été annotées par six annotateurs humains avec un $\kappa$ de Cohen de 0,72, suivi d'un processus d'arbitrage en deux étapes.
Architectures de modèles et entraînement :
- Encodeur uniquement : BanglaBERT (Base/Large) et XLM-RoBERTa (Base/Large) ont été affinés pour des tâches de classification de jetons (token classification).
- Décodeur uniquement : Des LLM ajustés par instruction (Llama 3.1/3.2 et Gemma 3 dans des configurations de 1B, 4B et 8B) ont été entraînés via la génération de séquences structurées. La détection d'événements a été formulée comme une génération de code (dataclasses Python) avec des directives d'annotation optionnelles intégrées sous forme de docstrings dans le prompt.
- Stratégies d'entraînement : Les modèles ont été évalués sous deux conditions : un entraînement exclusivement sur des données propres et un entraînement sur un ensemble combiné de données propres et de transcriptions ASR bruitées.
Protocole d'évaluation :
- La performance a été mesurée via le Macro-F1 pour tenir compte du déséquilibre des classes.
- La robustesse a été quantifiée par la dégradation de la performance ( $\Delta F1$ ) entre les ensembles de tests propres et les conditions bruitées (AS part de l'ASR et orthographique).
- Une analyse spécifique utilisant le test exact de McNemar a distingué la « corruption du déclencheur » (bruit sur le mot de l'événement lui-même) de la « corruption du contexte » (bruit sur les mots environnants).

Principales contributions

Ontologie généralisée et Benchmark : La publication de la première ontologie d'événements d'actualité en bengali généralisée et d'un jeu de données de référence couvrant le texte propre, l'ASR réel et le bruit orthographique simulé.
Comparaison architecturale : Une évaluation systématique comparant les architectures de type encodeur et de type décodeur à travers différentes tailles de paramètres et niveaux de bruit.
Aperçus sur la robustesse : La première étude complète de la robustesse de l'ED en bengali sous le bruit ASR réel et le bruit orthographique simulé, révélant des compromis architecturaux distincts.

Résultats

Compromis architectural : Les modèles de type encodeur uniquement (ex. : BanglaBERT Large) atteignent une performance plus élevée sur le texte propre (Macro F1 ~68,9) mais subissent une dégradation substantielle sous le bruit (jusqu'à 14,6 points). En revanche, les LLM de type décodeur uniquement (ex. : Llama 3.1 8B) présentent une performance de pointe plus faible sur le texte propre mais font preuve d'une robustesse nettement plus élevée, avec des chutes de performance significativement plus faibles (ex. : ~2,7 points).
Corruption du déclencheur vs Contexte : Les LLM de type décodeur uniquement surpassent considérablement les encodeurs lorsque le déclencheur de l'événement lui-même est corrompu. Cependant, lorsque la corruption est confinée au contexte et que le déclencheur reste intact, l'écart de performance se réduit, et les encodeurs performent de manière comparable ou supérieure.
Impact des directives d'annotation : L'intégration des directives d'annotation lors de l'ajustement par instruction améliore systématiquement la performance sur les données propres et bruitées, mais produit des résultats incohérents concernant la réduction de la dégradation de la performance ( $\Delta F1$ ).
Impact de l'entraînement combiné : L'entraînement sur un mélange de données propres et bruitées sert de stratégie de régularisation efficace. Il bénéficie de manière disproportionnée aux architectures d'encodeurs, réduisant considérablement l'écart de robustesse avec les LLM (ex. : réduisant la dégradation de BanglaBERT de 14,6 à 7,9 points).
Mise à l'échelle des modèles (Scaling) : L'augmentation de la taille des modèles améliore systématiquement la robustesse des LLM de type décodeur uniquement (ex. : les modèles 8B sont plus robustes que les modèles 1B). Inversement, le passage de l'échelle des modèles encodeurs de Base à Large améliore la performance sur le texte propre mais n'améliore pas systématiquement la robustesse ; dans certains cas, les encodeurs plus larges sont même plus sensibles au bruit.

Signification et affirmations
L'article affirme fournir la première évaluation complète de la robustesse des modèles de langage pour la détection d'événements en bengali dans des environnements bruités. Il souligne une limitation critique de la recherche actuelle en ED : la dépendance aux benchmarks de textes propres masque la fragilité des modèles d'encodeurs de pointe dans des scénarios réels. Les auteurs concluent que, bien que les encodeurs excellent dans la localisation précise du déclencheur dans un texte propre, les LLM de type décodeur uniquement offrent une solution plus robuste pour les applications réelles et bruitées, particulièrement lorsque le déclencheur de l'événement lui-même est corrompu. De plus, l'étude suggère que l'entraînement combiné sur des données propres et bruitées est une stratégie vitale pour améliorer la robustesse des encodeurs, les rendant potentiellement viables pour les environnements bruités sans nécessiter l'échelle des modèles de type décodeur uniquement. Ce travail souligne la nécessité d'évaluer les systèmes d'ED au-delà des benchmarks de textes propres, en particulier pour les langues à faibles ressources.