Layer Wise IndoBERT Representation Evolution for Indonesian Misinformation Detection

Résumé Technique : Évolution de la Représentation de l'IndoBERT par Couche pour la Détection de la Désinformation en Indonésien

Énoncé du Problème
La prolifération rapide de la désinformation sur les réseaux sociaux, particulièrement dans les langues à faibles ressources comme le bahasa indonésien, présente un défi critique pour les systèmes de détection automatisés. Les « hoaxes » (fausses informations) dans ce contexte reposent souvent sur des glissements sémantiques subtils, un cadrage émotionnel et une manipulation contextuelle plutôt que sur des faussetés explicites, ce qui les rend difficiles à détecter à l'aide de indices lexicaux de surface. Bien que les modèles basés sur les transformers, spécifiquement IndoBERT, aient démontré de solides performances prédictives dans la détection de fake news en indonésien, ils sont principalement traités comme des « boîtes noires ». La recherche existante se concentre sur les mesures de précision (précision, rappel, score F1), mais manque de perspectives sur la manière dont les caractéristiques pertinentes pour la tâche sont encodées, transformées et consolidées à travers les couches internes du réseau. De plus, les différences fonctionnelles entre les différentes stratégies de représentation de phrases (par exemple, les jetons [CLS] versus les plongements par moyenne de pooling) dans ce domaine restent inexplorées.

Méthodologie
L'étude emploie un cadre d'analyse systématique des représentations par couche appliqué à des modèles IndoBERT affinés (variantes Base, Large et Lite) entraînés sur une tâche de détection binaire de hoaxes.

• Jeu de données : Un jeu de données organisé de 11 200 articles de presse complets (équilibrés entre hoaxes et non-hoaxes) a été construit en intégrant des données provenant de portails d'actualités professionnels indonésiens et de plateformes de vérification des faits certifiées. Les données ont été divisées en 80 % pour l'entraînement, 10 % pour la validation et 10 % pour les tests.
• Entraînement du Modèle : Plusieurs variantes d'IndoBERT ont été affinées de bout en bout en utilisant l'optimiseur Adam (taux d'apprentissage $2 \times 10^{-5}$, taille de lot 32) pendant un maximum de 10 époques avec un arrêt précoce (early stopping).
• Extraction de Représentation : L'étude extrait les états cachés de tous les layers du transformer ($H_0$ à $H_L$). Deux stratégies distinctes de représentation au niveau de la phrase sont analysées :
  1. Représentation basée sur [CLS] : l'état caché du jeton de classification spécial.
  2. Représentation par moyenne de pooling (mean-pooled) : la moyenne de tous les plongements de jetons de la séquence.
• Métrique d'Analyse : La similitude cosinus est calculée entre les plongements de phrases de couches adjacentes pour quantifier le changement de représentation. Une similitude plus faible indique une transformation significative, tandis qu'une similitude plus élevée suggère une stabilité ou une convergence.
• Analyse Qualitative : L'étude inclut une inspection des échantillons mal classés, de la sensibilité à la longueur de l'entrée et de l'impact du bruit du monde réel (par exemple, erreurs d'encodage, artefacts de scraping) pour contextualiser les résultats quantitatifs.

Résultats Clés

1. Performance Prédictive : Les modèles IndoBERT affinés ont atteint des performances élevées, IndoBERT-Base atteignant une précision de 98 % et un score F1 de 99 %, surpassant de manière significative les bases classiques (Naïve Bayes, LSTM) et le modèle multilingue mBERT.
2. Évolution de la Représentation en Trois Phases : L'analyse de similitude par couche a révélé une progression constante et non linéaire des représentations à travers toutes les variantes d'IndoBERT :
   • Couches Précoces (Stabilité) : Une similitude élevée entre les couches adjacentes indique que le traitement initial préserve les structures linguistiques et syntaxiques pré-entraînées.
   • Couches Intermédiaires (Transformation) : Les baisses les plus substantielles de la similitude cosinus se produisent dans les couches intermédiaires (environ les couches 4 à 9). Cela indique une zone de réorganisation représentationnelle active où les caractéristiques sémantiques spécifiques à la tâche sont progressivement formées et affinées.
   • Couches Supérieures (Convergence) : La similitude augmente à nouveau dans les dernières couches, suggérant une stabilisation et une convergence vers des représentations alignées sur la tâche.
3. Différenciation Fonctionnelle des Représentations :
   • Représentations [CLS] : Présentent des transitions plus nettes et une spécialisation plus agressive dans les couches moyennes, s'alignant étroitement sur l'objectif de classification.
   • Représentations par Moyenne de Pooling : Montrent des transitions sémantiques plus fluides et graduelles à travers les couches, préservant une continuité sémantique distribuée.
4. Observations de Robustesse : L'analyse qualitative a révélé que les erreurs de classification sont souvent causées par des distorsions d'entrée de bas niveau (par exemple, erreurs d'encodage, jetons fragmentés) plutôt que par une ambiguïté sémantique de haut niveau. Ces artefacts perturbent la géométrie représentationnelle dans les couches précoces et moyennes, empêchant les couches supérieures de former des plongements stables alignés sur la tâche. De plus, le modèle a montré une sensibilité à la longueur de l'entrée, peinant avec les textes tronqués qui manquent de indices contextuels suffisants pour la restructuration des couches moyennes.

Signification et Revendications
L'article affirme que sa contribution principale est de déplacer le focus analytique de la simple performance prédictive vers la dynamique interne des représentations des modèles transformers dans la détection de la désinformation en langue à faibles ressources.

• Aperçu Empirique : L'étude fournit des preuves empiriques que l'IndoBERT ne raffine pas les représentations de manière linéaire. Au lieu de cela, elle identifie les couches moyennes comme les « zones de transformation » critiques où les caractéristiques liées aux hoaxes émergent et sont réorganisées, tandis que les couches supérieures servent à consolider ces caractéristiques.
• Interprétabilité : En caractérisant les rôles distincts des plongements [CLS] et de la moyenne de pooling, ce travail souligne que la synthèse orientée vers la tâche et la continuité sémantique distribuée évoluent différemment au sein d'une même architecture.
• Implication Pratique : Les conclusions suggèrent que le succès d'IndoBERT dans la détection de hoaxes est une conséquence de ce raffinement progressif et structuré. Par conséquent, la fiabilité du modèle est étroitement liée à la qualité des représentations d'entrée ; le bruit de bas niveau peut déstabiliser toute la hiérarchie représentationnelle, même si le classificateur final est très précis.
• Direction Future : Les auteurs postulent que la compréhension de ces dynamiques internes peut éclairer le développement de modèles basés sur les transformers plus efficaces, plus interprétables et dotés de bases diagnostiques, permettant potentiellement des architectures à sortie précoce (early-exit) ou une meilleure gestion des données réelles bruitées.

L'étude conclut que, bien que les mesures de performance confirment l'efficacité d'IndoBERT, l'analyse par couche est essentielle pour comprendre comment le modèle traite des phénomènes linguistiques complexes comme l'ambiguïté et la manipulation du discours, offrant ainsi une base pour des systèmes de détection de la désinformation plus robustes et transparents.