SMARTER: A Data-efficient Framework to Improve Toxicity Detection with Explanation via Self-augmenting Large Language Models

1. Problématique

La modération de contenu sur les réseaux sociaux est cruciale pour lutter contre la toxicité (haine, cyberharcèlement, etc.), mais elle fait face à deux défis majeurs :

• Coût des données et de l'annotation : Développer des modèles robustes nécessite de vastes ensembles de données annotées par des humains, ce qui est coûteux et lent, surtout pour des concepts nuancés comme la haine implicite.
• Opacité des décisions : Les modèles de classification traditionnels fournissent souvent une décision binaire sans explication, rendant le processus de modération peu transparent et difficile à auditer.
• Limites des API commerciales : Bien que performantes, les solutions commerciales (APIs) sont coûteuses, manquent de transparence et peuvent souffrir d'une grande variabilité de performance en few-shot learning (apprentissage avec peu d'exemples).

L'objectif est donc de créer un cadre efficace en données (data-efficient) capable de détecter la toxicité tout en fournissant des explications interprétables, en utilisant uniquement une fraction des données d'entraînement habituelles.

2. Méthodologie : Le Framework SMARTER

SMARTER (Self-augMentAtion Regimen Towards Efficient Content ModeRation) est un cadre en deux étapes conçu pour optimiser les Grands Modèles de Langage (LLMs) ouverts (ici Llama-3.1-8B-Instruct et COT-T5-XL) avec très peu de données.

Étape 1 : Auto-augmentation par Optimisation des Préférences (Self-Augmentation)

Cette étape vise à améliorer la performance d'un LLM individuel en exploitant ses propres sorties pour générer des données d'entraînement supplémentaires.

• Pré-entraînement SFT : Les modèles sont d'abord affinés (Supervised Fine-Tuning) sur un corpus général de toxicité (HateCOT) pour les sensibiliser au domaine.
• Génération de données synthétiques : Pour un petit échantillon de données (K-shot, ex: 16 à 256 exemples), le modèle génère des explications non seulement pour l'étiquette correcte (Gold Label), mais aussi pour les étiquettes incorrectes.
• Création de paires de préférence :
  • Paire Chosen (Préférée) : Explication générée pour l'étiquette correcte.
  • Paire Rejected (Rejetée) : Explication générée pour une étiquette incorrecte.
• Optimisation : Ces paires sont utilisées pour entraîner le modèle via des techniques d'alignement :
  • DPO (Direct Preference Optimization) : Optimise la politique du modèle directement sans modèle de récompense intermédiaire.
  • KTO (Kahneman-Tversky Optimization) : Une alternative basée sur la théorie des perspectives, utilisant des données de préférence list-wise (binaire : acceptable/non acceptable).
• Résultat de l'étape 1 : Le modèle apprend à distinguer les explications correctes des incorrectes, améliorant ainsi sa capacité de raisonnement et de classification.

Étape 2 : Raffinement Inter-Modèle (Cross-Model Refinement)

Cette étape exploite la synergie entre deux modèles différents (par exemple, un modèle de type encodeur-décodeur comme T5 et un modèle décodeur-only comme Llama).

• Transfert de style et de raisonnement : Un modèle (ex: T5) est entraîné sur les explications générées par un autre modèle (ex: Llama) sur un ensemble de données disjoint.
• Objectif : Permettre aux modèles plus faibles d'adopter les schémas de raisonnement et les styles d'explication des modèles plus performants, sans dégrader leurs performances de classification.
• Processus : Combinaison de SFT (Supervised Fine-Tuning) et de DPO sur les sorties du modèle partenaire.

3. Contributions Clés

1. Framework SMARTER : Une approche en deux étapes qui combine l'auto-augmentation par préférences et le raffinement inter-modèle pour la modération de contenu explicable.
2. Efficacité des données : Démonstration qu'il est possible d'atteindre des performances de pointe avec seulement 6 % à 57 % des données d'entraînement nécessaires pour un entraînement complet.
3. Explicabilité native : Le modèle produit simultanément une classification et une justification textuelle, répondant au besoin de transparence.
4. Comparaison avec l'état de l'art : Le cadre surpasse les modèles commerciaux (GPT-4o-mini, GPT-4.1, etc.) en few-shot learning, notamment en évitant la forte variance observée dans les approches par In-Context Learning (ICL).

4. Résultats Expérimentaux

Les expériences ont été menées sur trois tâches de classification : HateXplain, Latent Hate et Implicit Hate.

• Amélioration des performances : SMARTER a permis d'augmenter le score Macro-F1 de jusqu'à 13,5 % par rapport aux modèles de base en few-shot (K=128/256).
• Performance avec peu de données :
  • Avec seulement 256 exemples (K=256), les modèles SMARTER (Llama_DPO-256) atteignent 86 % à 100 % des performances d'un modèle entraîné sur l'ensemble complet des données.
  • Sur la tâche HateXplain, le modèle SMARTER (K=256) obtient un F1 de 0,64, surpassant GPT-5-chat (0,62) et GPT-4o-mini (0,29 en 16-shot).
• Impact du raffinement inter-modèle :
  • Le modèle T5 (initialement plus faible) a bénéficié de l'entraînement sur les sorties de Llama, dépassant même les performances de Llama seul sur certaines tâches (ex: HateXplain et Implicit Hate).
  • Cependant, le transfert inverse (Llama entraîné sur T5) a parfois dégradé les performances de Llama, soulignant l'asymétrie des bénéfices.
• Qualité des explications :
  • Une évaluation humaine a montré une préférence marquée pour les explications de Llama sur les posts "Normaux", mais une préférence partagée pour les posts "Haineux".
  • L'analyse par Inférence en Langage Naturel (NLI) a confirmé une haute cohérence (>96 %) entre les explications, les étiquettes prédites et les définitions, bien que le raffinement inter-modèle introduise une légère augmentation des contradictions marginales.

5. Signification et Implications

• Déploiement durable et contrôlable : SMARTER offre une alternative viable aux API commerciales coûteuses, permettant aux organisations de déployer des systèmes de modération transparents, contrôlables et peu coûteux en termes de données.
• Stratégie pour les environnements à faible ressources : Le cadre démontre que l'auto-amélioration des LLMs via des données synthétiques générées par eux-mêmes est une stratégie puissante pour surmonter le manque de données annotées.
• Importance de l'humain : Malgré l'automatisation, l'étude souligne la nécessité d'une supervision humaine périodique, en particulier pour valider la cohérence des explications après un raffinement inter-modèle et pour éviter les biais potentiels.
• Limitations : Le travail se concentre actuellement sur l'anglais et nécessite une validation humaine plus large pour d'autres langues et contextes culturels.

En conclusion, SMARTER propose une voie prometteuse pour rendre la modération de contenu à la fois précise, explicable et économiquement viable, en tirant parti de la capacité d'auto-amélioration des LLMs ouverts.