A Multi-Agent Framework for Mitigating Dialect Biases in Privacy Policy Question-Answering Systems

Résumé technique : Un cadre multi-agents pour atténuer les biais dialectaux dans les systèmes de questions-réponses sur les politiques de confidentialité

Énoncé du problème
Les politiques de confidentialité sont essentielles pour informer les utilisateurs sur la collecte et l'utilisation des données, pourtant leur complexité les rend souvent inaccessibles. Bien que les systèmes de questions-réponses (QA) sur les politiques de confidentialité visent à combler cette lacune, les modèles existants présentent des disparités de performance significatives selon les dialectes de l'anglais. Les modèles standards, généralement entraînés sur l'anglais américain standard (SAE), peinent face aux variétés non standard telles que l'AAVE (anglais vernaculaire afro-américain), l'anglais jamaïcain et l'anglais aborigène. Ce biais dialectal désavantage de manière disproportionnée les communautés marginalisées, limitant leur capacité à accéder à et comprendre leurs droits en matière de vie privée. Les approches actuelles pour atténuer ces biais nécessitent souvent un entraînement ou un ajustement fin (fine-tuning) spécifique au dialecte, ce qui est fréquemment irréalisable dans des domaines sensibles comme la confidentialité et le raisonnement juridique en raison de la rareté des données et des contraintes éthiques.

Méthodologie
Les auteurs proposent un nouveau cadre multi-agents inspiré des principes de conception centrés sur l'humain pour atténuer les biais dialectaux sans nécessiter de réentraînement spécifique à la tâche ou de grands ensembles de données dialectales. Le système fonctionne grâce à une collaboration structurée entre deux agents spécialisés :

1. L'Agent de Dialecte : Agissant comme un expert linguistique, cet agent reçoit la requête de l'utilisateur dans un dialecte non standard spécifique. Il est guidé par des informations contextuelles détaillées concernant les nuances phonétiques, grammaticales, lexicales et culturelles du dialecte. Ses tâches principales sont :

   • Traduction : Convertir la requête dialectale en anglais américain standard (SAE) tout en préservant l'intention originale et le contexte culturel.
   • Validation : Évaluer la réponse finale générée par l'Agent de Confidentialité pour s'assurer qu'elle correspond bien à l'intention dialectale originale de l'utilisateur, en signalant les malentendus potentiels causés par des formulations spécifiques au dialecte.

2. L'Agent de Politique de Confidentialité : Agissant comme un expert du domaine, cet agent traite la requête traduite en SAE par rapport au texte de la politique de confidentialité concernée. Il génère une réponse initiale et un raisonnement basés strictement sur le contenu de la politique.

Processus de raffinement itératif :
Le cadre utilise une boucle de rétroaction pour garantir l'exactitude. Si l'Agent de Dialecte identifie des divergences entre la réponse de l'Agent de Confidentialité et l'intention dialectale originale de l'utilisateur, il déclenche une étape de reconsidération. L'Agent de Confidentialité affine alors sa réponse en fonction du retour de l'Agent de Dialecte. Cette boucle se répète pour un maximum de deux itérations afin de concilier les gains de performance et l'efficacité computationnelle.

Contributions clés

• Évaluation comparative exhaustive : L'article fournit un benchmark complet des biais dialectaux à travers les modèles de langage de pointe (LLM) tels que GPT-4o-mini, Llama 3.1 et DeepSeek-R1, appliqués aux ensembles de données PrivacyQA et PolicyQA.
• Cadre multi-agents novateur : Les auteurs introduisent un cadre capable de fonctionner en mode "zero-shot" et "few-shot" qui intègre la connaissance directe du dialecte via le prompting plutôt que par le fine-tuning du modèle. Cette approche permet au système de s'adapter aux dialectes minoritaires sans collecter de grandes quantités de données d'entraînement.
• Étude d'ablation et analyse d'erreurs : L'étude comprend une analyse détaillée des composants du cadre, démontrant l'impact spécifique des informations contextuelles dialectales et de la fréquence des interventions correctives de l'Agent de Dialecte.

Résultats
Évaluée sur les ensembles de données PrivacyQA et PolicyQA en utilisant le cadre Multi-VALUE pour générer des variations dialectales, la méthode proposée produit des améliorations significatives :

• Gains de précision : Sur PrivacyQA, le cadre a amélioré la précision "zero-shot" de GPT-4o-mini de 0,394 à 0,601. Sur PolicyQA, la précision est passée de 0,352 à 0,464.
• Réduction des biais : Le cadre a considérablement réduit les disparités de performance entre les dialectes. Pour GPT-4o-mini sur PrivacyQA, la différence maximale de score F1 entre les dialectes (Max Diff) est passée de 0,093 à 0,025, soit une réduction de 82 % de la disparité.
• Compétitivité : L'approche multi-agents en "zero-shot" égale ou surpasse souvent les performances des bases de référence "few-shot" qui utilisent des exemples supplémentaires en contexte, démontant l'efficacité de la collaboration structurée.
• Généralisabilité : Des améliorations ont été observées sur tous les modèles et dialectes testés, notamment le RAAVE, l'anglais jamaïcain, l'anglais aborigène, ainsi que les dialectes du Pays de Galles et du sud-ouest de l'Angleterre. Notamment, le cadre a également légèrement amélioré les performances sur l'anglais américain standard (SAE), suggérant que le processus de raffinement collaboratif bénéficie à tous les utilisateurs.

Signification et affirmations
L'article affirme que son approche offre une solution évolative et légère pour améliorer l'équité des systèmes de NLP, particulièrement dans des domaines à enjeux élevés comme la confidentialité où la collecte de données pour le fine-tuning est difficile. En exploitant le prompting structuré et la collaboration multi-agents, le cadre démontre que l'intégration du contexte dialectal et culturel peut considérablement améliorer l'équité des modèles sans données d'entraînement supplémentaires. Les auteurs soulignent que concevoir des systèmes de NLP avec une conscience de la diversité linguistique est essentiel pour garantir un accès équitable aux informations critiques. Ils suggèrent que, bien que leur méthode repose sur des données dialectales synthétiques et des étiquettes dialectales explicites, elle met en évidence le potentiel de "modifications mineures et bien informées des stratégies de prompting" pour avoir un impact significatif sur la réduction des biais dans les contextes "zero-shot". Des travaux futurs sont suggérés pour explorer la détection automatique des dialectes et l'application de ce cadre à d'autres domaines à enjeux élevés tels que la santé et l'IA juridique.