A Multi-Agent Framework for Mitigating Dialect Biases in Privacy Policy Question-Answering Systems

Resumo Técnico: Um Framework Multiagente para Mitigar Vieses Dialetais em Sistemas de Questionamento de Políticas de Privacidade

Declaração do Problema
As políticas de privacidade são fundamentais para informar os usuários sobre a coleta e o uso de dados, mas sua complexidade muitas vezes as torna inacessíveis. Embora os sistemas de Questionamento de Políticas de Privacidade (QA) visem preencher essa lacavra, os modelos existentes exibem disparidades de desempenho significativas entre dialetos do inglês. Os modelos padrão, tipicamente treinados em Inglês Americano Padrão (SAE), têm dificuldades com variedades não padronizadas, como o Inglês Afro-Americano (AAVE), o Inglês Jamaicano e o Inglês Aborígene. Esse viés dialetal desfavorece desproporcionalmente comunidades marginalizadas, limitando sua capacidade de acessar e compreender seus direitos de privacidade. As abordagens atuais para mitigar esses vieses frequentemente exigem treinamento ou ajuste fino (fine-tuning) extensivo para cada dialeto específico, o que é frequentemente inviável em domínios sensíveis como privacidade e raciocínio jurídico devido à escassez de dados e restrições éticas.

Metodologia
Os autores propõem um novo framework multiagente inspirado em princípios de design centrado no ser humano para mitigar vieses dialetais sem exigir o retreinamento específico para tarefas ou grandes conjuntos de dados dialetais. O sistema opera por meio de uma colaboração estruturada entre dois agentes especializados:

1. Agente de Dialeto: Atuando como um especialista linguístico, este agente recebe a consulta do usuário em um dialeto não padrão específico. Ele é instruído com informações de base detalhadas sobre as nuances fonéticas, gramaticais, lexicais e culturais do dialeto. Suas principais tarefas são:

   • Tradução: Converter a consulta dialetal em Inglês Americano Padrão (SAE), preservando a intenção original e o contexto cultural.
   • Validação: Avaliar a resposta final gerada pelo Agente de Privacidade para garantir que ela se alinhe com a intenção dialetal original do usuário, sinalizando possíveis mal-entendidos causados por frases específicas do dialeto.

2. Agente de Política de Privacidade: Atuando como um especialista no domínio, este agente processa a consulta traduzida para SAE contra o texto relevante da política de privacidade. Ele gera uma resposta inicial e uma justificativa baseada estritamente no conteúdo da política.

Processo de Refinamento Iterativo:
O framework emprega um ciclo de feedback para garantir a precisão. Se o Agente de Dialeto identificar discrepâncias entre a resposta do Agente de Privacidade e a intenção dialetal original do usuário, ele aciona uma etapa de reconsideração. O Agente de Privacidade, então, refina sua resposta com base no feedback do Agente de Dialeto. Este ciclo se repete por um máximo de duas iterações para equilibrar ganhos de desempenho com eficiência computacional.

Principais Contribuições

• Benchmarking Abrangente: O artigo fornece um benchmark exaustivo de vieses dialetais em modelos de linguagem de grande escala (LLMs) de última geração, incluindo GPT-4o-mini, Llama 3.1 e DeepSeek-R1, aplicados aos conjuntos de dados PrivacyQA e PolicyQA.
• Novo Framework Multiagente: Os autores introduzem um framework capaz de zero-shot e few-shot que integra conhecimento dialetal direto via prompting, em vez de fine-tuning do modelo. Essa abordagem permite que o sistema se adapte a dialetos minoritários sem a necessidade de coletar grandes quantidades de dados de treinamento.
• Ablação e Análise de Erros: O estudo inclui uma análise detalhada dos componentes do framework, demonstrando o impacto específico das informações de base sobre o dialeto e a frequência das intervenções corretivas do Agente de Dialeto.

Resultados
Avaliado nos conjuntos de dados PrivacyQA e PolicyQA usando o framework Multi-VALUE para gerar variações dialetais, o método proposto produz melhorias significativas:

• Ganhos de Precisão: No PrivacyQA, o framework melhorou a precisão zero-shot do GPT-4o-mini de 0,394 para 0,601. No PolicyQA, a precisão aumentou de 0,352 para 0,464.
• Redução de Viés: O framework reduziu substancialmente as disparidades de desempenho entre os dialetos. Para o GPT-4o-mini no PrivacyQA, a diferença máxima de pontuação F1 entre dialetos (Max Diff) foi reduzida de 0,093 para 0,025, representando uma redução de 82% na disparidade.
• Competitividade: A abordagem multiagente zero-shot frequentemente igualou ou superou o desempenho de baselines de few-shot que utilizavam exemplos adicionais de contexto, demonstrando a eficácia da colaboração estruturada.
• Generalização: Melhorias foram observadas em todos os modelos e dialetos testados, incluindo RAAVE, Jamaicano, Aborígene, Galês e dialetos do Sudoeste da Inglaterra. Notavelmente, o framework também melhorou ligeiramente o desempenho no SAE, sugerindo que o processo de refinamento colaborativo beneficia todos os usuários.

Significância e Alegações
O artigo alega que sua abordagem oferece uma solução escalável e leve para aumentar a equidade em sistemas de PLN, particularmente em domínios de alto risco como privacidade, onde a coleta de dados para fine-tuning é difícil. Ao alavancar o prompting estruturado e a colaboração multiagente, o framework demonstra que incorporar o contexto dialetal e cultural pode melhorar significativamente a equidade do modelo sem dados de treinamento adicionais. Os autores enfatizam que projetar sistemas de PLN com consciência da diversidade linguística é essencial para garantir o acesso equitativo a informações críticas. Eles sugerem que, embora seu método dependa de dados dialetais sintéticos e rótulos dialetais explícitos, ele destaca o potencial de "pequenas modificações bem informadas nas estratégias de prompting" para ter um impacto significativo na redução de vieses em configurações zero-shot. Sugere-se que trabalhos futuros explorem a detecção automática de dialetos e a aplicação deste framework em outros domínios de alto risco, como saúde e IA jurídica.