A Multi-Agent Framework for Mitigating Dialect Biases in Privacy Policy Question-Answering Systems

Sintesi Tecnica: Un Framework Multi-Agente per Mitigare i Bias Dialettali nei Sistemi di Risposta a Domande sulle Politiche di Privacy

Problematica
Le politiche sulla privacy sono fondamentali per informare gli utenti sulla raccolta e l'uso dei dati, tuttavia la loro complessità spesso le rende inaccessibili. Sebbene i sistemi di Question Answering (QA) sulle Politiche di Privacy mirino a colmare questo divario, i modelli esistenti mostrano disparità di prestazioni significative tra i diversi dialetti dell'inglese. I modelli standard, tipicamente addestrati sull'Inglese Americano Standard (SAE), faticano con le varietà non standard come l'African American Vernacular English (AAVE), l'inglese giamaicano e l'inglese aborigeno. Questo bias dialettale svantaggia in modo sproporzionato le comunità marginalizzate, limitando la loro capacità di accedere e comprendere i propri diritti alla privacy. Gli approcci attuali per mitigare tali bias richiedono spesso estesi dati di addestramento o fine-tuning specifici per il dialetto, il che è spesso impraticabile in domini sensibili come la privacy e il ragionamento legale a causa della scarsità di dati e dei vincoli etici.

Metodologia
Gli autori propongono un nuovo framework multi-agente ispirato ai principi del design centrato sull'uomo per mitigare i bias dialettali senza richiedere il riaddestramento specifico per il compito o grandi dataset dialettali. Il sistema opera attraverso una collaborazione strutturata tra due agenti specializzati:

1. Agente Dialettale (Dialect Agent): Agendo come esperto linguistico, questo agente riceve la query dell'utente in un dialetto non standard specifico. Viene istruito con informazioni di base dettagliate riguardanti le sfumature fonetiche, grammaticali, lessicali e culturali del dialetto. I suoi compiti primari sono:

   • Traduzione: Convertire la query dialettale in Inglese Americano Standard (SAE) preservando l'intento originale e il contesto culturale.
   • Validazione: Valutare la risposta finale generata dall'Agente della Privacy per garantire che sia allineata con l'intento dialettale originale dell'utente, segnalando potenziali malintesi causati da espressioni specifiche del dialetto.

2. Agente della Politica della Privacy (Privacy Policy Agent): Agendo come esperto di dominio, questo agente elabora la query tradotta in SAE rispetto al testo pertinente della politica sulla privacy. Genera una risposta iniziale e una razionale basandosi strettamente sul contenuto della policy.

Processo di Raffinamento Iterativo:
Il framework impiega un ciclo di feedback per garantire l'accuratezza. Se l'Agente Dialettale identifica discrepanze tra la risposta dell'Agente della Privacy e l'intento dialettale originale dell'utente, innesca una fase di riconsiderazione. L'Agente della Privacy affina quindi la sua risposta sulla base del feedback dell'Agente Dialettale. Questo ciclo si ripete per un massimo di due iterazioni per bilanciare i guadagni di prestazione con l'efficienza computazionale.

Contributi Chiave

• Benchmarking Comprensivo: Il documento fornisce un benchmark esaustivo dei bias dialettali attraverso i modelli linguistici di grandi dimensioni (LLM) allo stato dell'arte, inclusi GPT-4o-mini, Llama 3.1 e DeepSeek-R1, applicati ai dataset PrivacyQA e PolicyQA.
• Nuovo Framework Multi-Agente: Gli autori introducono un framework capace di operare in modalità zero-shot e few-shot che integra la conoscenza dialettale diretta tramite prompting anziché tramite il fine-tuning del modello. Questo approccio consente al sistema di adattarsi ai dialetti minoritari senza raccogliere grandi quantità di dati di addestramento.
• Analisi di Ablazione ed Errore: Lo studio include un'analisi dettagliata delle componenti del framework, dimostrando l'impatto specifico delle informazioni di background dialettale e della frequenza degli interventi correttivi dell'Agente Dialettale.

Risultati
Valutato sui dataset PrivacyQA e PolicyQA utilizzando il framework Multi-VALUE per generare variazioni dialettali, il metodo proposto produce miglioramenti significativi:

• Guadagni di Accuratezza: Su PrivacyQA, il framework ha migliorato l'accuratezza zero-shot di GPT-4o-mini da 0,394 a 0,601. Su PolicyQA, l'accuratezza è aumentata da 0,352 a 0,464.
• Riduzione del Bias: Il framework ha ridotto sostanzialmente le disparità di prestazione tra i dialetti. Per GPT-4o-mini su PrivacyQA, la differenza massima nei punteggi F1 tra i dialetti (Max Diff) è stata ridotta da 0,093 a 0,025, rappresentando una riduzione del 82% della disparità.
• Competitività: L'approccio multi-agente zero-shot ha spesso eguagliato o superato le prestazioni dei baseline few-shot che utilizzavano ulteriori esempi in contesto, dimostrando l'efficacia della collaborazione strutturata.
• Generalizzabilità: Miglioramenti sono stati osservati in tutti i modelli e i dialetti testati, inclusi RAAVE, giamaicano, aborigeno, gallese e dialetti del sud-ovest dell'Inghilterra. In particolare, il framework ha anche migliorato leggermente le prestazioni su SAE, suggerendo che il processo di raffinamento collaborativo avvantaggia tutti gli utenti.

Significatività e Rivendicazioni
Il documento sostiene che il suo approccio offra una soluzione scalabile e leggera per migliorare l'equità nei sistemi NLP, particolarmente in domini ad alto rischio come la privacy dove la raccolta di dati per il fine-tuning è difficile. Sfruttando il prompting strutturato e la collaborazione multi-agente, il framework dimostra che l'integrazione del contesto dialettale e culturale può migliorare significativamente l'equità del modello senza dati di addestramento aggiuntivi. Gli autori sottolineano che progettare sistemi NLP con una consapevolezza della diversità linguistica è essenziale per garantire un accesso equo alle informazioni critiche. Suggeriscono che, sebbene il loro metodo dipenda da dati dialettali sintetici ed etichette dialettali esplicite, esso evidenzia il potenziale di "piccole, ben informate modifiche alle strategie di prompting" per avere un impatto significativo nella riduzione del bias in contesti zero-shot. Il lavoro futuro suggerito esplora il rilevamento automatico del dialetto e l'applicazione di questo framework ad altri domini ad alto rischio come l'IA medica e legale.