Auditing demographic bias in AI-based emergency police dispatch: a cross-lingual evaluation of eleven large language models

Riepilogo Tecnico: Audit del Bias Demografico nella Dispacciamento Poliziesco di Emergenza Basato su IA

Enunciato del Problema
I Large Language Models (LLM) sono sempre più integrati in sistemi di pubblica sicurezza ad alto rischio, specificamente per il triage delle chiamate di emergenza e il supporto alle decisioni di dispacciamento. Sebbene gli LLM siano stati valutati per applicazioni cliniche e legali, la loro equità demografica nel dispacciamento poliziesco di emergenza rimane largamente non testata. Questo divario è critico perché i sistemi di dispacciamento si basano su registri storici delle chiamate e classificazioni riportate dagli agenti—fonti dati in cui i pregiudizi razziali e socioeconomici sono documentati empiricamente. Di conseguenza, i sistemi di IA addestrati o perfezionati con tali dati rischiano di perpetuare le disparità esistenti su scala operativa. A differenza del triage clinico, il dispacciamento poliziesco coinvolge trascrizioni vocali in tempo reale, una scala di classificazione distinta (Sistema di Dispacciamento Prioritario della Polizia) e la conseguenza diretta di dispiegare personale armato. La letteratura esistente manca di un quadro sistematico per valutare il bias degli LLM in questo specifico contesto utilizzando quadri operativi validati e disegni di scenario controllati.

Metodologia: Il Framework LLM-DispatchBias
Gli autori introducono LLM-DispatchBias, un quadro di audit cross-linguistico progettato per isolare l'effetto dei segnali demografici sulla classificazione del dispacciamento. La metodologia impiega un disegno controllato di coppie minime su 11 LLM all'avanguardia, 15 coppie di scenari, tre categorie demografiche e due lingue (inglese e mandarino cinese), generando 19.800 output del modello.

• Scala di Classificazione: Lo studio opera il Sistema di Dispacciamento Prioritario della Polizia (PPDS) come una scala ordinale a cinque livelli: OMEGA (nessuna risposta) fino a ECHO (risposta specializzata immediata). Questo ancoraggio la valutazione alle conseguenze operative del mondo reale piuttosto che alla valutazione soggettiva del sentiment.
• Disegno dello Scenario: Il framework utilizza 15 coppie di scenari che coprono l'intero spettro delle minacce (dalle richieste non urgenti alle situazioni di ostaggio attive). Ogni coppia consiste in una "Variante A" (contenente un segnale demografico specifico) e una "Variante B" (un controllo neutro o una variante con segnale contrapposto).
  • Aspetto Religioso: Segni di abbigliamento islamico (turbante, hijab, kufi) o nomi musulmani vs. nessun segnale.
  • Genere: Individui codificati come maschi vs. individui codificati come femmine (chiama, vittima o sospetto) in incidenti altrimenti identici.
  • Razza: Descrizione esplicita di un sospetto come "uomo nero" vs. nessuna descrizione razziale.
• Controlli Sperimentali: Per garantire la robustezza, lo studio controlla la variazione della forma superficiale randomizzando le frasi di "apertura-chiusura" nelle trascrizioni. I modelli vengono interrogati a temperatura zero per eliminare il rumore stocastico. La valutazione abbraccia 11 modelli provenienti da tradizioni di sviluppo americane, cinesi ed europee.
• Quantificazione del Bias: Il bias è misurato come delta del bias ($\Delta$), calcolato come la media del punteggio PPDS della Variante A meno la Variante B. Un delta positivo indica un'escalation (maggiore urgenza), mentre un delta negativo indica una de-escalation.

Risultati Chiave
Lo studio rivela che il bias demografico nel dispacciamento basato su LLM non è una proprietà fissa, ma nasce dall'interazione tra segnali demografici, ambiguità contestuale e lingua.

1. Concentrazione del Bias nell'Ambiguità: Il bias sistematico emerge principalmente in scenari in cui la gravità dell'incidente è ambigua (ad esempio, stazionamento, borse abbandonate, dispute domestiche senza lesioni confermate). In scenari con eventi violenti chiari e in corso (ad esempio, situazioni di ostaggio attive, aggressioni assistite), i modelli convergono sulla corretta classificazione ad alta priorità (DELTA/ECHO) indipendentemente dai segnali demografici. L'entità del bias è significativamente più alta negli scenari ambigui ($p < 5.5 \times 10^{-10}$).
2. Variazione dell'Asse Demografico: L'entità del bias varia per categoria. L'aspetto religioso ha prodotto il maggiore bias assoluto medio ($|\Delta| = 0.193$), seguito dal genere ($0.117$) e dalla razza ($0.082$).
   • Aspetto Religioso: Gli effetti sono stati eterogenei; alcuni scenari (ad esempio, borsa abbandonata) hanno innescato un'escalation, mentre altri (ad esempio, stazionamento presso un monumento) hanno innescato una de-escalation, contraddicendo le teorie semplici di amplificazione degli stereotipi.
   • Genere: Il bias è stato direzionale basato sulla vittimizzazione. Le vittime codificate come femmine hanno ricevuto sistematicamente priorità più alta rispetto alle vittime codificate come maschi.
   • Razza: Contrariamente ai pregiudizi umani documentati, i segnali razziali espliciti hanno spesso portato a una de-escalation (ridotta urgenza) negli scenari ambigui, suggerendo una possibile sovracorrezione RLHF o strutture di bias diverse.
3. Asimmetria Cross-Linguistica: Il bias non si trasferisce coerentemente tra le lingue.
   • Il bias di genere è stato sostanzialmente amplificato nel mandarino cinese (circa il doppio dell'entità dell'inglese).
   • Il bias razziale è stato più pronunciato in inglese (circa il doppio dell'entità del mandarino).
   • Il bias religioso è stato leggermente più alto in inglese.
   • Le analisi aggregate tra le lingue oscurano queste inversioni per categoria, portando a una sottostima del bias nelle valutazioni monolingue.
4. Variabilità del Modello: L'entità del bias è variata significativamente tra i 11 modelli testati. DeepSeek e Claude hanno mostrato il bias complessivo più alto, mentre Llama-4-Maverick ha mostrato il più basso. Non è stato osservato un chiaro divario Est-Ovest nei modelli di bias; i profili di bias erano altamente specifici per singoli modelli e categorie demografiche.

Significato e Affermazioni
Il documento rivendica tre contributi principali:

1. Evidenza Empirica del Bias Dipendente dal Contesto: Lo studio dimostra che il bias degli LLM nel dispacciamento non è uniforme; è una proprietà del contesto di input. Il bias emerge precisamente dove è richiesta la discrezione dell'operatore umano (chiamate ambigue), rispecchiando i modelli trovati nella letteratura sugli operatori umani.
2. Infrastruttura Metodologica: Il contributo principale è il framework LLM-DispatchBias stesso. Ancorando l'audit al stabile quadro operativo PPDS e utilizzando un disegno di coppia minima, gli autori forniscono uno strumento scalabile e agnostico rispetto al modello. Ciò consente alle agenzie di dispiegamento di valutare i modelli candidati su scenari rilevanti per la giurisdizione prima dell'adozione nel mondo reale, spostando la responsabilità dalla documentazione accademica retrospettiva agli acquisti proattivi.
3. Necessità di Audit Cross-Linguistici: I risultati mettono in discussione la sufficienza delle valutazioni monolingue. Il documento sostiene che la valutazione cross-linguistica è un requisito sostanziale di misurazione, non meramente un controllo di robustezza, poiché la direzione e l'entità del bias possono invertirsi o scalare significativamente a seconda della lingua di operazione.

Gli autori concludono che, sebbene i modelli specifici testati saranno superati, il disegno dell'audit rimane un meccanismo duraturo per garantire l'equità nei sistemi di dispacciamento basati sull'IA mentre entrano nell'uso operativo.