First, Do No Harm (With LLMs): Mitigating Racial Bias via Agentic Workflows

1. Il Problema

L'uso crescente dei Modelli Linguistici su Grande Scala (LLM) in ambito clinico solleva preoccupazioni critiche riguardo alla bias razziale sia nella generazione di testi medici che nel ragionamento clinico. Nonostante i progressi tecnologici, le disuguaglianze strutturali nel sistema sanitario (ad esempio, tassi di mortalità più elevati per le donne afroamericane rispetto alle donne bianche) rischiano di essere ereditate o amplificate dagli algoritmi di IA.
La ricerca identifica due forme principali di bias:

• Bias Implicito: Associazioni inconsce tra gruppi razziali e specifiche malattie o caratteristiche mediche.
• Bias Esplicito: Distorsioni evidenti nelle decisioni cliniche, come diagnosi differenziali o raccomandazioni di trattamento che variano in base all'identità razziale del paziente.
  Attualmente, molte valutazioni si concentrano su singoli modelli e offrono poche soluzioni pratiche per la mitigazione di questi bias, specialmente in contesti regolamentati come quello sanitario.

2. Metodologia

Lo studio adotta una prospettiva di governance basata sull'EU AI Act (in particolare per i sistemi ad alto rischio) per strutturare la valutazione e la documentazione, piuttosto che come audit legale formale.

Design Sperimentale

L'indagine è stata condotta in due fasi principali su cinque LLM diffusi: ChatGPT-4.1, Llama 3.3, DeepSeek V3, Grok 3 e Gemini 2.5 Pro.

• Esperimento I: Valutazione del Bias (Due Sottosperimenti)

  1. Generazione di Casi Paziente Sintetici (Bias Implicito): I modelli hanno generato casi clinici per 10 malattie diverse (es. COVID-19, HIV, diabete) con etichette razziali variabili. Le distribuzioni razziali generate sono state confrontate con dati epidemiologici reali degli USA (dati di base di Zack et al.).
     • Metrica: Test Chi-quadro di bontà di adattamento per misurare la deviazione dalle distribuzioni reali.
  2. Classifica delle Diagnosi Differenziali (Bias Esplicito): Utilizzando 10 casi clinici reali (dal benchmark NEJM Healer), l'identità razziale del paziente è stata modificata sistematicamente. I modelli hanno dovuto generare una lista di 10 diagnosi differenziali.
     • Metrica: Confronto tra le diagnosi generate e quelle degli esperti, utilizzando il test di Mann-Whitney U per valutare le differenze di ranking tra gruppi razziali (p-value, differenza media).

• Esperimento II: Mitigazione tramite Workflow Agentic
  Il modello con le prestazioni migliori in termini di bias (identificato come DeepSeek V3) è stato integrato in un workflow agentic basato su Flowise.

  • Architettura: Un sistema multi-agente che combina:
    1. Search Agent: Utilizza un motore di ricerca web (Brave Search) per raccogliere informazioni contestuali.
    2. RAG Agent (Retrieval-Augmented Generation): Accede a un database vettoriale contenente casi reali e diagnosi esperte.
  • Logica: Il sistema sintetizza le informazioni (90% dalla Knowledge Base, 10% dalla ricerca web) per generare una diagnosi finale, con l'obiettivo di ridurre l'allucinazione e il bias intrinseco del modello.

3. Risultati Chiave

Esperimento I: Confronto tra Modelli

• Generazione di Casi (Bias Implicito): Tutti i modelli hanno mostrato deviazioni significative dalle distribuzioni razziali reali (p-value molto bassi). Tuttavia, GPT-4.1 ha mostrato la deviazione complessiva minore (Chi-quadro medio: 152.23), seguito da DeepSeek V3.
• Diagnosi Differenziale (Bias Esplicito): DeepSeek V3 ha ottenuto i risultati migliori su tutti i metrici:
  • P-value medio più alto (0.7859), indicando una minore significatività statistica delle differenze razziali (quindi meno bias).
  • Differenza media più bassa (0.2588).
  • Nessun caso di bias rilevato statisticamente (p < 0.05) rispetto ad altri modelli che ne hanno mostrati diversi.
• Conclusione parziale: DeepSeek V3 è emerso come il modello con il bias misurato più basso, specialmente nel compito decisionale critico.

Esperimento II: Impatto del Workflow Agentic

L'integrazione di DeepSeek V3 in un workflow agentic ha portato a miglioramenti misurabili nella mitigazione del bias esplicito:

• Miglioramento dei P-value: Il p-value medio è aumentato da 0.7859 a 0.8207, e la mediana è passata a 1.0000.
• Riduzione della Differenza Media: È scesa da 0.2588 a 0.1639.
• Nota: Il tasso di rilevamento del bias è aumentato leggermente (da 0.0000 a 0.0167), suggerendo che il workflow potrebbe rendere più visibili alcune discrepanze, ma complessivamente le metriche indicano una riduzione del bias sistematico rispetto al modello standalone.

4. Contributi Principali

1. Valutazione Multi-Modello e Multi-Metrica: Fornisce un confronto sistematico tra cinque LLM all'avanguardia su due task clinici distinti, utilizzando una combinazione di metriche statistiche (Chi-quadro, Mann-Whitney U) per catturare sia il bias implicito che quello esplicito.
2. Framework di Governance: Utilizza l'EU AI Act come lente concettuale per strutturare la valutazione del rischio e la tracciabilità, allineando la ricerca tecnica ai requisiti normativi emergenti per l'IA sanitaria.
3. Validazione dei Workflow Agentic: Dimostra empiricamente che l'uso di workflow basati su agenti (in particolare RAG + Search) può mitigare efficacemente alcune forme di bias esplicito nelle diagnosi differenziali, offrendo una via pratica per migliorare la sicurezza dei sistemi LLM.
4. Riproducibilità: Il paper rende disponibili prompt, dataset e pipeline di codice su GitHub, promuovendo la trasparenza nella ricerca sull'IA medica.

5. Significato e Implicazioni

Questo studio è significativo perché sposta il focus dalla semplice identificazione del bias alla sua mitigazione attiva attraverso architetture di sistema.

• Sicurezza Clinica: Suggerisce che l'uso di modelli "nudi" (standalone) in contesti ad alto rischio come la diagnosi medica potrebbe essere insufficiente; l'integrazione in workflow agentic con accesso a conoscenze verificate (RAG) è una strategia promettente per allineare le uscite dell'IA alle evidenze epidemiologiche reali.
• Regolamentazione: Fornisce un modello pratico per come gli sviluppatori e i deployer di sistemi ad alto rischio possano soddisfare i requisiti di "gestione del rischio" e "robustezza" richiesti dall'EU AI Act.
• Limitazioni e Futuro: Lo studio riconosce che il workflow attuale non include ancora un componente "human-in-the-loop" (essenziale in clinica reale) e che la valutazione si è concentrata sul ranking delle diagnosi piuttosto che sulla precisione assoluta. Il lavoro futuro dovrà esplorare l'applicazione di questi flussi di lavoro alla generazione di testi medici e l'integrazione di supervisione umana.

In sintesi, il paper conclude che mentre i LLM attuali mostrano ancora bias, l'architettura Agentic Workflow rappresenta un passo avanti cruciale verso sistemi medici più equi, tracciabili e conformi alle normative, in linea con il principio etico di "non nuocere" (First, Do No Harm).