Ablation Study of a Fairness Auditing Agentic System for Bias Mitigation in Early-Onset Colorectal Cancer Detection

Titolo dello Studio

Studio di Ablazione di un Sistema Agente per l'Audit di Equità nella Mitigazione del Bias nel Rilevamento del Cancro Colorettale a Esordio Precoce

1. Il Problema

L'integrazione dell'Intelligenza Artificiale (AI) nei sistemi clinici è in rapida crescita, ma molti modelli operano con scarsa trasparenza e monitoraggio post-distribuzione, rendendoli vulnerabili a bias algoritmici e rischi di sicurezza.

• Contesto Clinico: Il cancro colorettale a esordio precoce (EO-CRC, diagnosticato prima dei 50 anni) presenta disparità documentate: minoranze razziali ed etniche (in particolare pazienti neri e ispanici), individui con basso status socioeconomico e uomini tendono a ricevere diagnosi ritardate, presentare stadi di malattia più avanzati e avere tassi di sopravvivenza inferiori rispetto ai pazienti bianchi non ispanici.
• Collo di Bottiglia dell'Expertise: Esiste una carenza strutturale di risorse umane esperte per auditare continuamente la sicurezza degli algoritmi. I flussi di lavoro esistenti dipendono da team interdisciplinari scarsi, il che limita la scalabilità, introduce latenza (mesi per gli audit) e impedisce la distinzione contestuale tra diverse forme di danno (es. sottotrattamento vs. sovratrattamento).
• Obiettivo: Valutare se un sistema di AI "agente" autonomo possa colmare questo divario, identificando automaticamente attributi sensibili e raccomandando metriche di equità appropriate per l'audit dei modelli predittivi clinici.

2. Metodologia

Lo studio propone un'architettura a due agenti basata su Large Language Models (LLM) potenziati da Retrieval-Augmented Generation (RAG).

• Architettura degli Agenti:

  1. Domain Expert Agent (Agente 1): Sincronizza la letteratura clinica per identificare i driver delle disparità (es. razza, etnia, status socioeconomico) e genera una sintesi narrativa. Utilizza un corpus di 39 articoli (22 focalizzati sulle disparità, 17 "rumore") indicizzati in un database vettoriale (Chroma).
  2. Fairness Consultant Agent (Agente 2): Utilizza l'output dell'Agente 1 e una libreria curata di metriche di equità (tramite RAG) per raccomandare le metriche appropriate (es. Equal Opportunity, False Negative Rate Parity) e gli attributi sensibili da monitorare.

• Configurazione Sperimentale (Studio di Ablazione):
  Gli autori hanno testato tre modelli LLM open-source di diverse dimensioni (8B, 20B, 120B parametri):

  • Llama 3.1 8B
  • GPT-OSS 20B
  • GPT-OSS 120B

  Per ciascun modello, sono state confrontate tre configurazioni:

  1. LLM Pre-addestrato (Solo): Il modello risponde basandosi solo sulla conoscenza interna.
  2. Agente senza RAG: L'agente esegue il compito con il prompt fornito ma senza recuperare informazioni esterne.
  3. Agente con RAG: L'agente recupera dinamicamente e integra informazioni dal corpus clinico o dalla libreria di metriche durante la generazione.

• Metriche di Valutazione:
  La qualità è stata misurata calcolando la somiglianza semantica (cosine similarity) tra l'output generato e un "ground truth" derivato da esperti clinici e ricercatori di equità algoritmica. Non è stata valutata la correttezza fattuale diretta, ma l'allineamento semantico con le raccomandazioni degli esperti.

3. Contributi Chiave

• Validazione dell'Approccio Agente-RAG: Dimostrazione empirica che i sistemi agentiche combinati con RAG superano significativamente i modelli LLM puri nell'identificazione di disparità cliniche e nella raccomandazione di metriche di equità.
• Analisi Scalabile: Studio comparativo che esamina come la dimensione del modello (parametri) influenzi le prestazioni in un contesto di audit di sicurezza, fornendo indicazioni su quale architettura sia necessaria per diversi livelli di risorse computazionali.
• Framework Riproducibile: Sviluppo di un sistema che può essere eseguito localmente (anche su hardware consumer per i modelli più piccoli), rendendo l'audit di equità più accessibile alle istituzioni sanitarie.

4. Risultati

I risultati sono stati analizzati attraverso test statistici non parametrici (Kruskal-Wallis e Wilcoxon) e confronti a coppie.

• Agente 1 (Esperto di Dominio - Identificazione Disparità):

  • La configurazione Agente con RAG ha ottenuto sistematicamente i punteggi di somiglianza semantica più alti su tutti i modelli (8B, 20B, 120B).
  • L'uso del RAG ha migliorato significativamente le prestazioni rispetto sia al solo LLM che all'agente senza RAG.
  • Il tool di recupero è stato utilizzato nel 100% delle esecuzioni, indicando che la conoscenza esterna è cruciale per identificare correttamente le disparità, indipendentemente dalla dimensione del modello.

• Agente 2 (Consulente di Equità - Scelta Metriche):

  • I risultati sono stati più variabili.
  • Per il modello 8B, il RAG ha mostrato un miglioramento significativo.
  • Per il modello 20B, non sono state osservate differenze statisticamente significative tra le configurazioni, suggerendo che a questa scala il modello potrebbe avere conoscenze interne sufficienti o che l'architettura agenziale non ha aggiunto valore in questo specifico task.
  • Per il modello 120B, le configurazioni basate su agenti hanno superato il solo LLM, ma la differenza tra "Agente con RAG" e "Agente senza RAG" non è stata statisticamente significativa. Il modello più grande ha utilizzato il tool di recupero solo nell'85% dei casi, suggerendo che la sua conoscenza interna è spesso sufficiente per raccomandare metriche di equità.

• Confronto Modelli:

  • Il modello GPT-OSS 120B ha ottenuto i punteggi medi e mediani più alti in assoluto quando combinato con il framework agenziale e RAG.
  • Il modello Llama 3.1 8B ha mostrato prestazioni robuste se potenziato dal RAG, rendendolo un'opzione praticabile per ambienti con risorse limitate.

5. Significato e Implicazioni

• Scalabilità dell'Audit: Lo studio dimostra che i sistemi agenziali con RAG possono scalare l'audit di equità, riducendo la dipendenza da team di esperti umani per ogni singolo modello clinico.
• Ruolo del RAG: L'efficacia del RAG dipende dal task. È fondamentale per l'identificazione di fatti clinici specifici e disparità (Agente 1), mentre per la selezione di concetti teorici come le metriche di equità (Agente 2), i modelli più grandi possono fare affidamento sulla conoscenza pre-addestrata.
• Accessibilità: La dimostrazione che un modello piccolo (8B) con RAG può performare bene suggerisce che le istituzioni sanitarie con budget limitati possono implementare sistemi di audit di equità senza dover affidarsi a modelli LLM massicci e costosi.
• Sicurezza Clinica: Questo approccio offre un meccanismo proattivo per rilevare e mitigare i "fallimenti silenziosi" degli algoritmi prima che causino danni reali ai pazienti, specialmente in contesti ad alto rischio come l'EO-CRC.

In sintesi, il paper conclude che l'integrazione di RAG in un'architettura agenziale è la strategia più efficace per allineare le raccomandazioni AI agli standard degli esperti, con benefici che variano in base alla dimensione del modello e alla natura del compito (fattuale vs. concettuale).