Sintesi Tecnica: Evoluzione Guidata da LLM per Pipeline di Decisione Medica

Definizione del Problema

L'adattamento dei Large Language Models (LLM) a flussi di lavoro clinici specializzati si basa tipicamente su due approcci costosi: il fine-tuning computazionalmente intensivo, che richiede grandi dataset annotati e risorse GPU, o l'ingegneria manuale di prompt e pipeline, che dipende da un raffinamento iterativo con intervento umano (human-in-the-loop). Quest'ultimo è spesso dispendioso in termini di tempo, difficile da riprodurre e incoerente tra i diversi professionisti. Sebbene l'ottimizzazione MAP-Elites guidata da LLM sia emersa come un'alternativa durante l'inferenza per domini generali, la sua applicazione a pipeline decisionali mediche sensibili alla sicurezza rimane limitata. Gli studi esistenti prendono in esame principalmente benchmark generali o prompt isolati, piuttosto che l'ottimizzazione di procedure decisionali eseguibili dove prompt, logica di controllo, politiche di interazione e vincoli di output possono evolvere simultaneamente.

Metodologia

Gli autori propongono l'uso dell'evoluzione MAP-Elites guidata da LLM come framework di inferenza per scoprire strategie decisionali mediche senza effettuare il fine-tuning dei modelli di base del compito. L'approccio utilizza GigaEvo, un framework open-source per la ricerca della qualità-diversità, dove un LLM congelato (frozen) funge da operatore di mutazione per riscrivere artefatti candidati (programmi, policy o prompt) basandosi su funzioni di fitness specifiche per il compito.

Il framework è stato valutato attraverso tre distinti setting di ragionamento clinico:

1. Triage dell'Urgenza: Ottimizzazione dell'assegnazione dei livelli di urgenza (Emergenza, Non-Emergenza, Autocura) sotto rischi clinici asimmetrici. I candidati sono moduli Python eseguibili che decompongono la logica decisionale, utilizzano il recupero (retrieval) e applicano meccanismi di voto. Le funzioni di fitness danno priorità al richiamo (recall) delle emergenze e all'accuratezza pesata sulla sicurezza.
2. Consultazione Interattiva: Ottimizzazione dell'acquisizione sequenziale di evidenze in dialoghi multi-turno. I candidati implementano policy di astensione per decidere quando porre domande di approfondimento rispetto a quando impegnarsi in una risposta finale. L'obiettivo è migliorare la frontiera accuratezza-costo (accuratezza della risposta vs. utilizzo di token).
3. Classificazione di Immagini Mediche: Ottimizzazione di strategie basate solo su prompt per Vision-Language Models (VLM) fissi. I candidati sono moduli Python che generano prompt per modelli MedGemma congelati per classificare radiografie del torace pediatriche (PneumoniaMNIST), imponendo una rigorosa validità dell'output JSON.

In tutti i setting, il processo evolutivo seleziona candidati ad alte prestazioni attraverso dimensioni comportamentali (ad esempio, accuratezza vs. recall, o accuratezza vs. costo) piuttosto che ottimizzare per un singolo massimo globale, preservando la diversità dei tipi di soluzione.

Contributi Principali

Il documento presenta tre contributi primari:

1. Dimostrazione di Efficacia: Gli autori dimostrano che l'evoluzione MAP-Elites guidata da LLM può generare e raffinare strategie decisionali mediche che eguagliano o superano le baseline progettate manualmente in tre distinti setting decisionali (triage, consultazione e classificazione di immagini).
2. Valutazione Completa: Lo studio fornisce analisi quantitative e qualitative dei guadagni, esaminando l'accuratezza, il comportamento relativo alla sicurezza (ad esempio, i tassi di sottotriage), i costi di interazione, il trasferimento tra modelli (cross-model transfer) e la generalizzazione su dati non utilizzati (held-out).
3. Intuizione Meccanicistica: Gli autori dimostrano che i guadagni di prestazione derivano da meccanismi interpretabili a livello di programma piuttosto che da una superficiale riformulazione dei prompt. Questi includono confini di triage calibrati, acquisizione mirata di evidenze, strategie di impegno selettivo e regole decisionali visive orientate alla ricerca di evidenze.

Risultati Chiali

Triage (Semigran & MIMIC-ESI)

• Benchmark Semigran: Il miglior programma evoluto (SG-c1189) ha aumentato l'accuratezza dal 77,3% all'87,1% e il richiamo delle emergenze da 0,60 a 0,97, superando significativamente il miglior programma iniziale e altre baseline LLM pubblicate (esclusi i medici umani). Ha mantenuto un alto richiamo dell'autocura, evitando la soluzione degenera di sovra-predire le emergenze.
• Benchmark MIMIC-ESI: Il miglior programma evoluto (MIMIC-023) ha ottenuto un'accuratezza esatta del 62,0% e un'accuratezza di intervallo del 77,0% (inclusa una gestione più sicura dell'overtriage), superando le baseline progettate a mano e competendo con i sistemi assistiti da RAG. Ha ridotto il sottotriage grave dal 3,6% all'1,2% rispetto alle forti baseline.
• Trasferimento: Le strategie evolute si sono trasferite efficacemente su backbones LLM non visti (ad esempio, varianti Qwen, GPT-oss) senza modifiche al codice. Tuttavia, la specializzazione sul set Semigran ha portato a un overtriage conservativo sul set indipendente Levine, evidenziando il compromesso tra specializzazione orientata alla sicurezza e robustezza.

Consultazione Interattiva (iMEDQA & iCRAFTMD)

• Le policy evolute hanno migliorato la frontiera accuratezza-costo su molteplici modelli (Llama-3, Qwen-3.5, Gemma-4).
• Su Llama-3-8B, la strategia evoluta ha migliorato l'accuratezza del +3,1% riducendo al contempo l'uso di token dell'89,6%.
• Su Gemma-4-31B, ha ottenuto una riduzione massiccia dell'uso di token del 92,6% con solo una marginale perdita di accuratezza (75,6% vs 76,4% della baseline).
• Questi guadagni si sono trasferiti al dataset iCRAFTMD non utilizzato durante l'addestramento, confermando che le strategie migliorano la qualità decisionale senza semplicemente aumentare la lunghezza dell'interazione.

PneumoniaMNIST (Classificazione di Immagini)

• L'evoluzione basata solo su prompt ha migliorato i modelli MedGemma congelati in tutte le risoluzioni testate (da 28x28 a 224x224).
• Per MedGemma-27B a 224x224, il prompt evoluto ha raggiunto un'accuratezza dell'84,46% e un macro-F1 dell'83,88%, superando la migliore seed iniziale.
• I guadagni sono stati più pronunciati per i modelli più piccoli (MedGoma-4B) a risoluzioni inferiori, dove i prompt evoluti hanno efficacementmente calibrato le soglie decisionali per input visivi ambigui.

Significato e Rivendicazioni

Il documento sostiene che l'evoluzione guidata da LLM è uno strumento promettente e riproducibile per scoprire strategie decisionali mediche efficaci, ispezionabili e adattabili. A differenza del fine-tuning, questo approccio opera durante l'inferenza, rendendolo pratico per adattare modelli congelati sotto metriche esplicite e vincoli di output strutturato.

Gli autori sottolineano che i miglioramenti derivano da meccanismi interpretabili a livello di programma:

• Triage: Ricalibrare i confini decisionali per dare priorità alla sicurezza (richiamo delle emergenze) senza sacrificare la specificità.
• Consultazione: Allocare il budget computazionale all'incertezza, utilizzando la selezione delle domande basata sull'utilità e applicando la self-consistency solo nelle fasi di impegno forzato.
• Classificazione di Immagini: Trasformare prompt fissi in politiche decisionali visive eseguibili che controllano specifici reperti radiologici (ad esempio, broncogrammi aerei, consolidamento) invece di affidarsi a una classificazione generica.

Gli autori mantengono una posizione modesta, osservando che questi sistemi sono prototipi di ricerca e non sostituti per la validazione clinica prospettica, la calibrazione robusta o la governance della sicurezza. Riconoscono i limiti, inclusi il rischio di overfitting su piccoli benchmark (Semigran), la natura retrospettiva dei dati MIMIC-ESI e i costi di ricerca non trascurabili incorri in fase di evoluzione durante l'inferenza. Tuttavia, sostengono che questo metodo fornisca un'alternativa valida per ottimizzare le pipeline mediche dove l'ingegneria manuale è incoerente e il fine-tuning è impraticabile.