Résumé technique : Évolution guidée par LLM pour les pipelines de décision médicale

Énoncé du problème

L'adaptation des grands modèles de langage (LLM) à des flux de travail cliniques spécialisés repose généralement sur deux approches coûteuses : le réglage fin (fine-tuning) gourmand en calculs, nécessitant de grands ensembles de données annotées et des ressources GPU, ou l'ingénierie manuelle de prompts et de pipelines, qui dépend d'un raffinement itératif par l'humain dans la boucle. Cette dernière méthode est souvent chronophage, difficile à reproduire et incohérente selon les praticiens. Bien que l'optimisation MAP-Elites guidée par LLM ait émergé comme une alternative au moment de l'inférence pour les domaines généraux, son application aux pipelines de décision médicale, sensibles à la sécurité, reste limitée. Les études existantes ciblent principalement des benchmarks généraux ou des prompts isolés, plutôt que l'optimisation de procédures de décision exécutables où les prompts, la logique de contrôle, les politiques d'interaction et les contraintes de sortie peuvent tous évoluer simultanément.

Méthodologie

Les auteurs proposent d'utiliser l'évolution MAP-Elites guidée par LLM comme un cadre d'inférence pour découvrir des stratégies de décision médicale sans ajuster les modèles de tâches sous-jacents. L'approche utilise GigaEvo, un framework open-source pour la recherche de qualité-diversité, où un LLM gelé agit comme un opérateur de mutation pour réécrire des artefacts candidats (programmes, politiques ou prompts) sur la base de fonctions de fitness spécifiques à la tâche.

Le framework a été évalué à travers trois contextes distincts de raisonnement clinique :

1. Triage d'urgence : Optimisation de l'attribution des niveaux d'urgence (Urgence, Non-urgence, Auto-soins) sous des risques cliniques asymétriques. Les candidats sont des modules Python exécutables qui décomposent la logique de décision, utilisent la recherche documentaire (retrieval) et appliquent des mécanismes de vote. Les fonctions de fitness privilégient le rappel de l'urgence (emergency recall) et la précision pondérée par la sécurité.
2. Consultation interactive : Optimisation de l'acquisition séquentielle de preuves dans des dialogues multi-tours. Les candidats implémentent des politiques d'abstention pour décider quand poser des questions de suivi plutôt que de s'engager sur une réponse finale. L'objectif est d'améliorer la frontière précision-coût (précision de la réponse vs utilisation de tokens).
3. Classification d'images médicales : Optimisation de stratégies basées uniquement sur le prompt pour des modèles de vision-langage (VLM) figés. Les candidats sont des modules Python qui génèrent des prompts pour des modèles MedGemma figés afin de classifier des radiographies thoraciques pédiatriques (PneumoniaMNIST), en imposant une validité stricte du format JSON.

Dans tous les contextes, le processus d'évolution sélectionne des candidats performants à travers des dimensions comportementales (ex: précision vs rappel, ou précision vs coût) plutôt que d'optimiser pour un maximum global unique, préservant ainsi la diversité des solutions.

Contributions clés

Le papier apporte trois contributions principales :

1. Démonstration de l'efficacité : Les auteurs démontrent que l'évolution MAP-Elites guidée par LLM peut générer et affiner des stratégies de décision médicale qui égalent ou surpassent les baselines conçues manuellement dans trois contextes de décision distincts (triage, consultation et classification d'images).
2. Évaluation complète : L'étude fournit des analyses quantitatives et qualitatives des gains, examinant la précision, les comportements liés à la sécurité (ex: taux de sous-triage), les coûts d'interaction, le transfert entre modèles et la généralisation sur des données non vues.
3. Aperçu mécaniste : Les auteurs démontrent que les gains de performance proviennent de mécanismes interprétables au niveau du programme plutôt que d'une simple reformulation superficielle de prompts. Ceux-ci incluent des frontières de triage calibrées, une acquisition de preuves ciblée, des stratégies d'engagement sélectif et des règles de décision visuelles orientées vers la découverte.

Résultats clés

Triage (Semigran & MIMIC-ESI)

• Benchmark Semigran : Le meilleur programme évolué (SG-c1189) a augmenté la précision de 77,3 % à 87,1 % et le rappel de l'urgence de 0,60 à 0,97, surpassant significativement le meilleur programme initial et les autres baselines LLM publiées (hors médecins humains). Il a maintenu un rappel élevé pour l'auto-soin, évitant la solution dégénérée de la sur-prédiction des urgences.
• Benchmark MIMIC-ESI : Le meilleur programme évolué (MIMIC-023) a atteint 62,0 % de précision exacte et 77,0 % de précision de plage (incluant un sur-triage plus sûr), surpassant les baselines conçues à la main et rivalisant avec les systèmes assistés par RAG. Il a réduit le sous-triage sévère de 3,6 % à 1,2 % par rapport aux baselines fortes.
• Transfert : Les stratégies évoluées ont été transférées efficacement vers des backbones LLM inédits (ex: variantes de Qwen, GPT-oss) sans modification de code. Cependant, la spécialisation sur l'ensemble Semigran a conduit à un sur-triage conservateur sur l'ensemble indépendant de Levine, soulignant le compromis entre spécialisation orientée sécurité et robustesse.

Consultation interactive (iMEDQA & iCRAFTMD)

• Les politiques évoluées ont amélioré la frontière précision-coût sur plusieurs modèles (Llama-3, Qwen-3.5, Gemma-4).
• Sur Llama-3-8B, la stratégie évoluée a amélioré la précision de +3,1 % tout en réduisant l'utilisation de tokens de 89,6 %.
• Sur Gemma-4-31B, elle a permis une réduction massive de l'utilisation de tokens de 92,6 % avec seulement une baisse marginale de précision (75,6 % contre 76,4 % pour la baseline).
• Ces gains se sont transférés au dataset iCRAFTMD (non utilisé pour l'entraînement), confirmant que les stratégies améliorent la qualité de la décision sans simplement augmenter la longueur de l'interaction.

PneumoniaMNIST (Classification d'images)

• L'évolution du prompt seul a amélioré les modèles MedGemma figés à toutes les résolutions testées (28x28 à 224x224).
• Pour MedGemma-27B à 224x224, le prompt évolué a atteint 84,46 % de précision et 83,88 % de macro-F1, surpassant le meilleur seed initial.
• Les gains ont été plus prononcés pour les petits modèles (MedGemma-4B) à basses résolutions, où les prompts évolués ont efficacement ajusté les seuils de décision pour les entrées visuelles ambiguës.

Signification et affirmations

Le papier affirme que l'évolution guidée par LLM est un outil prometteur, reproductible pour découvrir des stratégies de décision médicale efficaces, inspectables et adaptables. Contra-irement au fine-tuning, cette approche opère au moment de l'inférence, ce qui la rend pratique pour adapter des modèles gelés sous des métriques explicites et des contraintes de sortie structurées.

Les auteurs soulignent que les améliorations proviennent de mécanismes interprétables au niveau du programme :

• Triage : Recalibrage des frontières de décision pour prioriser la sécurité (rappel d'urgence) sans sacrifier la spécificité.
• Consultation : Allocation du budget computationnel à l'incertitude, utilisation de la sélection de questions basée sur l'utilité, et application de la cohérence interne (self-consistency) uniquement lors des étapes d'engagement forcé.
• Classification d'images : Transformation de prompts fixes en politiques de décision visuelles exécutables qui vérifient des signes radiologiques spécifiques (ex: bronchogrammes aériens, consolidation) plutôt que de s'appuyer sur une classification générique.

Les auteurs maintiennent une position modeste, notant que ces systèmes sont des prototypes de recherche et non des substituts à une validation clinique prospective, à un étalonnage robuste ou à une gouvernance de la sécurité. Ils reconnaissent des limites, notamment le risque de surapprentissage sur de petits benchmarks (Semigran), la nature rétrospective des données MIMIC-ESI, et les coûts de recherche non négligeables engendrés lors de l'évolution au moment de l'inférence. Cependant, ils soutiennent que cette méthode offre une alternative viable pour optimiser les pipelines médicaux là où l'ingénierie manuelle est incohérente et le fine-tuning irréalisable.