The Metric Picks the Winner: Evaluation Choice Flips Model Rankings for Drug-Response Prediction in Unseen Chemistry

Imaginez que vous essayiez de prédire comment un type spécifique de cellule (une cellule immunitaire THP-1) réagira lorsque vous lui donnez un nouveau médicament qu'elle n'a jamais vu auparavant. La cellule possède des milliers d'« interrupteurs » (gènes) qui peuvent être activés ou désactivés. Votre objectif est de deviner exactement quels interrupteurs vont bouger et de combien, simplement en regardant la structure chimique du médicament.

Ce document traite d'une compétition (le défi VCPI) où des scientifiques ont tenté de construire des programmes informatiques pour faire ces devinettes. Les auteurs ont découvert quelque chose de surprenant : le vainqueur de la compétition ne dépendait pas de quel programme informatique était le plus « intelligent », mais entièrement de la manière dont les juges décidaient de noter les réponses.

Voici l'histoire de leur découverte, décomposée en parties simples :

1. La partie difficile : une nouvelle chimie

Le véritable défi n'est pas de prédire la réaction d'une cellule à un médicament qu'elle a vu mille fois. La partie difficile est de prédire les réactions à de nouvelles structures chimiques que l'ordinateur n'a jamais rencontrées.

• L'analogie : Imaginez que vous êtes un chef qui a cuisiné des milliers de recettes. Si je vous demande de cuisiner un plat utilisant des ingrédients que vous n'avez jamais vus auparavant, vous pourriez simplement deviner « Je vais faire une soupe » (le devin de la moyenne). La compétition demandait : pouvez-vous réellement comprendre le profil de saveur de ce nouvel ingrédient, ou allez-vous simplement deviner la moyenne ?

2. Les trois étapes de l'expérience

Les auteurs ont construit un pipeline avec trois niveaux de complexité pour tester différentes approches :

• Étape A (Les devinettes stupides) : Ils ont commencé par les réponses les plus simples possibles.
  • Devinette 1 : « Ne rien faire » (la cellule reste telle quelle).
  • Devinette 2 : « Faire la moyenne » (la cellule réagit comme elle l'a fait à tous les médicaments précédents combinés).
  • Résultat : Ces devinettes simples sont étonnamment difficiles à battre.
• Étape B (Le bibliothécaire) : Ce modèle agit comme un bibliothécaire. Lorsqu'un nouveau médicament arrive, il cherche les médicaments les plus similaires qu'il a déjà vus et dit : « Ce nouveau médicament ressemble à 90 % au Médicament X et à 10 % au Médicament Y, donc il réagira probablement comme un mélange de ces deux-là. »
  • Le piège : Cela fonctionne très bien si le nouveau médicament ressemble à un ancien. Mais si le nouveau médicament a une structure complètement différente (un « scaffold » différent), le bibliothécaire ne trouve aucun livre similaire et échoue lamentablement.
• Étape C (Le modèle de fusion) : C'est la solution sophistiquée des auteurs. Elle combine un « cerveau chimique » (un modèle de deep learning qui comprend les structures chimiques) avec l'aide du bibliothécaire. Il essaie de prédire la différence entre la « devinette de la moyenne » et la réponse réelle.

3. Le rebondissement majeur : la métrique choisit le vainqueur

Les auteurs ont testé leurs modèles en utilisant deux systèmes de notation différents (métriques).

• Système de notation A (Le « Proxy ») : Ce système examinait si le modèle prédisait bien le comportement moyen de tous les gènes.
  • Le résultat : La « Devinette stupide » (un simple modèle mathématique linéaire) a gagné ! Les modèles de deep learning sophistiqués et le modèle du bibliothécaire ont semblé médiocres. Il semblait que « les bases simples gagnent » et que l'IA complexe était inutile.
• Système de notation B (La « Réelle » métrique du concours) : Ce système a été conçu pour ne s'intéresser qu'aux gènes qui ont réellement été modifiés par le médicament. Il ignorait les gènes qui n'ont pas bougé.
  • Le résultat : Les classements ont totalement basculé.
  • La « Devinette stupide » est devenue le pire prédicteur.
  • Les modèles de Deep Learning sophistiqués et le Modèle de Fusion ont gagné.
  • Le modèle linéaire simple qui a gagné sous le Système A était désormais le pire prédicteur conscient de la chimie.

La métaphore :
Imaginez un test où vous devez deviner la météo.

• La Métrique A vous note sur la proximité de votre prédiction avec la température moyenne de l'année. Si vous devinez « 21°C » chaque jour, vous obtenez un score élevé car la moyenne est de 21°C.
• La Métrique B ne vous note que les jours où il a réellement plu ou neigé. Si vous devinez simplement « 21°C », vous obtenez un zéro car vous avez manqué la pluie.
• Le papier a montré que le « Simple Baseline » (deviner 21°C) gagne la Métrique A, mais que le « Modèle Intelligent » (qui prédit la pluie) gagne la Métrique B. Le papier soutient que la Métrique B est celle qui compte pour le concours, et que sous cette métrique, les modèles d'IA complexes sont les véritables vainqueurs.

4. Ce que les modèles ont réellement appris

Les auteurs ne se sont pas arrêtés aux scores. Ils ont regardé à l'intérieur du modèle gagnant pour voir ce qu'il apprenait.

• Ils ont décomposé les prédictions « supplémentaires » du modèle (la partie qui n'était pas juste la moyenne) en groupes de gènes.
• Ces groupes correspondaient à de réelles histoires biologiques :
  • Un groupe concernait le stress (comme une cellule réagissant à une toxine).
  • Un autre concernait la division cellulaire (croissance).
  • Un autre concernait l'inflammation (lutte contre l'infection).
  • Un autre concernait le manque d'oxygène.
• Cela a prouvé que le modèle ne faisait pas que des nombres aléatoires ; il apprenait réellement des motifs biologiques concrets.

5. Le curseur d'incertitude

Le modèle comprenait également un « compteur de confiance ». Il pouvait vous dire : « Je suis très sûr de cette prédiction » ou « Je devine ».

• Sur des données réelles, ce compteur fonctionnait bien. Quand le modèle disait qu'il était incertain, il avait généralement tort. Quand il disait qu'il était sûr, il avait généralement raison. Cela aide les scientifiques à savoir quelles prédictions ils peuvent croire.

Résumé

Le papier conclut par un avertissement à la communauté scientifique : la façon dont vous mesurez le succès change qui gagne.

• Si vous utilisez une métrique simple, vous pourriez penser que l'IA complexe est inutile et que les mathématiques simples sont les meilleures.
• Si vous utilisez la métrique correcte et spécifique (celle qui se concentre sur les changements réels causés par un médicament), les modèles d'IA complexes sont les grands vainqueurs.

Les auteurs ont soumis leur « Modèle de Fusion » (celui combinant le deep learning et la recherche/retrieval) au concours car, sous les vraies règles du jeu, c'est le meilleur prédicteur. Ils ont prouvé que l'histoire du « les bases simples gagnent » est souvent une simple illusion créée par une mauvaise façon de noter les résultats.