ConfHit: Conformal Generative Design with Oracle Free Guarantees

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous êtes un chef cuisinier génial qui vient d'inventer une nouvelle recette de gâteau. Vous avez un robot (le modèle génératif) qui peut créer des milliers de variations de ce gâteau en quelques secondes. Le problème ? Vous n'avez pas le temps ni l'argent pour goûter chaque gâteau individuellement pour voir s'il est bon. Vous devez choisir un petit groupe de gâteaux à envoyer au four pour une dégustation finale (l'expérience en laboratoire).

Le défi est double :

La certitude : Êtes-vous sûr à 95 % que, parmi les gâteaux que vous allez envoyer, il y en a au moins un de délicieux ?
L'efficacité : Pouvez-vous réduire ce groupe à seulement 3 ou 4 gâteaux, au lieu de 50, sans perdre cette certitude ?

C'est exactement le problème que résout CONFHIT, présenté dans cet article de recherche. Voici une explication simple de comment cela fonctionne, sans jargon technique.

1. Le Problème : Le Robot a des "Hallucinations"

Dans le monde de la découverte de médicaments (ou de la chimie), les intelligences artificielles (IA) sont très douées pour imaginer de nouvelles molécules. Mais elles ont un défaut : elles ne savent pas toujours si ce qu'elles imaginent est réel ou si ça va marcher dans la vraie vie.

Les méthodes actuelles pour vérifier si une molécule est bonne ont un gros problème : elles ont besoin d'un "Oracle" (un expert divin). Dans la vraie vie, cet oracle, c'est le laboratoire chimique. Mais faire des expériences en laboratoire coûte cher et prend du temps. On ne peut pas demander à l'oracle de goûter 10 000 gâteaux avant de choisir les 5 à envoyer.

De plus, les molécules que le robot invente sont souvent un peu différentes de celles qu'il a vues dans son entraînement (c'est ce qu'on appelle un "décalage de distribution"). C'est comme si le robot apprenait à cuisiner avec des pommes, mais qu'on lui demandait soudainement de cuisiner avec des poires. Les anciennes méthodes se trompent souvent dans ce cas.

2. La Solution : CONFHIT, le "Contrôleur de Qualité" Intelligent

CONFHIT est un nouveau système qui permet de faire confiance au robot sans avoir besoin de l'Oracle divin, et même si le robot change de style de cuisine.

Voici comment il fonctionne, avec une analogie :

A. La Balance des Poids (L'ajustement de la densité)

Imaginez que vous avez un vieux livre de recettes (vos données d'entraînement) et que le robot crée de nouvelles recettes (les nouvelles molécules). Les nouvelles recettes utilisent des ingrédients un peu différents.
CONFHIT utilise une balance magique (appelée ratio de densité). Il dit : "Attends, cette nouvelle recette ressemble à une vieille recette que j'ai déjà vue, mais avec un ingrédient en plus. Je vais donc lui donner un poids plus lourd dans mon calcul."
Cela permet de comparer les nouvelles créations aux anciennes de manière équitable, même si elles ne sont pas exactement les mêmes.

B. Le Jeu de Cartes Brouillées (L'échangeabilité pondérée)

Pour savoir si un groupe de gâteaux contient au moins un bon gâteau, CONFHIT joue à un jeu de cartes.

Il prend ses vieilles recettes (les données de calibration) et les nouvelles recettes du robot.
Il les mélange (brouille) de manière aléatoire, mais en gardant en tête les poids de la balance magique.
Il regarde : "Si je mélange tout ça, est-ce que la recette originale du robot se distingue vraiment des autres ?"
Si la recette du robot se distingue clairement (comme un gâteau avec un goût unique), alors il y a de fortes chances qu'elle soit un "hit" (un succès).

C. Le Test en Cascades (La certification et le design)

C'est ici que CONFHIT devient brillant pour l'économie d'argent.

Certification : Il prend un gros tas de 50 gâteaux. Il fait le test. Si le résultat dit "Oui, il y a au moins un bon gâteau ici avec 95 % de certitude", il valide le tas.
Design (Raffinement) : Au lieu de s'arrêter là, il regarde le tas et dit : "Peut-on enlever 10 gâteaux et garder la certitude ?" Puis "Peut-on en enlever encore 10 ?".
Il continue de réduire le tas, comme un entonnoir, jusqu'à ce qu'il ne reste que le nombre minimal de gâteaux nécessaire pour garder la promesse de sécurité.

3. Pourquoi c'est révolutionnaire ?

Pas besoin de laboratoire immédiat : Vous n'avez pas besoin de tester les molécules pour savoir si le groupe est valide. Le système mathématique vous le garantit.
Économie d'argent : Au lieu de tester 50 molécules pour en trouver une bonne, vous pouvez souvent vous contenter de tester 3 ou 4, tout en ayant la même garantie de succès.
Robuste : Même si le robot fait des erreurs ou si les données changent, CONFHIT s'adapte et ne vous donne pas de faux espoirs.

En résumé

CONFHIT est comme un chef de cuisine statistique très prudent. Il ne vous dit pas : "Ce gâteau est sûr d'être bon." Il vous dit plutôt : "Je ne peux pas garantir que ce gâteau précis est bon, mais je vous garantis à 95 % que si vous goûtez ce petit panier de 3 gâteaux, vous trouverez au moins un gâteau délicieux."

Cela permet aux scientifiques de faire des découvertes plus vite, avec moins d'argent, et avec une confiance totale dans leurs résultats. C'est une méthode "agnostique", ce qui signifie qu'elle fonctionne avec n'importe quel type de robot (modèle génératif), qu'il soit un VAE, un Transformateur ou un modèle de diffusion.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

Le domaine de la découverte de médicaments et de la conception de matériaux repose de plus en plus sur des modèles génératifs profonds pour explorer des espaces chimiques à haute dimension. Cependant, un défi majeur persiste : la génération de candidats novateurs ne suffit pas ; il est crucial de garantir que ces candidats possèdent les propriétés biochimiques désirées (par exemple, une forte affinité de liaison) avant de procéder à des validations expérimentales coûteuses (tests in vitro ou in vivo).

Les méthodes existantes de prédiction conforme (Conformal Prediction - CP) offrent un cadre pour fournir des garanties statistiques sur les prédictions de modèles "boîte noire". Néanmoins, leur application directe à la conception générative dans des contextes à ressources limitées (comme la découverte de médicaments) se heurte à trois obstacles majeurs :

Contraintes budgétaires : Il n'est pas toujours possible de générer un nombre suffisant d'échantillons pour trouver un "hit" (candidat valide).
Absence d'Oracle : Les méthodes CP classiques nécessitent un oracle capable d'évaluer les nouveaux échantillons générés (par exemple, en les comparant à une vérité terrain expérimentale). En découverte de médicaments, cela impliquerait de synthétiser et tester chaque molécule générée, ce qui est inenvisageable avant la phase finale.
Décalage de distribution (Distribution Shift) : Les candidats générés suivent souvent une distribution différente des données de calibration historiques, violant l'hypothèse d'échangeabilité requise par la CP standard.

Le papier pose la question centrale suivante : Étant donné un modèle génératif, comment construire des lots d'échantillons générés qui peuvent être garantis, avec un haut niveau de confiance statistique, contenir au moins un "hit" valide, sans accès à un oracle expérimental et en tenant compte des décalages de distribution ?

2. Méthodologie : Le Framework CONFHIT

Les auteurs proposent CONFHIT, un cadre agnostique au modèle qui répond à deux questions fondamentales :

Certification : Peut-on garantir qu'un lot généré contient au moins un hit avec un niveau de confiance $1-\alpha$ ?
Conception (Design) : Peut-on affiner ce lot en un ensemble compact (plus petit) tout en conservant cette garantie ?

La solution repose sur trois piliers techniques :

A. Échangeabilité Pondérée et Estimation de Densité

Pour contourner l'absence d'oracle et gérer le décalage de distribution, CONFHIT exploite la structure d'échangeabilité entre les données de calibration historiques (étiquetées, mais sans hits) et les échantillons générés.

Le cadre suppose un décalage de covariables (covariate shift) entre la distribution des données de calibration $P$ et celle des données générées $Q$ .
Il utilise un rapport de densité $w(x) = dQ/dP(x)$ pour pondérer les échantillons. Ce rapport est estimé (par exemple, via des estimateurs de densité à noyau - KDE) plutôt que d'être supposé connu.
Cela induit une échangeabilité pondérée, permettant d'adapter les tests conformes sans nécessiter que les échantillons générés soient échangeables entre eux, mais plutôt qu'ils soient échangeables avec les données de calibration une fois pondérés.

B. P-value Conforme Pondérée pour Échantillons Multiples

Pour le problème de certification, CONFHIT construit une p-value conforme pondérée conjointe pour un lot de $N$ échantillons générés.

L'hypothèse nulle est que aucun des échantillons du lot n'est un hit (c'est-à-dire que toutes les propriétés $Y=0$ ).
Le test utilise une fonction de score de conformité $V$ (basée sur un prédicteur de propriété pré-entraîné, comme un classifieur binaire) et des permutations aléatoires des données de calibration et des échantillons tests.
La p-value est calculée en comparant le score observé aux scores obtenus par permutation, pondérés par le rapport de densité estimé.
Théorème 3.1 : Sous l'hypothèse de décalage de covariables, cette p-value contrôle le taux d'erreur de type I, garantissant que la probabilité de certifier faussement un lot sans hit est inférieure à $\alpha$ .

C. Test Emboîté Conforme (Conformal Nested Testing)

Pour le problème de conception, l'objectif est de trouver le plus petit sous-ensemble de candidats qui reste certifié.

Les auteurs considèrent une séquence d'hypothèses nulles $H_k$ : "Aucun des $k$ premiers échantillons générés n'est un hit".
Ils construisent une séquence de p-values $p_k$ pour chaque sous-ensemble de taille $k$ .
La stratégie d'arrêt consiste à sélectionner le plus petit $k$ tel que $p_k \le \alpha$ .
Théorème 3.4 : Grâce à la nature emboîtée des hypothèses (si $H_k$ est vraie, alors $H_{k-1}$ l'est aussi), une séquence monotone de p-values valides suffit à garantir le contrôle de l'erreur globale, sans nécessiter de corrections pour tests multiples (comme Bonferroni) qui seraient trop conservatrices.

3. Contributions Clés

Garantie de validité sans Oracle : CONFHIT est le premier cadre à fournir des garanties de validité pour la conception générative sans nécessiter l'évaluation expérimentale des échantillons générés pendant le processus de sélection.
Correction du décalage de distribution : L'intégration de l'estimation du rapport de densité permet de corriger les biais entre les données historiques et les nouvelles générations, assurant la validité des garanties même en cas de changement de distribution.
Cadre de test emboîté : La proposition d'un mécanisme de test emboîté permet de produire des ensembles de candidats compacts (réduisant le coût de validation) tout en maintenant des garanties statistiques rigoureuses.
Robustesse et Diagnostic : Le papier propose des diagnostics pratiques (tests de balance, analyse de sensibilité) pour évaluer la qualité de l'estimation du rapport de densité et la robustesse du cadre face aux erreurs d'estimation.

4. Résultats Expérimentaux

Les auteurs ont évalué CONFHIT sur deux tâches représentatives de conception de molécules :

Optimisation de molécules contraintes (CMO) : Générer des molécules similaires à un "seed" mais améliorant une propriété (ex: DRD2, QED).
Découverte de médicaments basée sur la structure (SBDD) : Générer des ligands se liant à une poche protéique spécifique (modèles TargetDiff, DecompDiff, MolCRAFT).

Résultats principaux :

Contrôle d'erreur strict : CONFHIT maintient systématiquement le taux d'erreur empirique (fréquence de certification de lots sans hit) en dessous du niveau cible $\alpha$ , sur une large gamme de modèles génératifs (VAE, Transformers, Diffusion) et de budgets de génération.
Efficacité (Power) : Le cadre détecte les vrais hits avec une puissance satisfaisante.
Compacité des ensembles : Par rapport aux méthodes de certification seule ou aux corrections de Bonferroni (qui produisent souvent des ensembles vides ou exhaustent tout le budget), CONFHIT réussit à réduire la taille des listes de candidats certifiés (souvent à 2-5 molécules) tout en conservant la garantie de validité.
Robustesse : Les expériences montrent que même avec des estimateurs de densité imparfaits ou des prédicteurs de propriété bruités, le contrôle de l'erreur reste valide (bien que la puissance puisse diminuer).

5. Signification et Impact

CONFHIT établit un nouveau standard pour l'application de l'apprentissage automatique dans la découverte scientifique. En éliminant le besoin d'un oracle expérimental coûteux et en corrigeant les décalages de distribution inhérents aux processus génératifs, il rend la conception générative fiable et déployable dans des environnements réels aux ressources limitées.

Ce travail permet aux chercheurs de :

Allouer leurs budgets expérimentaux de manière plus intelligente, en ne testant que les candidats les plus prometteurs identifiés statistiquement.
Réduire le risque de gaspiller des ressources sur des candidats non viables.
Intégrer des garanties formelles de sécurité et de performance dans les pipelines de découverte de médicaments, protéines et matériaux.

En résumé, CONFHIT transforme la génération de molécules d'un processus purement exploratoire en un processus garanti et contrôlé, comblant le fossé entre la puissance des modèles génératifs et les exigences rigoureuses de la validation scientifique.