Résumé technique : Acquisition de caractéristiques active en mode Zero-Shot via l'élicitation par LLM

1. Définition du problème

L'article traite de l'Acquisition de Caractéristiques Active (AFA - Active Feature Acquisition), une tâche de décision séquentielle où un agent doit sélectionner les caractéristiques à observer sous un budget limité pour parvenir à une décision de classification ou de classement. Le goulot d'étranglement central des méthodes d'AFA existantes est leur dépendance vis-à-vis de grands ensembles de données étiquetées pour entraîner des modèles probabilistes qui guident le processus d'acquisition. Cette exigence échoue dans les régimes où l'AFA est le plus précieux : maladies rares, conditions nouvellement caractérisées ou cas de patients atypiques où les données étiquetées sont rares ou inexistantes.

Les auteurs proposent l'AFA Zero-Shot, un cadre qui fonctionne sans données étiquetées spécifiques à la tâche. Ils exploitent les Grands Modèles de Langage (LLM) comme source de connaissances de domaine non supervisées pour construire les modèles probabilistes nécessaires. Cependant, l'article identifie deux obstacles fondamentaux à l'utilisation directe des LLM pour l'AFA :

1. Déficience de planification : Les LLM sont de piètres planificateurs séquentiels. Ils ont tendance à effectuer de l'appariement de formes heuristique plutôt qu'à raisonner sur les implications en cascade et non locales des corrélations entre caractéristiques requises pour un ordonnancement optimal.
2. Problèmes de calibration : Les LLM sont mal calibrés en tant qu'objets probabilistes formels, ce qui les rend peu fiables pour la modélisation "boîte blanche" (conditionnement, marginalisation, optimisation) requise par l'AFA.

L'objectif est de combler cet écart en séparant strictement les rôles : le LLM fournit la connaissance (élicitation), tandis qu'un algorithme classique gère la planification séquentielle.

2. Méthodologie

2.1 Élicitation par MRF discriminatif

Au lieu de demander au LLM de générer des distributions complètes conditionnelles de classe $p(x|H)$ et $p(x|\neg H)$, ce qui est sujet à l'erreur et à l'ambiguïté, le cadre n'élicite que des statistiques discriminatives suffisantes pour un Champ Aléatoire de Markov (MRF). Plus précisément, le LLM est interrogé pour :

• Déviations unaires : Comment une caractéristique $j$ dévie sous l'hypothèse $H=1$ par rapport à $H=0$ ($\Delta \alpha_j = \alpha_{j,1} - \alpha_{j,0}$).
• Co-variations par paires : Comment les caractéristiques $j$ et $l$ co-varient différemment sous les deux hypothèses ($\Delta \psi_{jl} = \psi_{jl,1} - \psi_{jl,0}$).

Ces paramètres définissent un MRF discriminatif où le score pour une entité $v$ est le log-ratio :
$$S_v(x) = \sum \Delta \alpha_j x_j + \sum \Delta \psi_{jl} x_j x_l$$
Cette approche évite la nécessité de modéliser les distributions absolues des classes, s'alignant ainsi sur la nature discriminative de la littérature médicale.

2.2 Résolution de l'ambiguïté de jauge (cas binaire)

Un défi méthodologique critique surgit dans le cadre de la classification binaire : le log-ratio élicité $S_v$ fixe le ratio $p_1/p_0$ mais laisse la "jauge" (l'échelle absolue de $p_0$ et $p_1$) indéfinie. Les critères d'AFA classiques (comme l'Information Mutuelle Conditionnelle) nécessitent des distributions prédictives par classe, qui ne peuvent être calculées à partir du seul ratio.

Les auteurs résolvent cela via une fermeture par Maximum d'Entropie (MaxEnt). Parmi toutes les paires $(p_0, p_1)$ cohérentes avec le log-ratio élicité, le cadre sélectionne la paire qui maximise la somme des entropies $H(p_0) + H(p_1)$. Cela produit une reconstruction univoque et fondée des class-conditionnelles :
$$p_e(x) \propto \exp\left( (-1)^{e-1} S_v(x) / 2 \right), \quad e \in \{0, 1\}$$
Cette fermeture permet l'application des critères d'acquisition informationnels standards dans le contexte zero-shot.

2.3 Politiques d'acquisition

Le cadre opère sur deux configurations : Classification Binaire et Identification Top-k (sélection des $k$ hypothèses les plus soutenues parmi $N$ candidats).

• Scores de préférence : Pour décider entre les hypothèses (ou les entités), le cadre utilise des scores de "duel".
  • Accumulateur de Wald : Une somme déterministe et sans jauge des énergies des caractéristiques observées. Il ignore les caractéristiques non observées mais est exact lors d'une observation complète.
  • Scores de Champ Moyen (Chernoff-Wald / Sign-Vote) : Ils intègrent les caractéristiques non observées en utilisant les class-conditionnelles reconstruites (via MaxEnt pour le binaire, élicitation directe pour le top-k). Ils utilisent la divergence KL attendue ou le Sign-Vote (stack-A) pour scorer les caractéristiques, fournissant une prédiction "douce" qui tient compte du sous-graphe non observé.
• Sélection de caractéristiques : Le cadre évalue les caractéristiques basées sur l'Information Mutuelle Conditionnelle (CMI) ou un nouveau gain F-target (amélioration attendue du score de préférence).
• Allocation Top-k : Pour classer $N$ entités, les auteurs introduisent une règle d'Allocation Pondérée par Priorité. Au lieu d'évaluer toutes les combinaisons $\binom{N}{2}$, les entités sont regroupées dans l'espace des paramètres MRF. Le budget est alloué aux "duels" (comparaisons par paires) qui sont :
  1. Proches de la frontière du top-$k$ (haute influence sur le classement final).
  2. Pas encore résolus (vainqueur incertain).
     Cela réduit l'espace combinatoire de $O(N^2)$ à $O(K)$, où $K$ est le nombre de clusters.

3. Contributions clés

1. Premier cadre d'AFA Zero-Shot : L'article présente la première méthode d'acquisition de caractéristiques active qui ne nécessite aucune donnée étiquetées spécifiques à la tâche, aucun épisode de RL, ni méta-entraînement, en s'appuyant entièrement sur les connaissances élicitées par LLM.
2. Élicitation Discriminative & Fermeture MaxEnt : Un protocole novateur pour extraire uniquement les statistiques suffisantes des LLM et une fermeture MaxEnt fondée pour résoudre l'ambiguïté de jauge résultante, permettant l'utilisation des critères d'AFA classiques.
3. Planification à double voie pour les cas chaotiques : Le cadre utilise à la fois une piste de scoring déterministe (Wald) et une piste probabiliste (Champ Moyen). Les auteurs démontent que pour les patients "chaotiques" (où les observations précoces sont localement incohérentes avec l'étiquette latente), la piste de champ moyen, ancrée par la structure MRF élicitée, surpasse significativement l'accumulateur de Wald.
4. Politique Top-k pondérée par priorité : Une stratégie d'allocation novatrice pour l'identification top-k qui regroupe les entités et priorise le budget vers les paires frontières, améliorant considérablement la précision du classement par rapport aux bases aléatoires ou gourmandes (greedy).
5. Quantification du fossé Connaissance-Planification : En comparant un planificateur formel utilisant les modèles dérivés de LLM contre un planificateur en contexte (in-context) LLM recevant les mêmes modèles, l'étude isole le déficit de "planification" des LLM. L'algorithme formel atteint la même précision avec beaucoup moins d'observations, prouvant que le goulot d'étranglement est la planification, et non la connaissance.

4. Résultats expérimentaux

Le cadre a été évalué sur une cohorte clinique réelle de 167 patients atteints de maladies inflammatoires de l'intestin (MII/IBD) avec 216 caractéristiques d'expression génique et 25 phénotypes cliniques. Les paramètres MRF ont été élicités par un LLM ignorant totalement cette cohorte spécifique.

• Classification Binaire :
  • Contre la vraisemblance d'observation complète (la propre vérité terrain du modèle), le planificateur formel (utilisant la fermeture MaxEnt) atteint 100 % de précision avec l'observation complète et surpasse significativement l'ordonnancement aléatoire tôt dans le processus (ex: +30,6 points de pourcentage à $t=10$).
  • Contre les étiquettes cliniques, le planificateur plafonne à environ 65 % de précision, reflétant un décalage irréductible entre le modèle élicité par LLM et la réalité clinique (erreur biologique).
  • Baselines LLM : Les baselines LLM directes (MRF-LLM et RAG-LLM) recevant les mêmes paramètres élicités ont été nettement moins performantes (0,24–0,46 de précision) que le planificateur formel, confirmant la nécessité de séparer la connaissance de la planification.
• Identification Top-k :
  • Précision du Signe : Sur les patients "chaotiques" (ceux ayant des trajectoires de décision instables), le score de linéarité (champ moyen) a surpassé l'accumulateur de Wald de 34,1 points de pourcentage à $t=2$, ne se resserrant qu'avec l'accumulation de données.
  • Précision du Classement : La règle d'allocation pondérée par priorité a nettement surpassé les baselines aléatoires, gourmandes ou par clustering. À $t=150$, elle a atteint 0,864 de précision de signe, soit un gain de 4,7 points de pourcentage par rapport à la meilleure baseline non-prioritaire.
  • Classement Top-5 : Le cadre s'est approché du plafond irréductible imposé par le décalage MRF-clinique, surpassant nettement les baselines LLM qui ne parviennent pas à utiliser efficacement la structure élicitée.

5. Signification et Revendications

L'article affirme établir une base mathématiquement rigoureuse pour l'AFA zero-shot en séparant strictement le rôle du LLM (élicitation de la connaissance) de celui de l'algorithme (planification séquentielle).

• Déplacement du Goulot d'Étranglement : Les auteurs soutiennent que le goulot d'étranglement fondamental de l'AFA zero-shot s'est déplacé de la rareté des données vers la fidélité de la connaissance. Le planificateur formel est capable de saturer le signal biologique disponible ; l'écart restant entre la performance du modèle et la vérité clinique est dû aux limites de la connaissance élicitée par le LLM (hallucinations ou simplifications mécanistes), et non à l'algorithme de planification.
• Gestion de l'Hétérogénéité : Le cadre démontre une adaptabilité robuste à l'hétérogénéité des patients, gérant spécifiquement les cas "chaotiques" où les attentes biologiques standards échouent, en exploitant les priors structurels du MRF élicité.
• Utilité Pratique : Ce travail offre une voie viable pour un support de diagnostic automatisé dans les contextes de maladies rares où les données étiquetées sont indisponibles, proposant une alternative fondée sur des principes à l'interrogation d'experts humains ou aux modèles d'apprentissage automatique gourmands en données.

Les auteurs restent modestes, reconnaissant que le cadre dépend de la fidélité de l'élicitation par LLM et que les LLM actuels ne peuvent pas encore fournir de magnitudes continues calibrées, nécessitant la discrétisation des observations en valeurs ternaires.