Transition-Aware best-of-N sampling for Longitudinal Chest X-ray Reports

Résumé Technique : Échantillonnage Best-of-N Sensible aux Transitions pour les Rapports de Radiographie Thoracique Longitudinale

Énoncé du Problème
Dans la pratique clinique longitudinale, les radiographies thoraciques sont rarement interprétées de manière isolée ; elles sont lues dans le contexte des examens antérieurs d'un patient. Les radiologues se concentrent fortement sur le changement entre les visites (par exemple, « stabilité inter-examen », « nouvelle opacité », « amélioration de l'aération »). Bien que les modèles vision-langage (VLM) modernes puissent générer des rapports de radiographie thoracique crédibles, les pipelines d'échantillonnage standard de type « Best-of-N » traitent chaque image de test indépendamment. Ces pipelines évaluent généralement les rapports candidats par rapport à une distribution de rapports de référence d'images uniques, ignorant la transition temporelle par rapport à l'étude antérieure. Par conséquent, un rapport candidat peut paraître plausible de manière isolée mais décrire une transition cliniquement invalide (par exemple, halluciner un aggravation aiguë ou omettre silencieusement des découvertes chroniques) par rapport à l'historique du patient.

Méthodologie
Les auteurs proposent un cadre d'Échantillonnage Best-of-N Sensible aux Transitions, sans entraînement préalable. Cette méthode opère en aval du générateur et ne nécessite aucune modification des VLM pré-entraînés. Le pipeline se compose de trois étapes principales :

1. Représentation de Rapport par Ensemble de Phrases :
   Chaque rapport (divisé en sections Findings [Constatations] et Impression [Conclusion]) est découpé en phrases individuelles. Un transformateur de phrases gelé (spécifiquement all-mpnet-base-v2) encode chaque phrase dans un vecteur de dimension fixe ($d=768$). Le rapport est représenté comme un ensemble non ordonné de ces plongements (embeddings), assurant l'invariance par permutation, ce qui s'aligne avec la réalité clinique selon laquelle l'ordre des constatations n'a pas de signification diagnostique.

2. Représentation de la Transition Directionnelle :
   Pour un patient avec une visite antérieure $r^{(k-1)}$ et une visite actuelle $r^{(k)}$, la méthode calcule une distance directionnelle de type « set-to-set » entre les ensembles d'encodages de phrases des deux visites. Cela réduit la paire à un vecteur unique de dimension fixe ($g \in \mathbb{R}^{d'}$) représentant le « changement ». Les auteurs instaurent quatre conceptions spécifiques de distance directionnelle :

   • Mean-Shift (Décalage de Moyenne) : Le décalage du centroïde de l'ensemble actuel par rapport à l'ensemble antérieur.
   • Novelty Residual (Résidu de Nouveauté) : Le résidu moyen de chaque phrase actuelle par rapport à son plus proche voisin dans l'ensemble antérieur (capturant ce qui est nouveau).
   • Directed-Hausdorff Anchor (Ancre de Hausdorff Dirigée) : Le déplacement au point le moins bien couvert de l'ensemble actuel par rapport à l'ensemble antérieur.
   • Cost-Weighted Optimal Transport (Transport Optimal Pondéré par le Coût - Cost-OT) : Un vecteur de déplacement pondéré à la fois par la masse de transport et le coût cosinus, évitant l'effondrement trivial.

3. Sélection Sensible aux Transitions :
   Une banque de vecteurs de transition de vérité terrain est pré-calculée à partir du corpus d'entraînement. Au moment du test, pour un patient donné et $K$ rapports candidats générés par un VLM, chaque candidat est converti en un vecteur de transition (comparant le rapport antérieur réel du patient au rapport actuel généré).

   • Les candidats sont évalués sur la base de la distance cosinus entre leur vecteur de transition et la banque de vecteurs de transition d'entraînement mise en cache.
   • Les stratégies d'agrégation incluent Min (le plus proche de n'importe quelle transition d'entraînement unique) et k-Nearest Neighbors (kNN) (la distance moyenne aux $k$ transitions d'entraînement les plus proches).
   • Le candidat présentant la distance totale minimale (somme des sections Findings et Impression) est sélectionné.

Contributions Clés

• Premier Sélecteur Longitudinal Sans Entraînement : À la connaissance des auteurs, il s'agit du premier schéma d'échantillonnage Best-of-N pour les générateurs de radiographie thoracique pré-entraînés qui est explicitement sensible à la transition longitudinale de l'antérieur vers le actuel.
• Évaluation dans l'Espace de Transition : Contrairement aux méthodes précédentes qui évaluent les candidats dans l'« espace de rapport » (similitude avec une référence statique), cette méthode évalue dans l'« espace de transition ». Cela pénalise les candidats qui décrivent des changements cliniquement improbables, même si le texte lui-même ressemble à un rapport valide.
• Cadre Modulaire : L'approche est agnostique au générateur et au prompt, démontrée sur trois VLM différents (Gemini-2.5-Flash-Lite, Gemini-3.1-Flash-Lite-preview, Mistral-Small-2603) et trois régimes de prompting (zero-shot, few-shot, et zero-shot conditionné sur les rapports antérieurs).

Résultats Expérimentaux
Le cadre a été évalué sur une cohorte multi-visites AP/PA dérivée du jeu de données ReXGradient-160K (22 745 transitions d'entraînement, 1 727 transitions de test). La performance a été mesurée par rapport à une ligne de base de sélection aléatoire en utilisant des métriques de chevauchement NLP (BLEU, ROUGE, METEOR, BERTScore) et des métriques de contenu clinique (RadGraph, CheX-14).

• Impressions : La méthode a produit des gains relatifs substantiels. Les configurations les plus fortes ont atteint jusqu'à +8,5 % d'amélioration relative dans ROUGE-L, +13,6 % dans RadGraph averaged-F1, et +4,4 % dans METEOR. Les auteurs notent que la section Impression, étant un résumé court orienté vers le changement, est le régime où le signal de transition fournit l'information de classement la plus importante.
• Findings : Chaque méthode de transition (à travers tous les types de distance et stratégies d'agrégation) a surpassé la ligne de base aléatoire sur chaque métrique principale. La configuration Cost-OT/min a montré les meilleurs résultats pour BERTScore-F1 (+3,1 %) et RadGraph (+5,1 %).
• Cohérence : L'approche a systématiquement surpassé la sélection aléatoire à travers les trois VLM et les trois stratégies de prompting.

Signification et Revendications
L'article soutient que la modélisation du contexte longitudinal au stade de la sélection est une voie cruciale, jusqu'ici inexploitée, pour améliorer la génération de rapports. En exploitant une banque de transitions de vérité terrain, le système fournit un a priori sur comment les rapports changent entre les visites, plutôt que simplement sur ce que les rapports individuels représentent. Cela permet de filtrer efficacement les candidats qui, bien que linguistiquement fluides, décrivent des progressions cliniquement impossibles (par exemple, la disparition soudaine de conditions chroniques sans explication). Les auteurs positionnent cela comme un outil de mise à l'échelle pratique, sans entraînement, qui améliore la fiabilité de l'automatisation des rapports de radiologie dans des contextes longitudinaux.