Prior-matched evaluation of operational Earth-observation classifiers: a three-number reporting method demonstrated on Sentinel-1 internal-wave detection

Résumé Technique : Évaluation par Appariement de Prior sur des Classifieurs Opérationnels d'Observation de la Terre

Énoncé du Problème
Les classifieurs opérationnels d'observation de la Terre souffrent souvent d'un artefact de rapport systématique causé par un décalage entre le prior (probabilité a priori) de la classe utilisé lors de l'entraînement/évaluation et le prior réel rencontré lors du déploiement. Le service des ondes internes, qui filtre les archives du mode onde de Sentinel-1 pour détecter les ondes solitaires internes, illustre parfaitement ce problème. Le classifieur du service a été entraîné et évalué sur un ensemble de données équilibré (ratio 1:1 vague/non-vague), une convention héritée de la phase initiale de « rappel prioritaire » du service lorsque le taux positif opérationnel était inconnu. Cependant, le flux opérationnel réel présente un prior fortement biaisé d'environ 0,05 (une scène de vague pour vingt).

Ce décalage crée un paysage d'évaluation trompeur. Un modèle affichant une précision élevée sur un test équilibré (par exemple, 0,794) peut délivrer une précision drastiquement plus faible en opération réelle (par exemple, 0,192) au même seuil de décision. L'article soutient que les métriques standards comme la précision équilibrée sur test sont « optimistes » et invisibles face à l'erreur systématique qu'elles introduisent. De plus, les remèdes courants tels que la correction du prior ou la calibration de probabilité se révèlent inefficaces pour améliorer la précision à un rappel fixe ; ces méthodes sont des transformations monotones du score qui ne font que déplacer le seuil de fonctionnement sans modifier la courbe précision-rappel sous-jacente. Le problème central est identifié non pas comme un défaut d'entraînement, mais comme un problème d'évaluation nécessitant une méthode de rapport qui s'apparie au prior de déploiement.

Méthodologie
L'article propose une « méthode de rapport par appariement de prior » basée sur un axe à trois nombres pour caractériser un classifieur opérationnel, ainsi qu'un cycle de développement rigoureux conçu pour isoler les gains de performance.

1. L'Axe de Rapport à Trois Nombres :

   • Performance de Test Équilibrée : La métrique conventionnelle (précision, rappel, F1) sur un ensemble tenu à l'écart avec des proportions de classes égales. Elle sert de base de référence prudente, exposant l'écart entre le rapport conventionnel et la réalité.
   • Performance du Prior Opérationnel : La performance du modèle sur un ensemble de test figé, construit spécifiquement selon le taux positif opérationnel (0,05). Ce chiffre est conçu pour prédire la précision à laquelle un validateur sera réellement confronté sur le terrain.
   • Performance Opérationnelle Réelle : La vérité terrain obtenue après le déploiement grâce à l'adjudication par des experts des détections du modèle sur le flux en direct. Il s'agit d'un engagement prospectif, pré-enregistré pour fermer la boucle d'évaluation.

2. Conception de l'Instrument d'Évaluation :

   • Ensemble de Données Figé et Contrôlé contre les Fuites : L'ensemble de données a été verrouillé avant la division pour empêcher l'archive croissante de fuir dans l'évaluation. La fuite spatiale est contrôlée au niveau du « hotspot » (défini par le chevauchement réel de l'empreinte de l'image) plutôt que par le rayon du centroïde, garantissant que des scènes quasi identiques provenant de la même orbite ne chevauchent pas les séparations train/dev/test.
   • Boîte Noire Scellée : Un ensemble de test (1 537 positifs, 29 203 négatifs) est scellé hors site avec des sommes de contrôle et lu exactement une fois à un seuil pré-enregistré.
   • Discipline de Fonctionnement : Le service opère sous une discipline de « priorité à la précision » avec un rappel maintenu à un plancher de 0,80. Cela est justifié car les vagues manquées sont récupérables via les répétitions d'orbite et le retraitement des archives, tandis que les faux positifs consomment l'attention limitée des experts.

3. Cycle de Développement :

   • Les améliorations ont été poursuivies via des interventions à levier unique, chacune étant isolée et promue uniquement si elle dépassait une marge pré-enregistrée (0,021).
   • Leviers Testés :
     • Ajustement du Seuil : Déplacement du point de fonctionnement le long de la courbe existante (soulagement immédiat, mais sans élévation de la courbe).
     • Variété des Données : Augmenter la variété des négatifs (élargissement de la classe négative) a amélioré la précision, tandis que déplacer le ratio d'entraînement vers le prior opérationnel n'a rien changé (confirmant l'inertie de la correction de prior à rappel fixe).
     • Capacité : L'augmentation de la largeur du réseau a montré des rendements décroissants ; au-delà d'un certain point, l'ajout de paramètres n'a pas permis de franchir la marge de promotion.
     • Tête d'Agrégation : Remplacer le global-average pooling par le Generalized-Mean (GeM) pooling a considérablement amélioré la précision en supprimant mieux les confusions géophysiques spécifiques (textures de surface striées mimant les vagues) que le average pooling ne parvenait pas à distinguer.

Résultats Clés

• L'Effet du Prior : Le modèle actuel a démontré l'artefact systématique : une précision de test équilibré de 0,794 contre une précision opérationnelle réelle de 0,192.
• Amélioration du Modèle : Le modèle promu (utilisant le GeM pooling et des données négatives variées) a atteint une précision de 0,927 au prior opérationnel (rappel 0,827) sur la boîte noire scellée. En revanche, ce même modèle sur un ensemble équilibré a rapporté une précision de 0,996, illustrant que la figure équilibrée franchit des barres de performance (ex: F1 > 0,90) que la figure opérationnelle honnête manque.
• Robustesse Hors-Temps : Une vérification indépendante sur des données collectées après le gel du jeu de données a montré que, bien que la discrimination du modèle (AUC) soit restée stable (0,993 $\to$ 0,987), le point de fonctionnement fixe a décliné. La précision est tombée de 0,927 à 0,810, et le taux de faux positifs a triplé, soulignant qu'un seuil fixe n'est pas une quantité « fixer et oublier » et nécessite une re-validation contre les données actuelles.
• Déplacement de la Contrainte : Le cycle de développement a révélé que la contrainte limitante est passée de l'architecture du modèle à la taille de la masse de faux positifs réductible. Le levier d'agrégation a été épuisé, et les augmentations de capacité ultérieures n'ont produit aucun gain significatif, indiquant que les futures améliorations nécessiteront des données validées plutôt que des réseaux plus larges.

Signification et Revendications
L'article affirme que le décalage entre les priors d'entraînement et les réalités de déploiement est un problème d'évaluation, et non d'entraînement. Sa principale contribution est une méthode de rapport par appariement de prior qui rend le « effet du prior » visible plutôt que caché. En rapportant le contraste entre les chiffres du test équilibré, du prior opérationnel et de la performance opérationnelle réelle, la méthode fournit une « mesure honnête » de la compétence du classifieur.

Les auteurs soulignent que cette approche n'est pas spécifique aux ondes internes ou à Sentinel-1, mais constitue une convention portable pour tout service d'observation de la Terre opérationnel amorçant un détecteur d'événements rares sous un prior inconnu ou changeant. Ce travail établit également une discipline de reproductibilité grâce à des jeux de données figés, des séparations contrôlées contre les fuites et des évaluations scellées à lecture unique. Enfin, l'article conclut que le prochain cycle d'amélioration pour ce service ne viendra pas de modèles plus grands, mais de l'expansion du jeu de données validées pour traiter la masse de faux positifs irréductible, et de la validation des points de fonctionnement contre des tranches de catalogue actuelles plutôt que de se fier aux seuils du jeu de développement.