Résumé technique : Au-delà de l'illusion de performance

Problématique

L'article identifie une faille fondamentale dans les protocoles d'évaluation des systèmes d'IA déployés dans des domaines à corrélation spatiotemporelle, tels que la surveillance aérienne, l'agriculture de précision et l'imagerie médicale. La recherche standard en apprentissage automatique repose sur l'hypothèse que les divisions aléatoires de jeux de données produisent des sous-ensembles indépendants et identiquement distribués (i.i.d.). Les auteurs soutiennent que cette hypothèse échoue dans les contextes d'acquisition de données du monde réel où les échantillons sont collectés de manière séquentielle ou spatiale, induisant de fortes corrélations.

Cet échec se manifeste par deux problèmes systématiques :

1. Fuite spatiotemporelle (Spatiotemporal Leakage) : La division aléatoire place souvent des échantillons temporellement adjacents ou spatialement proches (par exemple, des trames vidéo consécutives ou des images provenant du même vol de drone) à la fois dans les ensembles d'entraînement et de validation. Cela permet aux modèles de « mémoriser » les structures d'arrière-plan ou le contenu quasi identique plutôt que d'apprendre des représentations centrées sur les objets, ce qui conduit à des estimations de performance gonflées qui ne reflètent pas la généralisation à de nouvelles conditions.
2. Stratification cachée (Hidden Stratification) : Les données du monde réel suivent souvent une distribution à longue traîne où des sous-populations rares mais critiques (par exemple, des piétons sous un éclairage défavorable ou des cas pathologiques spécifiques) sont sous-représentées. Le partitionnement aléatoire ne parvient pas à contrôler la distribution de ces groupes minoritaires à travers les divisions, les excluant potentiellement entièrement des ensembles de validation. Cela masque les défaillances systématiques sur des sous-groupes minoritaires, permettant aux modèles d'atteindre des métriques agrégées solides tout en échouant de manière catastrophique dans des scénarios spécifiques à enjeux élevés.

Méthodologie

Les auteurs proposent un cadre unifié qui traite le partitionnement des jeux de données et l'entraînement des modèles comme des problèmes couplés plutôt que comme des choix de conception indépendants. Le cadre se compose de deux étapes séquentielles :

1. Partitionnement stratifié sensible à la structure (SASP - Structure-Aware Stratified Partitioning)

Le SASP est une stratégie de division de données conçue pour construire des plis (folds) de validation qui sont sémantiquement disjoints tout en étant équilibrés en termes de classes. Il opère via les étapes suivantes :

• Unités atomiques : La méthode définit des unités atomiques comme les plus petits groupes d'échantillons indivisibles qui doivent rester ensemble. Si des métadonnées (par exemple, des identifiants de séquences vidéo) sont disponibles, les échantillons partageant les mêmes métadonnées forment une unité atomique. Sinon, chaque image est traitée comme sa propre unité.
• Clustering sémantique latent : Pour capturer les corrélations non évidentes dans les métadonnées (par exemple, des scènes visuellement similaires provenant de contextes différents), la méthode utilise un modèle de vision auto-supervisé gelé (par exemple, DINOv2) pour générer des plongements (embeddings) sémantiques. Les unités atomiques sont représentées par l'embedding moyen de leurs images constituantes. Un graphe de similitude est construit à l'aide de la similitude cosinus, et des composantes connexes sont identifiées pour former des clusters sémantiques.
• Assignation hybride Cluster-vers-Pli (Cluster-to-Fold) : L'algorithme assigne ces clusters sémantiques à $K$ plis. Les grands clusters sont assignés en premier via une optimisation contrainte pour minimiser l'écart par rapport aux proportions de classes cibles. Les clusters plus petits sont ensuite assignés de manière gloutonne pour combler la capacité restante. Cela garantit une disjointivité sémantique stricte (prévenant la fuite) tout en maintenant un équilibre de classe global (traitant la stratification cachée).

2. Optimisation robuste distributionnelle par curriculum (CDRO - Curriculum Distributionally Robust Optimization)

L'entraînement sous les divisions rigoureuses du SASP est plus difficile qu'avec des divisions aléatoires, car les modèles ne peuvent pas exploiter les corrélations spécieuses. L'erreur empirique minimale (ERM) standard devient souvent instable ou échoue à bien généraliser dans ces scénarios de pire cas. Le CDRO traite cela par une relaxation par curriculum de l'entraînement robuste aux distributions :

• Construction du curriculum : L'entraînement est divisé en phases. Les groupes (définis par les plis SASP ou les clusters sémantiques) sont échantillonnés selon une distribution reflétant leur difficulté relative.
• Repondération dynamique : À la fin de chaque phase, un score de difficulté est calculé pour chaque groupe basé sur la performance de validation. La probabilité d'échantillonnage de chaque groupe est mise à jour pour accentuer progressivement les groupes sous-performants, biaisant l'entraînement vers les domaines difficiles sans recourir à des objectifs entièrement adverses qui pourraient causer une instabilité d'optimisation.
• Phase de stabilisation : La phase finale revient à un échantillonnage uniforme, réduit les augmentations agressives et diminue le taux d'apprentissage. Cela permet au modèle de récupérer la calibration et la précision sur les cas communs tout en conservant la robustesse apprise lors des phases précédentes.

Principales contributions

L'article présente trois contributions principales :

1. Caractérisation empirique : Les auteurs identifient et caractérisent la fuite spatiotemporelle et la stratification cachée comme des modes de défaillance omniprésents des évaluations par division aléatoire standard dans les jeux de données de vision par ordinateur spatialement corrélés.
2. Cadre SASP : Ils introduisent le Partitionnement stratifié sensible à la structure, un cadre qui impose une disjointivité sémantique tout en maintenant l'équilibre des classes, permettant une évaluation fiable de la généralisation sans nécessiter d'étiquettes de sous-groupes explicites.
3. Stratégie CDRO : Ils proposent l'Optimisation robuste distributionnelle par curriculum, qui améliore la stabilité de l'entraînement et la fiabilité du modèle sous les protocoles d'évaluation rigoureux induits par le SASP. Ils démontrent son efficacité dans les domaines de la surveillance aérienne, de l'agriculture de précision et de l'imagerie médicale.

Résultats expérimentaux

Le cadre a été évalué sur trois benchmarks : Global Wheat Head Detection (GWHD), VisDrone-DET 2019, et BCCD (imagerie médicale). Les conclusions clés incluent :

• Réduction de la fuite : Le SASP a réduit la fuite spatiotemporelle de 98,5 % par rapport aux divisions aléatoires, mesurée par la similitude cosinus maximale entre les images de validation et d'entraînement.
• Découverte de domaines latents : En l'absence de métadonnées (GWHD), le SASP a réussi à récupérer des domaines latents significatifs qui s'alignaient avec les véritables régions géographiques, surpassant la division aléatoire qui détruisait la structure sémantique.
• Fidélité de l'évaluation : La division aléatoire a produit des estimations de validation trop optimistes qui n'ont pas réussi à prédire le comportement de test. Le SASP a produit des métriques de validation qui suivaient beaucoup plus fidèlement les performances de test.
• Généralisation et calibration : La combinaison de SASP et CDRO a systématiquement amélioré les performances de test par rapport au SASP avec ERM seul. Par exemple, sur GWHD, le SASP+CDRO a atteint un mAP de test de 68,0 contre 61,5 pour les divisions aléatoires. De plus, le cadre a amélioré la calibration de la confiance, déplaçant les prédictions vers des régimes de haute confiance et alignant les pics de validation avec les performances de test, empêchant ainsi un arrêt prématuré (early stopping).

Signification et revendications

L'article affirme que la fiabilité des systèmes d'apprentissage automatique dans les environnements à enjeux élevés dépend de manière critique de la validité des protocoles d'évaluation. Les auteurs soutiennent que la division aléante standard induit une « illusion de performance » en violant les hypothèses i.i.d., menant à des modèles qui semblent robustes mais échouent lors du déploiement.

En recadrant le partitionnement des données comme un problème d'optimisation structuré, ce travail démontre que :

• Le biais d'évaluation induit par les données structurées peut être systématiquement exposé via le SASP.
• Le DRO par curriculum fournit une réponse d'entraînement pratique et stable au stress distributionnel induit par une évaluation rigoureuse.
• Traiter le partitionnement des données et la dynamique d'entraînement comme des choix de conception couplés produit des améliorations qui persistent sous une évaluation réaliste et sensible à la structure.

Les auteurs concluent que le progrès de la perception robuste nécessite de repenser les protocoles d'évaluation parallèlement à la conception des modèles. Ils suggèrent que ces conclusions s'étendent au-delà de la vision par ordinateur à d'autres modalités avec des données structurées, comme les grands modèles de langage, où la contamination des données et la fuite des benchmarks gonflent également les performances rapportées. L'article préconise que les futurs benchmarks dépassent la division aléatoire et adoptent une évaluation sensible à la structure pour garantir que les améliorations rapportées correspondent à une fiabilité réelle.