Résumé Technique : TestMate

Énoncé du Problème

Les réseaux de neurones profonds (DNN) souffrent souvent d'une dégradation des performances lorsqu'ils sont déployés dans des environnements présentant des décalages de distribution de données (ex. : conditions météorologiques défavorables, différentes modalités de capteurs). Bien que l'adaptation de domaine (DA) réponde à ce problème, l'adaptation de domaine en temps de test (TTDA) présente des défis uniques : le modèle doit s'adapter à des données cibles en flux continu et non étiquetées en temps réel, sans accès aux données ou aux étiquettes sources.

Les méthodes actuelles de TTDA pour la segmentation sémantique font face à des limitations critiques :

• Minimisation de l'entropie et pseudo-étiquetage : Ces approches basées sur le gradient nécessitent souvent une rétropropagation coûteuse, risquent un oubli catastrophique et produisent des contours de segmentation bruités. Elles ont tendance à se concentrer sur les régions dominantes à faible entropie, négligeant les objets plus petits ou moins fréquents.
• Méthodes de banque de mémoire (Memory-Bank) : Bien qu'exemptes de rétropropagation, ces méthodes nécessitent de nombreux échantillons pour construire une banque de mémoire fiable, ce qui entraîne une adaptation lente. Elles peinent face aux décalages de domaine continus et échouent souvent à fournir des performances optimales dès le premier échantillon.
• Contraintes des modèles de fondation : Les utilisations existantes des modèles de vision de fondation (VFM) dans la DA reposent souvent sur des modèles lourds (ex. : SAM, CLIP) qui sont informatiquement impraticables pour une TTDA en temps réel ou nécessitent des données sources, violant ainsi les contraintes de la TTDA.

Méthodologie : TestMate

Les auteurs proposent TestMate, un nouveau cadre de TTDA en temps réel, sans rétropropagation, conçu pour affiner les sorties de segmentation sémantique immédiatement dès le déploiement.

Mécanisme Central

TestMate exploite la capacité de généralisation d'un modèle de fondation visuelle (VFM) léger pour guider l'adaptation d'un DNN de segmentation primaire.

1. Intégration du VFM : Un modèle de segmentation d'instance zero-shot, spécifiquement FastSAM (basé sur YOLOv8-seg), est utilisé comme VFM léger. Il génère en temps réel de multiples propositions de masques grossiers pour les objets et leurs parties à différentes échelles.
2. Fusion Heuristique : La méthode fusionne ces masques générés par le VFM avec les logits initiaux du DNN primaire via un processus paramétrique piloté par des heuristiques. Cela s'effectue sans aucune mise à jour de gradient du modèle primaire.
3. Stratégies de Raffinement :
   • Raffinement Ordonné : Les masques sont triés par taille par ordre croissant. Les masques plus petits (représentant typiquement des objets uniques) sont traités en premier pour affiner des régions spécifiques. Les masques plus grands (pouvant contenir plusieurs objets) sont traités plus tard, les régions précédemment raffinées étant exclues pour éviter tout écrasement.
   • Raffinement Doux (Soft Refinement) : Au lieu d'une assignation d'étiquettes stricte, la méthode utilise une stratégie de mélange pondéré. Elle interpole les logits originaux avec les logits de la classe dominante de la région du masque en fonction du ratio de la taille de la région dominante. Cela préserve l'incertitude dans les zones ambiguës tout en renforçant les prédictions confiantes.
   • Filtrage Basé sur l'Entropie : Le raffinement est appliqué sélectivement aux pixels incertains. Les pixels dans les régions non dominantes ne sont raffinés que si leur entropie dépasse l'entropie moyenne de la région dominante au sein de ce masque. Cela garantit que les prédictions confiantes dans les zones non dominantes sont préservées.
4. Flux de l'Algorithme : Pour chaque image cible $X_t$ entrante :
   1. Le DNN primaire produit les logits initiaux $\hat{Y}_t$.
   2. Le VFM génère un ensemble de masques binaires $\{M_i\}$.
   3. Les masques sont triés par taille (du plus petit au plus grand).
   4. Pour chaque masque, la classe dominante est identifiée via un vote majoritaire sur les logits du DNN à l'intérieur du masque.
   5. Le masque est partitionné en une région dominante ($R_i$) et une région non dominante ($N_i$).
   6. Un raffinement doux est appliqué aux pixels de $R_i$ et aux pixels à haute entropie de $N_i$, mettant à jour les logits.
   7. Les pixels raffinés sont mis en cache pour éviter un nouveau traitement lors des itérations de masques suivantes.

Contributions Clés

1. Guidage par VFM Léger : La première application d'un VFM léger et zero-shot pour guider et affiner la TTDA pour la segmentation sémantique, évitant la surcharge de calcul des grands modèles de fondation.
2. Conception Sans Paramètre et Sans Rétropropagation : TestMate fonctionne comme un module de raffinement plug-and-play qui ne nécessite aucune mise à jour de gradient, aucune banque de mémoire, ni données sources, permettant une adaptation immédiate dès la première image.
3. Préservation des Contours et des Petits Objets : Le schéma de fusion compétitif et ordonné par taille préserve efficacement les détails fins des objets et les contours, particulièrement pour les petits objets qui sont souvent supprimés par les méthodes de TTDA standards.
4. Polyvalence : La méthode fonctionne comme une solution de TTDA autonome ou s'intègre de manière transparente aux pipelines de TTDA existants, qu'ils soient basés sur le gradient (ex. : CoTTA) ou sans gradient (ex. : DIGA), pour booster leurs performances.

Résultats Expérimentaux

Les auteurs ont évalué TestMate sur deux ensembles de données de référence : GTA-V vers Cityscapes (sim-to-real) et FMB vers MVSeg (real-to-real).

• SFDA (Adaptation de Domaine Sans Source) : Intégré au cadre DS-ST, TestMate a atteint de nouveaux résultats de l'état de l'art (SOTA), améliorant significativement les performances sur les classes moyennes et petites et accélérant la convergence.
• TTDA : TestMate a surpassé le modèle source non adapté de près de 3 % mIoU et a dépassé les approches basées sur le gradient (TENT, EATA, CoTTA) de plus de 2 %. Il a également surpassé la ligne de base sans gradient DIGA sur les classes petites et bien définies (ex. : personne, cycliste), bien que DIGA ait légèrement mieux performé sur les classes abstraites larges (ex. : route).
• Online-TTDA : Dans des scénarios de décalage de distribution continu, TestMate a démontré sa robustesse. Combiné avec DIGA, il a atteint le mIoU moyen le plus élevé, surpassant les deux méthodes individuelles de 1,1 %.
• Efficacité : TestMate ajoute un surcoût de calcul minimal (environ 5 ms par échantillon sur une RTX 4090 lorsqu'il est couplé à DIGA), maintenant la faisabilité du temps réel.
• Stabilité : Contrairement aux méthodes itératives comme TENT qui peuvent se dégrader ou fluctuer, TestMate reste stable à travers plusieurs itérations de raffinement, la majorité des gains survenant lors de la première itération.

Signification et Revendications

L'article affirme que TestMate répond aux "limitations critiques" des méthodes de TTDA actuelles, spécifiquement le compromis entre la vitesse d'adaptation, le coût de calcul et la qualité de la segmentation. En utilisant un VFM léger, TestMate fournit un mécanisme d'adaptation immédiate et de haute fidélité qui évite intrinsèquement l'oubli catastrophique.

Les auteurs soulignent que TestMate est particulièrement significatif pour les applications exigeant des performances robustes dès le premier échantillon, comme la conduite autonome dans des conditions défavorables où attendre la convergence de la banque de mémoire n'est pas envisageable. La méthode prouve qu'une adaptation basée sur les instances et sans gradient, guidée par des modèles de fondation, peut atteindre des résultats SOTA à travers les contextes SFDA, TTDA et online-TTDA sans nécessiter de procédures d'entraînement complexes ou d'accès aux données sources.