🤖 machine learning

Test-Time Coverage: Test-Conditioned Data Curation for Deployment-Aware Learning

Cet article introduit TTCov, une méthode de curation de données conditionnée par les tests qui construit un Atlas de Connaissances à partir d'échantillons de déploiement afin de sélectionner des données d'entraînement avec une couverture optimisée et une correspondance de distribution, améliorant ainsi les performances de la conduite autonome sans nécessiter de mise à jour du modèle lors de l'inférence.

Auteurs originaux : Nadine Chang, Maying Shen, Shizhe Diao, Jialiang Wang, Jingde Chen, Thomas Breuel, Pavlo Molchanov, Rafid Mahmood, Jose M. Alvarez

Publié 2026-07-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nadine Chang, Maying Shen, Shizhe Diao, Jialiang Wang, Jingde Chen, Thomas Breuel, Pavlo Molchanov, Rafid Mahmood, Jose M. Alvarez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment conduire une voiture. Vous disposez d'une immense bibliothèque de séquences vidéo issues de millions de kilomètres parcourus : des nuits pluvieuses à Boston, des autoroutes ensoleillées à Las Vegas, des rues bondées à Singapour. Si vous essayiez d'injecter chaque seconde de ces images dans le cerveau du robot, cela prendrait une éternité et coûterait une fortune. Vous devez donc être sélectif. Vous devez préparer un « régime d'entraînement » de vidéos qui rendra le robot assez intelligent pour gérer le monde réel.

Pendant longtemps, les scientifiques choisissaient ces vidéos en fonction de leur aspect « différent » ou « intéressant ». C'était comme un chef cuisinier qui choisirait ses ingrédients simplement parce qu'ils sont rares ou colorés, sans vérifier s'ils correspondent réellement à ce que le client veut manger. Le problème est que le monde réel est désordonné et change constamment. Un robot entraîné sur des vidéos génériques « intéressantes » pourrait être dérouté face à une situation spécifique et délicate qu'il n'a jamais vue auparavant. La grande question dans ce recoin de l'intelligence artificielle est la suivante : comment choisir les bonnes données d'entraînement pour que le robot soit prêt pour les routes spécifiques sur lesquelles il conduira réellement, sans avoir besoin de tout réapprendre à chaque fois qu'il change de ville ?

C'est ici qu'intervient une nouvelle méthode appelée TTCov (Test-Time Coverage), et c'est comme donner au robot une fiche de révision avant même que l'examen ne commence. Au lieu d'essayer de corriger le cerveau du robot pendant qu'il conduit (ce qui est lent et risqué), TTCov corrige le menu d'entraînement à l'avance.

Voici comment cela fonctionne, en utilisant une analogie ludique : Imaginez que vous vous préparez pour un examen de conduite dans une nouvelle ville. Au lieu de simplement mémoriser des règles de circulation aléatoires, vous regardez d'abord la carte de la ville et l'itinéraire spécifique que vous allez suivre. Vous réalisez alors : « D'accord, ce test comporte beaucoup de zones scolaires, des routes mouillées et des piétons qui traversent la nuit. »

TTCov fait exactement cela, mais avec l'aide d'un bibliothécaire ultra-intelligent (un grand modèle de langage).

L'Atlas (La fiche de révision) : D'abord, le système construit un « Atlas de Tâche ». Considérez cela comme une liste géante et organisée de tout ce qui pourrait se passer sur la route, écrite en phrases simples et atomiques comme « Un piéton traverse la rue » ou « Une voiture s'arrête à un feu rouge ». Il commence par des connaissances générales, puis examine les vidéos de test réelles (les données de déploiement) pour y ajouter tout nouveau scénario étrange qu'il trouve, comme « Un bus scolaire s'arrête devant une flaque d'eau ».
Le K-Atlas (La recette) : Ensuite, il compte la fréquence à laquelle ces événements spécifiques se produisent dans les vidéos de test. Si l'itinéraire de test comporte 50 % de bus scolaires et 10 % de routes pluvieuses, le « Atlas de Connaissance » (K-Atlas) devient une recette qui dit : « Votre régime d'entraînement doit contenir 50 % de vidéos de bus scolaires et 10 % de vidéos de routes pluvieuses. »
La Sélection (La sortie des courses) : Enfin, TTCov parcourt le vaste réservoir de vidéos d'entraînement disponibles et choisit le sous-ensemble parfait qui correspond à cette recette. Il utilise un algorithme glouton (un sélecteur étape par étape) pour saisir les vidéos qui comblent les lacunes, garantissant que l'ensemble d'entraînement ressemble exactement à l'ensemble de test en termes de ce qui s'y passe, et non pas seulement en termes de son apparence.

L'article teste cette méthode sur la conduite autonome, plus précisément en utilisant un jeu de données appelé Navhard, qui regorge de scénarios de conduite difficiles et complexes. Ils ont comparé TTCov à d'autres méthodes qui choisissent des vidéos « diverses » ou « aléatoires ». Les résultats suggèrent que TTCov change la donne. Lorsqu'ils ont entraîné un modèle de conduite en utilisant les données sélectionnées par TTCov, le robot conduisait de manière nettement plus performante sur les pistes de test difficiles. En fait, avec un budget de données spécifique, TTCov a presque aussi bien performé qu'un ensemble de données sélectionné manuellement par des humains possédant une connaissance parfaite (un « oracle »), et il a même surpassé cet ensemble de données sélectionné par des humains lorsqu'ils disposaient de plus de données.

L'un des aspects les plus impressionnants est la façon dont la méthode gère le passage d'une ville à une autre. Si vous déplacez le robot de Pittsburgh à Las Vegas, vous n'avez pas à repartir de zéro. TTCov examine simplement les vidéos de test de la nouvelle ville, met à jour sa « recette » (le K-Atlas) pour inclure les éléments spécifiques à Las Vegas (comme la chaleur du désert ou des modèles de circulation différents), et choisit les meilleures nouvelles vidéos à ajouter au mélange. Le robot apprend la nouvelle ville sans oublier l'ancienne.

Les auteurs démontrent qu'en faisant correspondre le contenu des données d'entraînement au contenu du test en conditions réelles, on obtient un conducteur beaucoup plus sûr et capable. Ils ont mesuré cela à l'aide d'un score appelé EPDMS, où TTCov a systématiquement obtenu des scores plus élevés que les autres méthodes à travers différentes tailles de données. Bien que la méthode nécessite d'avoir des données de test disponibles à l'avance (on ne peut pas prédire l'avenir parfaitement), l'article suggère que cette approche consistant à « préparer l'examen » est une façon plus intelligente et plus efficace de construire l'IA que de simplement lui injecter des données aléatoires. Cela nous rappelle que en IA, parfois, le secret d'un meilleur cerveau n'est pas d'avoir plus de données, mais les bonnes données.

Résumé technique : Couverture au moment du test (TTCov)

Énoncé du problème

Les systèmes d'IA déployés, particulièrement dans les domaines physiques critiques pour la sécurité comme la conduite autonome (AD), sont généralement entraînés sur de vastes ensembles de données candidats. Les méthodes standard de curation de données sélectionnent des sous-ensembles d'entraînement basés sur des critères côté entraînement (ex: diversité, incertitude, redondance) plutôt que d'optimiser directement pour la distribution de test de déploiement. Cela crée un décalage potentiel où les données d'entraînement curatées ne reflètent pas les conditions spécifiques que le modèle rencontrera dans le monde réel.

Bien que les techniques d'apprentissage transductif et d'adaptation au moment du test (TTA) tentent de combler ce fossé en utilisant des données de test non étiquetées pour mettre à jour les poids du modèle pendant l'inférence, ces approches introduisent une latence d'inférence significative et compliquent la validation des modèles dans des scénarios critiques pour la sécurité en temps réel. De plus, elles s'adaptent mal au volume de déploiement car elles nécessitent un ajustement du modèle par échantillon. L'article postule la nécessité d'une méthode qui adapte la distribution d'entraînement avant le début de l'entraînement, en exploitant les informations du côté test sans modifier les poids du modèle lors de l'inférence.

Méthodologie : TTCov

Les auteurs introduisent TTCov (Test-Time Coverage), un cadre de curation conditionné par le test au niveau des données. Au lieu de mettre à jour les poids du modèle, TTCov élabore un ensemble de données d'entraînement qui s'aligne sur la distribution de déploiement en décomposant le problème en deux composantes : la Couverture (quel contenu pertinent pour le déploiement inclure) et la Distribution (à quelle fréquence ce contenu doit apparaître).

1. L'Atlas (Représentation de la couverture)

Pour représenter la couverture, TTCov construit un Atlas de Tâche interprétable, une collection de Propositions Atomiques (PA) décrivant des concepts pertinents pour le déploiement (scénarios, agents, conditions, comportements).

Ensemencement : L'Atlas est initialement ensemencé avec des connaissances de tâches en monde ouvert générées par des modèles de langage de grande taille (LLM) pour former une ontologie structurée des conditions de conduite.
Expansion : L'Atlas est étendu à l'aide de données de déploiement non étiquetées (ex: journaux de conduite). Un LLM multimodal (MLLM) extrait des légendes denses des vidéos de test, qui sont ensuite converties en PA.
Unification : Un processus en trois étapes affine ces PA :
1. Distillation : Les descriptions complexes sont converties en phrases déclaratives à proposition unique.
2. Conversion en propositions : Les phrases sont transformées en unités atomiques sujet-verbe-objet (SVO) ou sujet-attribut.
3. Filtrage des nuisances : Les modificateurs non essentiels (couleurs, tailles spécifiques, noms de marques, noms de rues spécifiques) sont supprimés pour garantir que les PA capturent des concepts généralisables (ex: « le piéton traverse le passage piéton » plutôt que « le piéton en chemise rouge traverse Broadway »).
4. Déduplication : Les expressions sémantiquement similaires sont regroupées et unifiées via une vérification par LLM pour assurer un vocabulaire cohérent.

2. Le K-Atlas (Représentation de la distribution)

Pour représenter la distribution, TTCov instancie les PA de déploiement correspondantes avec leurs fréquences, créant ainsi un Atlas de Connaissance (K-Atlas).

Le K-Atlas est un vecteur de distribution cible $p^\star$ , où chaque élément représente la fréquence d'importance d'une PA spécifique dans l'ensemble de test de déploiement.
Cela opérationnalise la distribution de déploiement comme une cible de curation concrète.

3. Optimisation par sélection gloutonne

L'objectif est de sélectionner un sous-ensemble d'entraînement budgétisé $S$ (taille $B$ ) à partir d'un pool de candidats $C$ tel que la distribution des PA du sous-ensemble $\hat{p}_S$ minimise la divergence de Kullback-Leibler (KL) par rapport au K-Atlas cible $p^\star$ :
$S^\star := \arg \min_{S \subset C, |S|=B} D_{KL}(p^\star \parallel \hat{p}_S)$
Puisqu'il s'agit d'un problème d'optimisation combinatoire, TTCov emploie un algorithme itératif glouton (Algorithme 1). À chaque étape, il sélectionne l'échantillon du pool de candidats restant qui réduit de manière maximale l'écart KL actuel entre le sous-ensemble accumulé et la distribution cible.

Principales contributions

Cadre TTCov : Une méthode de curation au niveau des données, conditionnée par le test, qui adapte l'ensemble de données d'entraînement à la distribution de déploiement non étiquetée avant l'entraînement du modèle, évitant ainsi la latence et la complexité de l'adaptation de modèle en ligne.
Atlas et K-Atlas : L'introduction d'une représentation de couverture interprétable (Atlas) et d'une distribution cible pondérée par la fréquence (K-Atlas) spécifiquement conçues pour la curation conditionnée par le déploiement.
Formulation d'optimisation : La formulation de la curation de données comme un problème de mise en correspondance de K-Atlas budgétisé et sa résolution via une procédure de sélection gloutonne sur les échantillons candidats.
Évolution monotone de l'Atlas : Un mécanisme pour s'adapter aux changements de conditions de déploiement (ex: expansion de ville à ville) en mettant à jour le K-Atlas pour de nouveaux domaines tout en conservant les données précédemment sélectionnées, évitant ainsi l'oubli catastrophique.
Validation empirique : Évaluation complète utilisant des métriques de couverture, de mise en correspondance de distribution et de performance de conduite de bout en bout (E2E) par rapport aux lignes de base de l'état de l'art.

Résultats expérimentaux

Les auteurs ont évalué TTCov sur le benchmark Navhard (un sous-ensemble exigeant du framework NAVSIM) en utilisant le planificateur Latent Transfuser (LTF).

Performance : TTCov a systématiquement surpassé les lignes de base, y compris Coreset (basée sur la diversité) et SSE (sélection sémantique), à travers divers budgets de données (0,5x à 1,5x la ligne de base).
- À un budget de 1x, TTCov a atteint la parité de performance avec l'oracle Navtrain manuellement curaté (24,42 vs 24,70 EPDMS) sans nécessiter d'annotation humaine.
- À des budgets dépassant la taille de l'oracle, TTCov a surpassé à la fois l'oracle et toutes les autres lignes de base (26,40 EPDMS à 1,5x).
Mise en correspondance de la distribution : TTCov a obtenu la divergence KL la plus faible par rapport à la cible K-Atlas comparé à toutes les lignes de base, démontrant un alignement supérieur entre les données d'entraînement sélectionnées et la distribution de test.
Adaptation Ville-à-Ville : Dans une expérience d'expansion de domaine multi-tours (ajout successif de villes), TTCov a nettement surpassé les lignes de base tant dans la nouvelle ville cible que dans la ville d'origine, prouvant sa capacité à s'adapter à de nouveaux domaines sans recuration pour les villes précédentes ni souffrance d'oubli catastrophique.
Couverture : TTCov a sélectionné un volume significativement plus élevé de points d'entraînement avec des plongements (embeddings) proches de la distribution de test (mesuré par la distance du plus proche voisin et la MMD) par rapport à Coreset et SSE.

Signification et affirmations

L'article affirme que TTCov représente un passage d'un correctif de modèle réactif à un développement d'IA proactif, piloté par le test. En exploitant un Atlas interprétable de propositions atomiques, TTCov permet :

Curation axée sur la sécurité : La capacité de cibler explicitement les scénarios critiques pour la sécurité et rares (ex: piétons, bus scolaires, interactions spécifiques avec les feux de signalisation) qui sont souvent manqués par les métriques de diversité génériques.
Scalabilité : Le cadre s'adapte aux conditions de déploiement évolutives (ex: nouvelles villes) sans la surcharge de calcul d'une adaptation de modèle par échantillon.
Interprétabilité : L'utilisation de propositions atomiques fournit une vue transparente de ce que les données d'entraînement couvrent, offrant des informations sur les modes de défaillance potentiels du modèle.

Les auteurs notent que bien que TTCov soit lié à l'existence d'un ensemble de test et au plafond de connaissances des LLM sous-jacents, il offre une voie robuste et évolutive vers l'alignement des données d'entraînement avec les distributions de déploiement réelles dans les systèmes d'IA physique.