AlbumentationsX: One Augmentation Pipeline for Images and Related Annotations

La Grande Danse des Données : Pourquoi l'IA doit garder les pieds synchronisés

Imaginez que vous enseigniez à un robot à reconnaître des chats. Vous lui montrez la photo d'un chat tigré duveteux et vous dites au robot : « Ceci est un chat. » Mais pour rendre le robot plus intelligent, vous décidez de lui montrer le même chat dans différentes situations : à l'envers, zoomé, ou avec un filtre rigolo. Ce processus est appelé augmentation de données (data augmentation). C'est comme donner au robot mille paires de lunettes différentes pour qu'il apprenne qu'un chat reste un chat, qu'il soit vu à travers un objectif fisheye ou un kaléidoscope.

Cependant, il y a une partie délicate. Un exemple d'entraînement n'est pas seulement une image ; c'est une image plus une carte indiquant où se trouve le chat (appelée annotation). Si vous faites pivoter la photo du chat mais que vous oubliez de faire pivoter la carte, le robot est confus. Il voit une tête de chat pointant vers la gauche, mais la carte indique que le corps est à droite. Ce décalage corrompt la leçon. Le document que vous allez lire traite de ce problème précis : comment s'assurer que lorsque vous tournez, pivotez, recadrez ou modifiez la couleur d'une image, chaque information qui lui est attachée se déplace en parfaite synchronisation.

---

Rencontrez AlbumentationsX : Le Chef d'Orchestre du Chaos

Voici AlbumentationsX, un nouvel outil conçu pour être l'ultime chef d'orchestre de cette danse chaotique des données. Considérez un exemple d'entraînement comme un orchestre complexe. Vous avez l'instrument principal (l'image), la partition (le masque ou le contour des objets), les notes pour des instruments spécifiques (les boîtes englobantes/bounding boxes), et même la position des danseurs (les points clés/keypoints). Par le passé, si vous vouliez changer la musique, vous pouviez demander à une personne de faire pivoter la partition et à une autre de faire pivoter l'image. Si elles ne communiquaient pas entre elles, le résultat était un désastre.

AlbumentationsX résout cela en plaçant l'orchestre entier dans une seule grande boîte magique appelée objet Compose. Au lieu de demander à différentes personnes de faire des choses différentes, vous remettez toute la boîte à un seul chef d'orchestre. Quand le chef d'orchestre dit : « Pivotez ! » ou « Recadrez ! », il choisit les coordonnées exactes une seule fois et les applique à l'image, au masque, aux boîtes et aux points clés, tous en même temps. Cela garantit que si un chat est recadré hors de l'image, son contour est également recadré hors de la carte au même instant. Plus de données décalées !

La Magie du « Appel Unique »

Le document explique qu'Albument-tionsX suit une liste de règles strictes (la politique) et un seul germe aléatoire (le point de départ de la magie). Lorsque vous demandez à l'outil de traiter un échantillon, il lance les dés une seule fois. Il décide : « D'accord, je vais retourner cette image, et je vais aussi retourner le masque et les boîtes. » Il ne retourne pas l'image, puis ne relance pas les dés pour décider s'il faut retourner le masque. Ce moment unique de prise de décision garantit que tout reste aligné.

L'outil est incroyablement flexible. Il peut gérer :

• La Vision Stéréo : Imaginez prendre une photo avec deux caméras (gauche et droite). AlbumentationsX traite ces deux images comme une paire, garantissant que si vous recadrez la vue de gauche, la vue de droite subit exactement le même recadrage.
• Les Cartes de Profondeur (Depth Maps) : Ce sont des cartes 3D montrant la distance des objets. L'outil sait que, bien que vous puissiez modifier la luminosité d'une photo en couleur, vous ne devriez pas modifier la géométrie de la carte de profondeur. Il maintient la cohérence des changements de forme, mais ignore les changements de couleur pour la carte de profondeur.
• Les Clips Vidéo : Si vous avez une vidéo, vous ne voulez pas que la caméra saute de manière aléatoire. AlbumentationsX traite tout le clip comme une seule unité, de sorte que si vous recadrez la vidéo, vous recadrez chaque image (frame) au même endroit, créant un zoom fluide et naturel plutôt qu'un mouvement saccadé.

Construire vos propres règles

L'une des fonctionnalités les plus cool est que vous pouvez créer vos propres mouvements personnalisés. Peut-être que votre projet nécessite de simuler un type spécifique de bug de caméra ou une erreur de capteur étrange. Le document montre comment vous pouvez écrire une « transformation » personnalisée (un mouvement) et l'insérer directement dans le pipeline. Parce qu'elle est à l'intérieur de la même boîte, elle suit les mêmes règles et probabilités que les mouvements intégrés. C'est comme ajouter un nouveau pas de danse à la chorégraphie ; tant qu'il fait partie de la routine, tout le monde le fait ensemble.

Le Filet de Sécurité : Rejouer la Magie

Et si le robot apprend quelque chose de bizarre et que vous voulez savoir exactement ce qui s'est passé ? Le document suggère une astuce ingénieuse : ReplayCompose. Vous pouvez enregistrer un compte rendu exact des choix aléatoires faits lors d'un appel spécifique. Plus tard, vous pouvez réinjecter cet enregistrement, et l'outil recréera la même transformation exacte. C'est comme appuyer sur « annuler » dans un niveau de jeu vidéo, mais au lieu de revenir en arrière dans le temps, vous rejouez la séquence exacte des événements pour voir où l'erreur s'est produite.

Ce que cet outil fait (et ne fait pas)

L'auteur est très clair sur ce qu'est et ce qu'n'est pas AlbumentationsX. C'est un outil d'alignement, pas un lecteur de pensée. Il retournera volontiers une image de chat à l'envers, mais il ne vous dira pas si c'est une bonne idée pour votre tâche spécifique. Si vous entraînez un robot à lire des panneaux de signalisation, retourner l'image pourrait rendre le panneau illisible, et l'outil ne vous en empêchera pas. L'expert humain doit toujours décider quels mouvements font sens pour son problème spécifique.

Le document note également que, bien que d'autres outils existent (comme TorchVision ou Kornia), AlbumentationsX se distingue car il possède une vaste bibliothèque de 121 transformations 2D différentes et est spécifiquement conçu pour garder tous ces types de données différents (images, masques, boîtes, vidéos) parfaitement synchronisés. Il ne prétend pas être le plus rapide ou la seule façon de faire cela, mais il offre une solution très fiable, prête à l'emploi, qui empêche les données d'être « corrompues » par des changements décalés.

En résumé, AlbumentationsX est le gardien de la cohérence. Il garantit que lorsque vous jouez avec vos données pour enseigner la vision par ordinateur à un modèle, vous ne brisez pas accidentellement la leçon en déplaçant l'image mais en laissant la carte derrière. C'est la différence entre une piste de danse chaotique où tout le monde trébuche sur ses propres pieds et une performance parfaitement chorégraphiée où chaque mouvement est synchronisé.