Symbiosis-Inspired Knowledge Distillation for Incremental Object Detection

Imaginez que vous apprenez à un robot à reconnaître les animaux dans un zoo. Au début, vous lui montrez des photos de lions et de tigres. Le robot apprend à les repérer parfaitement. Ensuite, vous décidez de lui apprendre à reconnaître les zèbres et les girafes. Voici la partie délicate : vous ne pouvez pas montrer à nouveau au robot les photos de lions et de tigres parce que vous avez promis de garder ces anciennes photos privées, ou peut-être que vous les avez jetées pour gagner de l'espace. Si vous montrez simplement au robot les nouveaux animaux, il pourrait s'embrouiller. Il pourrait commencer à penser qu'un zèbre est un cheval, ou pire, il pourrait oublier à quoi ressemble un lion parce que son cerveau est trop occupé à apprendre de nouvelles choses. C'est un problème appelé « oubli catastrophique », et cela arrive lorsque les ordinateurs essaient d'apprendre de nouvelles choses sans perdre leurs anciens souvenirs.

Dans le monde de la vision par ordinateur, cela est connu sous le nom de Détection d'Objets Incrémentale. C'est le défi consistant à apprendre à un système de caméra à repérer de nouvelles catégories d'objets (comme un nouveau type de fruit ou un nouveau type de véhicule) tout en se souvenant de la manière de repérer les anciens, le tout sans regarder les anciennes photos d'entraînement. Généralement, les scientifiques essaient de résoudre ce problème en construisant un mur entre les anciennes connaissances et les nouvelles connaissances, forçant l'ordinateur à garder les deux dans des boîtes mentales séparées. Mais une nouvelle publication suggère que construire des murs pourrait en fait être la mauvaise approche. Au lieu de cela, elle propose que nous devions observer comment les objets passent naturellement du temps ensemble. Dans le monde réel, les objets apparaissent souvent par paires ou en groupes (comme un cheval et son cavalier, ou une pomme à côté d'une orange) et parfois ils se cachent les uns derrière les autres. Les auteurs soutiennent que ces relations désordonnées et chevauchantes sont en réalité des indices qui peuvent aider l'ordinateur à mieux se souvenir, plutôt que du bruit qui doit être nettoyé.

---

L'article : Apprendre aux robots à se souvenir en observant leurs amis

Cet article présente une nouvelle méthode ingénieuse appelée Distillation de Connaissance Inspirée par la Symbiose (SIKD). Voyez cela comme une façon d'enseigner à un robot en le laissant observer comment les anciens amis et les nouveaux amis interagissent, plutôt que de les forcer à rester dans des pièces séparées.

L'équipe d'auteurs, issue de l'Université de Xidian, a remarqué que la plupart des méthodes existantes essaient d'être trop strictes. Lorsqu'un robot voit une image contenant à la fois un ancien objet (comme une orange) et un nouvel objet (comme une pomme), les anciennes méthodes essaient d'ignorer l'orange si elle touche la pomme, ou elles essaient de prétendre que l'orange n'existe pas. Elles font cela parce qu'elles craignent que le robot ne soit confus. Mais les auteurs disent : « Attendez une minute ! Dans la nature, les choses coexistent. Une personne montant un cheval est un exemple classique de deux choses partageant le même espace. » En ignorant ces espaces partagés, le robot perd des indices précieux sur le fonctionnement du monde.

Pour correr cela, la SIKD utilise deux techniques spéciales qui agissent comme un groupe d'étude super organisé pour le cerveau du robot :

1. Le tour de « Repérer le chevauchement » (Distillation de Symbiose Spatiale)
Imaginez que vous regardez une photo où une nouvelle pomme est partiellement cachée derrière une ancienne orange. Un professeur strict pourrait dire : « Ignore l'orange, elle est dans le chemin. » Mais la SIKD dit : « Regardez ! L'orange est toujours là, et elle nous aide à comprendre où se trouve la pomme. »
La méthode identifie ces « régions symbiotiques » — des endroits où les anciens et les nouveaux objets se chevauchent ou apparaissent ensemble. Elle utilise un module spécial (appelé CFE) pour nettoyer la vue du robot de ces zones désordonnées. Elle dit au robot : « Garde la forme générale de l'orange, mais ne laisse pas elle te confondre avec la pomme. » Ensuite, elle enseigne au nouveau modèle de robot à prêter attention à ces endroits spécifiques, garantissant qu'il se souvienne que les oranges et les pommes peuvent partager le même espace sans se mélanger. Cela aide le robot à maintenir sa carte spatiale précise, même lorsque les choses sont encombrées.

2. Le tour du « Câlin collectif » (Distillation de Symbiose Sémantique)
Alors que le premier tour regarde où se trouvent les choses, celui-ci regarde ce que sont les choses. Imaginez que le robot possède une liste mentale de tous les anciens fruits qu'il connaît. Lorsqu'il apprend un nouveau fruit, il pourrait accidentellement changer d'avis sur ce qu'est une « orange ».
La SIKD crée un « prototype » pour chaque ancienne classe. Pensez à un prototype comme étant l'image mentale parfaite et moyenne d'une orange. La méthode vérifie ensuite la confiance du robot dans ces images. Si le robot est sûr à 90 % que quelque chose est une orange, cette image reçoit un grand vote dans le groupe. S'il n'est sûr qu'à 50 %, elle reçoit un plus petit vote.
La magie opère lorsque le robot apprend la nouvelle classe. La SIKD s'assure que le robot conserve le même classement des anciennes classes. Si une orange était toujours considérée comme « plus proche d'une mandarine que d'une banane », le robot doit maintenir cette relation vraie, même après avoir appris les pommes. Cela empêche le robot de bouleverser tout son souvenir simplement parce qu'il a appris quelque chose de nouveau.

Ce qu'ils ont trouvé

L'équipe a testé sa méthode sur un jeu de données célèbre appelé COCO 2017, qui contient 80 catégories d'objets différentes. Ils ont mis en place un défi où le robot apprenait d'abord 70 catégories, puis devait en apprendre 10 nouvelles (une configuration appelée 70+10).

• Les résultats : La méthode SIKD a obtenu de meilleurs résultats que presque toutes les autres méthodes avec lesquelles elle a été comparée. Dans le test 70+10, leur robot a atteint une AP (Précision Moyenne) de 44,3 %, dépassant nettement la meilleure méthode non basée sur la mémoire.
• La comparaison : Ils ont également testé la méthode sur une répartition 40+40 (apprendre 40, puis 40 de plus). Ici, la SIKD a obtenu 43,3 %, arrivant à nouveau en tête.
• L'avantage du « Sans Mémoire » : De nombreuses autres méthodes de haut niveau utilisent des « exemplaires », ce qui signifie qu'elles conservent un petit album des anciennes photos pour aider le robot à se souvenir. La SIKD n'a utilisé aucune ancienne photo, et pourtant, elle a quand même battu des méthodes qui en utilisaient. C'est un événement majeur car cela signifie que le robot peut apprendre sans avoir besoin de stocker de données privées.

Ils ont également testé la méthode sur un jeu de données de photos aériennes appelé DIOR, où les objets comme les navires et les avions se chevauchent souvent. Ici, la SIKD a amélioré le score de 6,2 à 9,0 points par rapport aux autres méthodes, montrant que l'idée de « symbiose » fonctionne même lorsque les objets sont empilés les uns sur les autres depuis le ciel.

Pourquoi c'est important

L'article suggère qu'en acceptant la réalité désordonnée et chevauchante de la façon dont les objets existent dans le monde réel, nous pouvons construire des robots plus intelligents qui n'oublient pas ce qu'ils ont appris. Au lieu de séparer le passé du présent, la SIKD utilise la connexion entre eux comme un pont. Les auteurs ont découvert que cette approche aide non seulement le robot à mieux se souvenir des anciennes choses, mais empêche aussi de s'embrouiller lorsque de nouvelles choses apparaissent.

Dans leurs expériences, ils ont montré que cette méthode réduit la confusion entre les anciennes et les nouvelles classes. Par exemple, dans un test visuel, le robot utilisant la SIKD était beaucoup moins susceptible de confondre un ancien objet avec un nouveau par rapport aux robots utilisant les anciennes méthodes. Les auteurs concluent que cette approche de « symbiose » est une voie prometteuse pour créer une IA capable d'apprendre de manière continue, tout comme les humains, sans avoir besoin de mémoriser chaque image qu'elle a jamais vue.