Symbiosis-Inspired Knowledge Distillation for Incremental Object Detection

Stel je voor dat je een robot leert om dieren te herkennen in een dierentuin. Eerst laat je het de robot foto's van leeuwen en tijgers zien. De robot leert hen perfect te herkennen. Daarna besluit je om de robot over zebra's en giraffen te leren. Hier komt het lastige deel: je kunt de robot niet opnieuw foto's van leeuwen en tijgers laten zien omdat je beloofd hebt die oude foto's privé te houden, of misschien heb je ze gewoon weggegooid om ruimte te besparen. Als je de robot alleen de nieuwe dieren laat zien, kan hij in de war raken. Hij kan gaan denken dat een zebra een paard is, of erger nog, hij kan vergeten hoe een leeuw eruitziet omdat zijn brein te druk is met het leren van nieuwe dingen. Dit is een probleem dat "catastrofale vergetelheid" wordt genoemd, en dit gebeurt wanneer computers proberen nieuwe dingen te leren zonder hun oude herinneringen te verliezen.

In de wereld van computer vision staat dit bekend als Incremental Object Detection. Dit is de uitdaging om een camerasysteem te leren nieuwe categorieën objecten te herkennen (zoals een nieuw type fruit of een nieuw soort voertuig), terwijl het nog steeds weet hoe het de oude objecten moet herkennen, zonder dat het naar de oude trainingsfoto's hoeft te kijken. Meestal proberen wetenschappers dit op te lossen door een muur te bouwen tussen de "oude" kennis en de "nieuwe" kennis, waarbij ze de computer dwingen om ze in aparte mentale boxen te bewaren. Maar een nieuw artikel suggereert dat het bouwen van muren eigenlijk de verkeerde zet is. In plaats daarvan stelt het voor dat we moeten kijken naar hoe objecten op natuurlijke wijze met elkaar samenhangen. In de echte wereld verschijnen objecten vaak in paren of groepen (zoals een paard en een ruiter, of een appel naast een sinaasappel) en soms verbergen ze zich achter elkaar. De auteurs stellen dat deze rommelige, overlappende relaties juist aanwijzingen zijn die de computer kunnen helpen beter te onthouden, in plaats van ruis die opgeruimd moet worden.

---

Het Papier: Robots leren onthouden door naar vrienden te kijken

Dit artikel introduceert een slimme nieuwe methode genaamd Symbiosis-Inspired Knowledge Distillation (SIKD). Denk aan dit als een manier om een robot te leren door te kijken naar hoe oude vrienden en nieuwe vrienden met elkaar omgaan, in plaats van hen te dwingen in aparte kamers te zitten.

De auteurs, een team van Xidian University, merkten op dat de meeste bestaande methoden te strikt proberen te zijn. Wanneer een robot een foto ziet met zowel een oud object (zoals een sinaasappel) als een nieuw object (zoals een appel), proberen de oude methoden de sinaasappel te negeren als deze tegen de appel aan ligt, of ze proberen te doen alsof de sinaasappel niet bestaat. Ze doen dit omdat ze bang zijn dat de robot in de war raakt. Maar de auteurs zeggen: "Wacht eens even! In de natuur bestaan dingen naast elkaar. Een persoon die op een paard rijdt, is een klassiek voorbeeld van twee dingen die dezelfde ruimte delen." Door deze gedeelde ruimtes te negeren, verliest de robot waardevolle aanwijzingen over hoe de wereld werkt.

Om dit op te lossen, gebruikt SIKD twee speciale technieken die werken als een supergeorganiseerde studiegroep voor het brein van de robot:

1. De "Spot de Overlap"-truc (Spatial Symbiosis Distillation)
Stel je voor dat je naar een foto kijkt waar een nieuwe appel gedeeltelijk achter een oude sinaasappel zit. Een strenge leraar zou zeggen: "Negeer de sinaasappel, die staat in de weg." Maar SIKD zegt: "Kijk! De sinaasappel is er nog steeds, en hij helpt ons te begrijpen waar de appel zich bevindt."
De methode identificeert deze "symbiotische regio's"—plekken waar oude en nieuwe objecten overlappen of samen voorkomen. Het gebruikt een speciale module (genoemd CFE) om het zicht van de robot op deze rommelige plekken op te schonen. Het vertelt de robot: "Houd de algemene vorm van de sinaasappel aan, maar laat het je niet verwarren met de appel." Vervolgens leert het de nieuwe robotmodellen om aandacht te besteden aan deze specifieke plekken, zodat de robot ervoor zorgt dat zijn ruimtelijke kaart accuraat blijft, zelfs wanneer dingen druk zijn.

2. De "Groepsknuffel"-truc (Semantic Symbiosis Distillation)
Terwijl de eerste truc kijkt naar waar dingen zijn, kijkt deze naar wat dingen zijn. Stel je voor dat de robot een mentale lijst heeft van alle oude vruchten die hij kent. Wanneer hij over een nieuwe vrucht leert, kan hij per ongeluk van mening veranderen over wat een "sinaasappel" is.
SIKD creëert een "prototype" voor elke oude klasse. Denk aan een prototype als het perfecte, gemiddelde mentale beeld van een sinaasappel. De methode controleert vervolgens het vertrouwen van de robot in deze beelden. Als de robot 90% zeker is dat iets een sinaasappel is, krijgt dat beeld een grote stem in de groep. Als hij slechts 50% zeker is, krijgt het een kleinere stem.
De magie gebeurt wanneer de robot de nieuwe klasse leert. SIKD zorgt ervoor dat de robot de rangorde van de oude klassen hetzelfde houdt. Als een sinaasappel altijd als "meer lijkend op een mandarijn dan op een banaan" werd beschouwd, moet de robot die relatie waar is houden, zelfs nadat hij over appels heeft geleerd. Dit voorkomt dat de robot zijn hele geheugen door elkaar husselt, alleen maar omdat hij iets nieuws heeft geleerd.

Wat ze vonden

Het team testte hun methode op een beroemde dataset genaamd COCO 2017, die 80 verschillende categorieën objecten bevat. Ze zetten een uitdaging op waarbij de robot eerst 70 categorieën leerde en daarna 10 nieuwe moest leren (een opstelling genaamd 70+10).

• De resultaten: De SIKD-methode presteerde beter dan bijna alle andere methoden waarmee ze het vergeleken. In de 70+10 test behaalde hun robot een AP (Average Precision) van 44,3%, waarmee ze de vorige beste non-memory methoden met een stevige marge versloegen.
• De vergelijking: Ze testten de methode ook op een 40+40 split (leren van 40, dan 40 meer). Hier scoorde SIKD 43,3%, en kwam opnieuw als winnaar uit de bus.
• Het "Geen Geheugen"-voordeel: Veel andere topmethoden gebruiken "exemplars", wat betekent dat ze een klein fotoalbum van oude afbeeldingen bewaren om de robot te helpen herinneren. SIKD gebruikte helemaal geen oude foto's, en toch versloof het methoden die wel exemplars gebruikten. Dit is een groot ding, want het betekent dat de robot kan leren zonder dat hij enige privédata hoeft op te slaan.

Ze testten de methode ook op een dataset van luchtfoto's genaamd DIOR, waar objecten zoals schepen en vliegtuigen vaak overlappen. Hier verbeterde SIKD de score met 6,2 tot 9,0 punten vergeleken met andere methoden, wat aantoont dat het "symbiose"-idee werkt, zelfs wanneer objecten van bovenaf op elkaar gestapeld zijn.

Waarom het ertoe doet

Het artikel suggereert dat door de rommelige, overlappende realiteit van hoe objecten in de echte wereld bestaan te omarmen, we slimme robots kunnen bouwen die niet vergeten wat ze hebben geleerd. In plaats van te proberen het verleden van het heden te scheiden, gebruikt SIKD de verbinding tussen hen als een brug. De auteurs ontdekten dat deze "symbiose"-benadering niet alleen hels bij om de robot beter te laten onthouden, maar ook voorkomt dat hij in de war raakt wanneer er nieuwe dingen verschijnen.

In hun experimenten toonden ze aan dat deze methode de verwarring tussen oude en nieuwe klassen vermindert. Bijvoorbeeld, in een visuele test was de robot die SIKD gebruikte veel minder geneigd om een oud object voor een nieuw object aan te zien in vergelijking met robots die oudere methoden gebruikten. De auteurs concluderen dat deze "symbiose"-benadering een veelbelovende weg vooruit is voor het maken van AI die continu kan leren, net als mensen, zonder dat hij elke enkele foto hoeft te onthouden die hij ooit heeft gezien.