Unsupervised Incremental Learning Using Confidence-Based Pseudo-Labels
Dit artikel stelt ICPL voor, een ongesuperviseerde class-incremental learning-methode die vertrouwensgebaseerde pseudo-labels gebruikt om modellen in staat te stellen nieuwe klassen te leren van ongelabelde gegevens, waarbij het een superieure prestatie levert ten opzichte van state-of-the-art class-iNCD-benaderingen terwijl het praktische bruikbaarheid demonstreert op fijnmazige datasets en in omgevingen met beperkte middelen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie zijn machines bijzonder vaardig geworden in het herkennen van patronen, van het identificeren van katten op foto's tot het diagnosticeren van ziekten. Deze digitale breinen worden echter vaak getraind in een gecontroleerde omgeving waar de lijst met zaken die ze moeten weten vaststaat en compleet is. In de echte wereld is de situatie veel vloeiender. Nieuwe soorten objecten, dieren of situaties verschijnen voortdurend, en een systeem dat niet over deze zaken kan leren zonder volledig opnieuw getraind te worden, is van beperkte waarde. Deze uitdaging staat bekend als incrementeel leren. Het doel is om een model door de tijd heen nieuwe categorieën te leren terwijl het alles onthoudt wat het eerder heeft geleerd, een taak die wordt bemoeilijkt door een fenomeen genaamd catastrofale vergetelheid, waarbij het leren van nieuwe informatie ervoor zorgt dat het systeem oude kennis verliest. Traditioneel vereiste het oplossen hiervan dat mensen elke nieuwe afbeelding arbeidsintensief labelden met de juiste naam, een proces dat traag, duur en vaak onmogelijk schaalbaar is voor de eindeloze stroom gegevens die in de natuur of de industrie wordt aangetroffen.
Een onderzoeker bij Thales heeft een andere weg vooruit voorgesteld, één die de noodzaak van menselijke labels volledig wegneemt tijdens deze leerningsfasen. Zij ontwikkelden een methode genaamd ICPL, die een kunstmatige intelligentie in staat stelt om zichzelf over nieuwe klassen objecten te leren gebruiken met behulp van alleen ruwe, niet-gelabelde afbeeldingen. In plaats van te wachten tot een mens zegt: "Dit is een nieuw type vogel", groepeert het systeem vergelijkbare afbeeldingen op basis van hun visuele kenmerken en creëert zo zijn eigen tijdelijke namen voor deze groepen. De onderzoeker introduceerde vervolgens een veiligheidsmechanisme om ervoor te zorgen dat het systeem alleen zijn eigen gokken vertrouwt wanneer het er zeer zeker van is dat ze correct zijn. Door deze zelf-labelingstechniek te integreren in bestaande leerkaders, toonden zij aan dat een machine gedurende een lange periode nieuwe dingen kan blijven leren, waarbij het geheugen aan het verleden behouden blijft zonder menselijke tussenkomst.
De kern van dit werk adresseert een specifieke kloof in hoe we deze systemen testen en bouwen. Eerdere methoden voor het afhandelen van ongelabelde gegevens beschouwden het probleem vaak als een eenvoudige clusteringstaak, waarbij de computer dingen simpelweg groepeert zonder erom te geven of de groepen overeenkomen met de werkelijkheid. De onderzoeker betoogde dat deze benadering gebrekkig is voor toepassingen in de echte wereld, omdat het een systeem toestaat "gelijk" te hebben, zelfs als het oude klassen met nieuwe klassen verwart. Bijvoorbeeld, een systeem zou een nieuw type auto foutief als een oud type auto kunnen labelen en vice versa, en toch een perfecte score krijgen onder oudere testregels. Om dit op te lossen, creëerde de onderzoeker een nieuw evaluatieprotocol dat de relatie tussen de door de computer zelf gemaakte groepen en de werkelijke werkelijkheid vastlegt. Dit zorgt ervoor dat het systeem tijdens het testen werkelijk wordt beoordeeld op zijn vermogen om verschillende dingen van elkaar te onderscheiden, en niet alleen op zijn vermogen om ze in stapels te sorteren.
Om deze zelfgemaakte labels te genereren, gebruikte de onderzoeker een standaard groeperingsalgoritme dat afbeeldingen organiseert op basis van hoe ze op elkaar lijken in de interne representatie van de computer. Stel je voor dat de computer naar een verzameling ongelabelde foto's kijkt en ze in clusters rangschikt waar vergelijkbare items dicht bij elkaar liggen. De onderzoeker berekende vervolgens een betrouwbaarheidsscore voor elke afbeelding, waarbij werd gemeten hoe nauw deze in de toegewezen groep paste. Als een afbeelding zich precies in het midden van een cluster bevond, was het systeem zeer zeker van zijn label; als de afbeelding aan de rand lag, was het systeem onzeker. De methode gooide vervolgens de onzekere afbeeldingen weg en gebruikte alleen de afbeeldingen met een hoog vertrouwen om het model te onderwijzen. Dit selectieve proces was cruciaal, aangezien het gebruik van alle zelf gegenereerde labels, inclusief de ruisachtige en incorrecte labels, de prestaties van het model zouden hebben verslechterd.
De resultaten van deze aanpak werden getest op twee belangrijke beelddatasets, één met 100 categorieën van alledaagse objecten en een andere met 100 categorieën van natuurlijke beelden. De onderzoeker vergeleek hun ongesuperviseerde methode met de standaard gesuperviseerde aanpak, waarbij mensen alle labels aanleveren. Zij ontdekten dat hoewel de zelflerende methode weliswaar leidde tot een lichte daling in nauwkeurigheid vergeleken met de door mensen gelabelde versie, het verschil verrassend klein was. In veel scenario's was het prestatieverlies minder dan tien procent, een afruil die de onderzoeker de enorme besparingen in tijd en arbeid die nodig zijn voor het labelen van de gegevens, het overwegen waard vond. Belangrijker nog, toen zij hun methode vergeleken met andere bestaande technieken die ontworpen zijn om nieuwe categorieën zonder labels te ontdekken, was hun aanpak aanzienlijk beter. In langetermijnleerscenario's met vele incrementele stappen presteerde hun methode meer dan vijf procent beter in uiteindelijke nauwkeurigheid dan de beste eerdere ongesuperviseerde technieken.
De studie onderzocht ook hoe deze methode standhoudt in complexere, realistische situaties waar de verschillen tussen categorieën subtiel zijn, zoals het onderscheiden van verschillende hondensoorten of automodellen. Zij testten het systeem op fijnmazige (fine-grained) datasets en vonden dat het effectief bleef, hoewel zij opmerkten dat het vooraf trainen van het model op een enorme algemene dataset voordat het incrementele leren begon, de prestaties in deze specifieke gevallen juist schaadde. Dit suggereert dat voor zeer gespecialiseerde taken beter is om het model vanaf nul te laten leren met behulp van de nieuwe gegevens, in plaats van te vertrouwen op brede, reeds bestaande kennis. Bovendien analyseerde de onderzoeker de computationele kosten van hun methode en ontdekte dat het niet alleen sneller te trainen was, maar ook minder rekenkracht vereiste dan de volledig gesuperviseerde aanpak. Door de onzekere gegevens te filteren, verwerkte het systeem minder afbeeldingen, waardoor de energie en tijd die nodig zijn voor training met ongeveer een kwart werden verminderd ten opzichte van de standaardmethode.
Dit werk demonstreert dat kunstmatige intelligentie kan worden ontworpen om continu te leren van de ruwe gegevens van de wereld zonder constante menselijke supervisie. Door een eenvoudige clusteringtechniek te combineren met een strikte betrouwbaarheidsfilter en een striktere manier om resultaten te testen, heeft de onderzoeker een levensvatbaar pad aangetoond naar machines die kunnen aanpassen aan nieuwe situaties zoals deze ontstaan. De bevindingen suggereren dat de droom van een AI die leert zoals een mens — observerend, groeperend en het verfijnen van zijn begrip van nieuwe zaken zonder een leraar voor elk enkel voorbeeld — een praktische realiteit aan het worden is, vooral in omgevingen waar middelen beperkt zijn en data overvloedig maar ongelabeld is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.