De Onzichtbare Leraar in de Machine

Stel je voor dat je een robot probeert te leren om een kat te herkennen. In de oude dagen moest je hem duizenden foto's laten zien en elke foto handmatig labelen als "kat" of "geen kat". Dit is alsof je voor elke les een menselijke tutor inhuurt. Maar onlangs ontdekten wetenschappers een manier om de robot zelfstandig te laten leren, zonder dat een mens naar het scherm wijst. Dit wordt self-supervised learning (zelfgestuurd leren) genoemd. De robot bekijkt een afbeelding, maakt twee licht verschillende versies van die afbeelding (zoals bijsnijden of de kleur aanpassen), en probeert erachter te komen dat deze twee versies eigenlijk hetzelfde object zijn. Het leert door "vrienden" (gelijkaardige afbeeldingen) te vergelijken met "vreemden" (verschillende afbeeldingen).

Er zit echter een addertje onder het gras. Als de "vreemden" te overduidelijk zijn—zoals een foto van een broodrooster naast een kat laten zien—leert de robot niets nieuws. Het is als een toets waarbij de antwoorden te makkelijk zijn; je wordt er niet slimmer van. Om diepgaand te leren, heeft de robot "moeilijke" vreemden nodig: afbeeldingen die bijna op een kat lijken, maar het niet zijn. Hier komen Vision Transformers in beeld. Dit zijn een nieuw type hersenarchitectuur voor computers die ongelooflijk goed zijn in het herkennen van patronen in afbeeldingen, een beetje zoals hoe onze ogen zich concentreren op specifieke details in een drukke kamer. De grote vraag die onderzoekers stellen is: Hoe kunnen we deze krachtige machines nog beter laten leren door ze de juiste soort moeilijke oefening te geven?

---

Het Grote Idee van het Papier: De Perfecte "Nep"-Schurken Maken

Dit papier, getiteld "Unsupervised Training of Vision Transformers with Synthetic Negatives", vindt het wiel niet opnieuw uit. In plaats daarvan besloten de auteurs—onderzoekers van Imperial College London—om te kijken naar een specifiek deel van het leerproces dat iedereen een beetje had genegeerd: de "negatieve" voorbeelden.

In de wereld van machine learning is een "negatief" simpelweg een voorbeeld van iets dat niet het doelwit is. Als je een model leert om een hond te herkennen, is een foto van een kat een negatief. Meestal pakken computers gewoon willekeurige negatieven uit een stapel andere afbeeldingen. Maar de auteurs realiseerden zich dat deze willekeurige negatieven vaak te makkelijk zijn. Het is alsof je een willekeurig persoon uit een menigte kiest om te vergelijken met een specifieke beroemdheid; het is overduidelijk dat zij niet dezelfde persoon zijn.

De auteurs vroegen zich af: Wat als we "synthetische harde negatieven" zouden kunnen creëren? Dit zijn geen echte foto's uit een camera. In plaats daarvan zijn het mathematisch vervaardigde "nep"-voorbeelden die precies op de grens liggen van verwarrend zijn. Ze lijken bijna op het doelwit, waardoor de computer echt moet turen en de kleine verschillen moet ontdekken.

Denk hierbij aan trainen voor een martial arts toernooi. Als je alleen traint tegen tegenstanders die veel zwakker zijn dan jij, zul je nooit goed worden. Maar als je traint tegen een partner die net iets beter is dan jij, of die jouw bewegingen perfect nabootst, moet je veel sneller leren. De methode van de auteurs, die ze SynBY noemen, werkt als een slimme trainingspartner. Het neemt de "vreemde" afbeeldingen waar de computer al naar kijkt, zoekt de afbeeldingen die het meest verwarrend zijn (de "hardste" negatieven), en mengt deze vervolgens samen om een nieuw, super uitdagend voorbeeld te creëren. Dit nieuwe voorbeeld wordt vervolgens teruggevoerd in het systeem om het leerproces moeilijker en effectiever te maken.

Hoe Ze Het Testten en Wat Ze Vonden

Het team testte dit idee met twee populaire soorten Vision Transformers: DeiT-S en Sient-T. Ze voerden hun experimenten uit op een enorme dataset genaamd ImageNet, die miljoenen afbeeldingen bevat. Ze vergeleken hun nieuwe methode (SynBY) met de standaard manier van doen (MoBY).

De resultaten waren veelbelovend. Wanneer ze hun synthetische harde negatieven gebruikten, werden zowel de DeiT-S als de Swin-T modellen iets beter in het herkennen van afbeeldingen. Specifiek verbeterden de modellen hun nauwkeurigheid met 0,2% vergeleken met de standaardmethode. Hoewel dat getal misschien klein klinkt, is een kleine stijging zoals die in de wereld van hoogwaardige AI een grote zaak, omdat het betekent dat de modellen meer "discriminatieve" kenmerken leren—ze worden beter in het spotten van de subtiele details die een kat tot een kat maken en niet tot een hond.

De auteurs keken ook naar hoe de modellen dachten. Ze visualiseerden de "aandacht" van de modellen (de delen van de afbeelding waar de computer zich op concentreerde). Ze ontdekten dat de modellen met hun synthetische negatieven begonnen te focussen op meer specifieke, betekenisvolle delen van de afbeelding, in plaats van alleen op de algemene vorm. Het is alsof de robot van het kijken naar een hele vlek en zeggen "dat is een dier" naar het kijken naar de snorharen en oren en zeggen "dat is definitief een kat" is gegaan.

Wat Ze Uitsloten en Wat Nog Onbekend Is

Een van de meest interessante bevindingen in het papier is wat de auteurs niet nodig hadden te hebben. Eerdere methoden vereisten vaak een reeks extra "trucs" om het leren stabiel te houden, zoals het veranderen van de manier waarop de computer gegevens verwerkt of het gebruiken van zeer specifieke instellingen. De auteurs ontdekten dat ze door hun synthetische harde negatieven te gebruiken, veel van deze extra trucs daadwerkelijk konden schrappen. De "nep" moeilijke voorbeelden waren zo goed in het onderwijzen van het model, dat het systeem niet veel hulp nodig had om op koers te blijven. Dit sugggeert dat de synthetische negatieven fungeren als een krachtige natuurlijke regulator, wat het hele proces vereenvoudigt.

De auteurs zijn echter voorzichtig om de resultaten niet te overschatten. De auteurs geven toe dat hun gedetailleerde testen op een kleinere subset van afbeeldingen genaamd ImageNet-100 werd uitgevoerd voor sommige experimenten, en ze hebben dit nog niet getest op complexere taken zoals het begrijpen van video's of het combineren van afbeeldingen met tekst. Ze merken ook op dat hoewel de modellen beter zijn geworden, ze nog steeds niet zo goed zijn als modellen die getraind zijn met menselijke labels (supervised learning). Het papier suggereert dat dit een solide stap voorwaarts is, maar het is geen wondermiddel dat alles oplost.

De Kernboodschap

Kortom, dit papier suggereert dat als je wilt dat een computer echt goed leert van afbeeldingen zonder menselijke hulp, je niet alleen willekeurige voorbeelden naar hem moet gooien. Je moet hem juist met opzet de "moeilijke" geven. Door mathematisch uitdagende "nep"-voorbeelden te creëren die precies op de grens van verwarring liggen, hebben de auteurs aangetoond dat Vision Transformers kunnen leren om de wereld met een scherpere focus te zien. Het is een eenvoudige maar effectieve aanpassing: maak de oefening moeilijker, en de student wordt slimmer.