Contextualizing CNN attribution maps using predefined image-derived descriptors in medicinal plant seed classification

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van naar vingerafdrukken te zoeken, kijk je naar een foto. In de wereld van kunstmatige intelligentie worden computers steeds beter in het bekijken van foto's en het raden wat ze voorstellen. Dit wordt "beeldclassificatie" genoemd. Als je een computer een foto van een hond laat zien, kan hij zeggen: "Dat is een hond!" met 99% zekerheid. Maar hier komt het lastige gedeelte: de computer "ziet" niet echt zoals wij dat doen. Het is een beetje als een magische zwarte doos die een antwoord uitspuugt zonder je te vertellen waarom hij dat antwoord koos. Keek hij naar de oren? De staart? Of misschien alleen naar de achtergrond?

Om dit op te lossen, gebruiken wetenschappers iets dat "attributiekaarten" wordt genoemd. Denk aan deze als een high-tech markeerstift. Wanneer de computer een gok doet, licht de attributiekaart de specifieke delen van de afbeelding op die de computer het belangrijkst vond. Het is alsof de computer met een vinger wijst en zegt: "Ik zag dit plekje, en dat is waarom ik mijn keuze maakte." Maar er is een addertje onder het gras: de markeerstift laat alleen een wazige, gloeiende vlek zien. Het vertelt je waar de computer keek, maar niet wat hij in dat gebied zag. Was het de kleur? De textuur? De vorm? Dat is waar deze nieuwe studie om in komt: het proberen te vertalen van die wazige gloed naar een taal die we daadwerkelijk kunnen begrijpen.

---

Het Mysterie van de Medicinale Zaden

In dit onderzoek besloot een team van onderzoekers van de Kyung Hee Universiteit een zeer specifieke, zeer lastige puzzel op te lossen: het onderscheid maken tussen verschillende soorten zaden van medicinale planten. Deze zaden zijn minuscuul en sommige zien er met het blote oog bijna identiek uit — als tweelingen die dezelfde kleding dragen. Als een computer ze foutief identificeert, kan dat grote gevolgen hebben voor mensen die afhankelijk zijn van deze zaden voor medicijnen.

De onderzoekers verzamelden een collectie van 1.124 foto's van vijf verschillende soorten zaden: Armeniaca vulgaris, Armeniaca sibirica, Prunus japonica, Prunus davidiana en Prunus persica. Ze leerden een superintelligent computerbrein (een type AI dat een Convolutioneel Neuraal Netwerk, of CNN, wordt genoemd) om naar deze foto's te kijken en ze te sorteren. De computer was ongelooflijk goed in deze taak en kreeg het bijna elke keer goed. Sterker nog, drie verschillende computerbreinen die ze testten, waren zo accuraat dat ze de zogenaamde "near-ceiling performance" bereikten, wat betekent dat ze in feite perfect waren in de taak.

Maar de onderzoekers stopten niet bij de constatering dat "de computer slim is". Ze wilden weten: Waar kijkt de computer eigenlijk naar?

De "Markeerstift" versus het "Visuele Woordenboek"

Om dit te beantwoorden, gebruikten het team een hulpmiddel genaamd Integrated Gradients (IG). Stel je voor dat de computer een detective is die naar een foto van een zaadje kijkt. De IG-tool creëert een "heatmap" die rood oplicht op de plekken waar de detective het hardst naar staart. Maar zoals we al zeiden, een rode gloed vertelt je niet of de detective naar een glimmend plekje, een ruwe textuur of een specifieke kleur staart.

Daarom hebben de onderzoekers een slimme manier uitgevonden om die gloed te decoderen. Ze creëerden een reeks "predefined image-derived descriptor maps". Denk aan deze als een visueel woordenboek of een receptenboek voor de afbeelding. Ze braken de foto van het zaadje af in eenvoudige, meetbare ingrediënten:

• Kleur en Intensiteit: Hoe helder is het? Hoe licht of donker is het? (Zoals het meten van de "lichtheid" of "helderheid").
• Ruimtelijke Frequentie: Is het patroon glad en wazig, of is het grillig en gedetailleerd? (Zoals het meten van "grof" versus "fijn" detail).
• Textuur: Is het bobbelig of glad?
• Randen en Vormen: Waar zitten de contouren?

Vervolgens namen ze de "gloeiende markeerstift" van de computer (de attributiekaart) en vergeleken deze met hun "visuele woordenboek" (de descriptor maps). Ze stelden een eenvoudige vraag: Licht de markeerstift van de computer ook op in de plekken waar het "helderheid"-recept sterk is? Of gloeit hij op de plekken waar het "textuur"-recept sterk is?

De Grote Ontdekking: Het Draait Om Licht en Details met Lage Frequentie

Na het verwerken van de gegevens ontdekten de onderzoekers een heel duidelijk patroon. De computer keek niet naar de complexe, grillige randen of de minuscule, hoogfrequente details. In plaats daarvan licht de "markeerstift" van de computer het felst op op de exacte plekken waar de lichtheid (hoe licht het zaadje is) en de details met lage frequentie (de gladde, brede vormen) het sterkst waren.

Specifiek vonden de onderzoekers dat de aandacht van de computer het sterkst verbonden was met:

1. LAB L (een maatstaf voor perceptuele lichtheid).
2. Brightness (de algemene intensiteit van het licht).
3. FFT low-pass (wat de gladde, grovere variaties in de afbeelding vastlegt).

In simpele bewoordingen: de computer keek vooral naar hoe licht of donker het zaadje is en naar de algemene, gladde vorm, in plaats van zich te verliezen in kleine, ruizige texturen. De onderzoekers controleerden ook of andere zaken, zoals specifieke kleuren (verzadiging) of complexe contouren (Fourier-descriptors), ertoe deden. Ze ontdekten dat de computer daar niet veel om leek te geven; sterker nog, voor sommige van die kenmerken was de aandacht van de computer zelfs negatief verbonden, wat betekent dat de computer ze negeerde.

De "Samenvatting"-test

Om hun bevindingen te controleren, deden de onderzoekers een tweede experiment. Ze namen al die "visuele woordenboek"-ingrediënten (de helderheid, de textuur, de randen) en zetten deze om in een eenvoudige lijst met getallen (samenvattende statistieken). Ze voerden deze lijst met getallen in bij een ander, eenvoudiger type computerbrein om te zien of dit de zaden nog steeds uit elkaar kon houden.

De resultaat? Ja. Zelfs zonder het geavanceerde deep-learning model, kon de computer de zaden met zeer hoge nauwkeurigheid (ongeveer 97,8%) sorteren door enkel de samenvattende getallen van deze visuele ingrediënten te gebruiken. Dit bewees dat de visuele informatie die de computer gebruikte daadwerkelijk aanwezig was en voldoende was om het mysterie op zichzelf op te lossen.

Waarom Dit Belangrijk Is

Deze studie is als het geven van een stem aan de computer. Voorheen wisten we alleen dat de computer gelijk had. Nu weten we ook hoe hij gelijk heeft. Door aan te tonen dat de computer vertrouwt op lichtheid en brede vormen, hebben de onderzoekers een nieuwe manier gecreëerd om te controleren of een AI "correct denkt". Als een computer begint te focussen op de verkeerde dingen (zoals de achtergrond of een willekeurig stofje), zullen we weten dat hij niet vertrouwt op de beoogde kenmerken.

De auteurs suggereren dat deze methode — het vergelijken van de "gloed" van de computer met een "visueel woordenboek" — een krachtig hulpmiddel is om ervoor te zorgen dat AI betrouwbaar is, vooral wanneer het gaat om kleine, complexe zaken zoals medicinale zaden waarbij het essentieel is om het juiste antwoord te krijgen. Ze hebben niet alleen een manier gevonden om zaden te sorteren; ze hebben een manier gevonden om in het brein van de computer te kijken en te zien wat hij echt ziet.