Visual-Prompt Guided Wildlife Instance-Level Recognition

In de uitgestrekte, zonovergoten savannes van Afrika is het onderscheiden van het ene dier van het andere een taak die zowel menselijke waarnemers als de machines die we bouwen om hen te observeren, al lang uitdaagt. Hoewel moderne camera's gemakkelijk kunnen zien dat een zebra een zebra is, of een jachtluipaard een jachtluipaard, is het identificeren van een specifiek individu binnen een kudde een heel ander verhaal. Dit komt doordat elke zebra een unieke kaart van strepen draagt, en elk jachtluipaard een duidelijke constellatie van vlekken bezit, vergelijkbaar met een menselijke vingerafdruk. Voor onderzoekers die de wilde fauna bestuderen, is het herkennen van deze individuele identiteiten cruciaal voor het bijhouden van de populatiegezondheid, migratiepatronen en overlevingskansen. Tot voor kort vereiste de meest effectieve manier voor computers om dit puzzel op te lossen een tweestaps-proces: eerst zou de machine een foto scannen om elk dier dat het kon zien te vinden en uit te snijden, en vervolgens, in een aparte tweede stap, zou het de uitgesneden stukjes vergelijken met een database van bekende individuen om een match te vinden. Deze methode werkt, maar is traag, gefragmenteerd en heeft vaak moeite wanneer dieren dicht op elkaar staan of gedeeltelijk verborgen zijn.

Een team onderzoekers uit Zuid-Afrika en Zweden heeft een nieuwe manier voorgesteld om dit probleem aan te pakken, waarbij zij suggereren dat de machine kan leren om direct naar een specifiek dier te zoeken binnen de volledige scène, zonder dat de afbeelding eerst in stukken hoeft te worden gesneden. Hun aanpak, die gedetailleerd wordt beschreven in een recente studie, behandelt de zoektocht naar een specifiek dier niet als een spel van "vinden en bijsnijden", maar als een directe conversatie tussen de computer en de afbeelding. In plaats van blindeling te scannen op elk dier en vervolgens te proberen te raden wie het is, krijgt het systeem een "visuele prompt" — een kleine foto van de specifieke zebra of het specifieke jachtluipaard dat de onderzoekers zoeken. De computer gebruikt deze prompt vervolgens om de volledige foto te scannen, waarbij hij zoekt naar dat exacte patroon van strepen of vlekken terwijl hij tegelijkertijd bepaalt waar het dier staat. Het is één vloeiende beweging die de handeling van het vinden van het dier combineert met de handeling van het herkennen ervan.

Om dit mogelijk te maken, hebben de onderzoekers een systeem gebouwd dat put uit twee krachtige soorten kunstmatige intelligentie. Eén deel van het systeem is getraind om de brede geometrie van een scène te begrijpen, wetend hoe het de vorm van een landschap en de ruimtelijke relaties tussen objecten kan zien. Het andere deel is een specialist die specifiek op wilde dieren is getraind, in staat om de fijne, ingewikkelde details te herkennen die het ene individu van het andere onderscheiden. In hun opstelling neemt het systeem een volledige foto van een kudde en een kleine referentieafbeelding van het doel dier. Vervolgens gebruikt het een mechanisme dat de referentieafbeelding de mogelijkheid geeft om de volledige scène te "vragen" waar het bijbehorende dier zich verbergt. Dit gebeurt in één enkele fase, wat betekent dat de computer de afbeelding niet stopt om bij te snijden of deze door een tweede filter te sturen; het lokaliseert het doelwit en tekent er in één keer een kader omheen.

De resultaten van deze nieuwe methode zijn veelbelovend, hoewel de onderzoekers er voorzichtig bij opmerken dat het werk nog in een vroeg stadium verkeert. Wanneer zij hun systeem testten op afbeeldingen van giraffen en zebra's, lokaliseerde en identificeerde het succesvol specifieke dieren, zelfs onder moeilijke omstandigheden, zoals wanneer ze ver weg waren, gedeeltelijk geblokkeerd werden door andere dieren, of opgingen in de achtergrond. Het systeem behaalde een score van 30,584% in de mate waarin het accuraat de juiste individuen kon vinden en identificeren. Hoewel dit lager is dan de score van 44,89% die door de traditionele tweestaps-methode werd behaald, biedt de nieuwe aanpak een aanzienlijk voordeel in efficiëntie. Het behaalt zijn resultaten door de afbeelding in één enkele passage te verwerken, terwijl de oudere methode meerdere afzonderlijke fasen van verwerking vereist. De onderzoekers ontdekten dat hun systeem nauwe, nauwkeurige kaders rond de doelwitsystemen kon tekenen, zelfs in dichte kuddes waar individuen overlappen.

De studie suggereert dat deze directe aanpak een groot potentieel heeft voor de toekomst van wildlife monitoring. Door de computer in staat te stellen om direct naar een specifieke identiteit te zoeken binnen de volledige context van de scène, bootst het systeem de manier na waarop een menselijke waarnemer naar een kudde zou kijken en een bekend gezicht zou spotten zonder eerst elk dier te hoeven isoleren. Hoewel de huidige versie nog niet de ruwe nauwkeurigheid van de gevestigde tweestaps-methoden evenaart, geloven de onderzoekers dat het verfijnen van dit enkelvoudige proces uiteindelijk kan leiden tot systemen die zowel sneller als nauwkeuriger zijn. De bevindingen wijzen erop dat visuele prompts een machine effectief kunnen sturen om niet alleen te begrijpen wat er in een afbeelding te zien is, maar ook precies wie daar aanwezig is, wat de deur opent naar meer efficiënte en intelligente manieren om de natuurlijke wereld te beschermen en te bestuderen.