External Validation and Interpretability Analysis of a Deep Learning Model for Forensic Age Estimation Across Brazilian and Romanian Populations
Deze studie toont aan dat hoewel deep learning-modellen biologische verouderingspatronen kunnen vastleggen voor forensische leeftijdschatting, hun betrouwbaarheid aanzienlijk wordt aangetast door populatie- en hardwareverschuivingen, wat het cruciale belang onderstreept van externe validatie en interpreteerbaarheidsanalyse om niet-anatomische shortcuts te detecteren vóór forensische toepassing.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren hoe hij de leeftijd van een persoon kan raden door alleen naar een foto van hun tanden te kijken. Dit is niet zomaar een trucje voor op een feestje; in de wereld van de forensische wetenschap kan het goed doen hiervan helpen bij het identificeren van vermiste personen, het oplossen van misdaden, of het bepalen of een jongere oud genoeg is om voor de rechter te verschijnen. Decennialang hebben experts dit gedaan door handmatig botten te meten en te kijken naar hoe tanden groeien, maar dat is traag en hangt sterk af van de mens die de metingen uitvoert. Onlangs zijn wetenschappers begonnen met het gebruik van "Deep Learning", een vorm van kunstmatige intelligentie (AI) die werkt als een superkrachtig brein. Deze AI-modellen bekijken duizenden tandheelkundige röntgenfoto's (specifiek panoramische afbeeldingen die de hele kaak laten zien) om de patronen van veroudering te leren. De grote vraag is echter of een robot die getraind is op één groep mensen, ook nauwkeurig de leeftijd kan raden van een totaal andere groep mensen, of dat hij simpelweg de specifieke look van de eerste groep röntgenapparaten heeft uit het hoofd geleerd.
Deze studie, getiteld "External Validation and Interpretability Analysis of a Deep Learning Model for Forensic Age Estimation Across Brazilian and Romanian Populations," duikt precies in dat probleem. De onderzoekers wilden weten of een AI-model, getraind op een enorme collectie tandheelkundige röntgenfoto's uit Brazilië, nog steeds correct kon werken wanneer het röntgenfoto's uit Roemenië te zien kreeg. Ze wilden ook in het "brein" van de AI kijken om te zien of het daadwerkelijk naar tanden en botten keek, of dat het vertrouwde op niet-anatomische kenmerken zoals de randen van de afbeelding of kleine letters die gebruikt worden om links en rechts aan te duiden.
Het team testte drie verschillende AI-"architecturen" (denk aan drie verschillende stijlen van breinontwerpen): VGG-16, InceptionV4 en ResNet-18. Ze voerden het best presterende model, ResNet-18, 10.036 Braziliaanse röntgenfoto's om van te leren. Wanneer ze het model testten op dezelfde Braziliaanse data, was de AI behoorlijk goed en raadde hij leeftijden met een gemiddelde fout van slechts 3,61 jaar. Maar toen kwam de echte test: ze lieten de AI 150 gloednieuwe röntgenfoto's van patiënten uit Roemenië zien, gemaakt met andere machines en door andere artsen. De resultaten waren een beetje een realiteitscheck. De nauwkeurigheid van de AI daalde en de gemiddelde fout sprong naar 5,8 jaar.
Waarom werd de AI slechter? De onderzoekers gebruikten een speciale tool genaamd Grad-CAM om te visualiseren waar de AI daadwerkelijk naar "keek" toen hij zijn voorspellingen deed. Ze ontdekten dat hoewel de AI aandacht besteedde aan belangrijke zaken zoals tandwortels en kaakbeenderen, het ook vertrouwde op "shortcuts" (snelle routes). Het begon zich te concentreren op niet-anatomische zaken, zoals de oriëntatiemerkers (kleine letters zoals "R" voor rechts) en de randen van de afbeelding. Het lijkt erop dat de AI leerde dat bepaalde machines deze markeringen altijd op specifieke plekken zetten, dus gebruikte het die plekken om de leeftijd te raden in plaats van alleen naar de tanden te kijken. Dit is een beetje zoals een student die, in plaats van de wiskundige problemen te bestuderen, onthoudt dat het antwoord altijd "C" is omdat de leraar de "C" altijd in de hoek van de pagina zet. Wanneer de leraar de lay-out verandert, raakt de student in de war.
De studie keek ook naar de "latent space", wat een chique manier is om de interne kaart te beschrijven die de AI in zijn geest opbouwt. Door gebruik te maken van visualisaties zoals PHATE en PCA, zagen de onderzoekers dat de AI de patiënten succesvol in een vloeiende lijn van jong naar oud had georganiseerd, wat suggereert dat het de algemene conceptie van veroudering wel degelijk heeft geleerd. Echter, omdat de AI vertrouwde op die "shortcuts" en de verschillende Roemenese machines andere instellingen hadden voor helderheid en contrast, kon de AI die kennis niet perfect vertalen naar de nieuwe groep.
Kortom, het artikel suggereert dat hoewel AI patronen van veroudering kan leren herkennen, het momenteel erg kwetsbaar is. Als je het traint op één type röntgenapparaat en één populatie, kan het moeite hebben wanneer je overstapt op een ander apparaat of een ander land. De auteurs concluderen dat voordat we deze AI-systemen in echte juridische of forensische gevallen kunnen vertrouwen, we ze rigoureus moeten testen op volledig andere groepen en machines om er zeker van te zijn dat ze niet alleen naar de fotolijst kijken in plaats van naar de tanden. De AI is niet kapot, maar hij is nog niet helemaal klaar om een zelfstandige detective te zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.