Multimodal fusion of visual and morphometric features for avian bone classification
Deze studie presenteert een proof-of-concept multimodaal deep learning-framework dat op convolutionele neurale netwerken gebaseerde beeldanalyse integreert met osteometrische metingen om een hoge nauwkeurigheid te bereiken bij het identificeren van aviaire skeletelementen en taxa op familieniveau, waarmee een schaalbare baseline wordt vastgesteld voor AI-ondersteunde zooarcheologische classificatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van vingerafdrukken of voetstappen zijn je aanwijzingen kleine, gebroken stukjes bot verspreid over een eeuwenoude kampeerplaats. Dit is de wereld van de zooarcheologie, waar wetenschappers dierlijke resten bestuderen om te begrijpen hoe mensen in het verleden leefden, aten en met de natuur omgingen. Eeuwenlang was dit een taak voor menselijke experts die jarenlang de vorm van elk vogelbot dat ze kunnen vinden, uit hun hoofd moesten leren. Maar wat als we een computer konden leren om het zware werk te doen? Hier komt Kunstmatige Intelligentie (AI) om de hoek kijken. Zie AI als een super-leerling die naar duizenden foto's en metingen kan kijken om patronen te vinden die mensen misschien over het hoofd zien. Normaal gesproken is AI goed in het bekijken van afbeeldingen (zoals het herkennen van een kat op een foto) of het lezen van getallen (zoals het voorspellen van het weer), maar deze paper stelt een grotere vraag: wat gebeurt er als we de computer leren om naar de foto te kijken én de getallen te lezen op hetzelfde moment? Het is also[t] vragen aan een detective om niet alleen naar het gezicht van een verdachte te kijken, maar ook gelijktijdig de lengte en het gewicht te meten om een betere gok te doen. Het doel is om deze digitale detectives slimmer, sneller en behulpzamer te maken bij het ontrafelen van de geheimen uit het verleden.
In dit onderzoek bouwde een team van onderzoekers een "digitale hersenpan" die ontworpen is om vogelbotten te identificeren, een taak die berucht lastig is omdat vogelstelsels klein, fragiel en zeer vergelijkbaar met elkaar zijn. Ze voerden de computer niet alleen een stapel foto's; ze creëerden een multimodaal systeem, wat een chique manier is om te zeggen dat de AI twee verschillende soorten aanwijzingen tegelijkertijd krijgt. Ten eerste kijkt het naar de afbeelding van het bot, waarbij het gebruikmaakt van een speciaal type AI genaamd een Convolutioneel Neuraal Netwerk (CNN), dat fungeert als een paar superogen om vormen en texturen op te sporen. Ten tweede leest het een lijst met metingen, zoals de lengte van het bot of de breedte van de uiteinden, wat fungeert als een liniaal voor de computer. De onderzoekers combineerden deze twee stromen informatie in één enkel besluitvormingsproces, in de hoop dat de foto de AI zou helpen de "grote vorm" te zien, terwijl de getallen de AI zouden helpen de "fijne details" te begrijpen.
Om deze hersenpan te trainen, verzamelde het team een enorme bibliotheek van meer dan 10.000 afbeeldingen uit musea en onderzoekscollecties. Voordat de AI kon leren, moesten ze de gegevens opschonen. Ze gebruikten een digitale schoonmaakploeg in twee stappen om de botten uit de achtergrond te snijden, waarbij ze afleidende elementen zoals linialen of tafeloppervlakken verwijderden, zodat de AI zich puur op het bot zelf kon concentreren. Ze leerden de AI ook om met ontbrekende informatie om te gaan; soms ontbreekt er een meting in een record, dus trainden ze het systeem om ook te werken als het alleen de foto heeft, of alleen de getallen, of beide.
De onderzoekers testten hun creatie op twee verschillende uitdagingen. De eerste was om te identificeren welk deel van de vogel het bot was (zoals een vleugelbot, een pootbot of een schedel). De tweede, veel moeilijkere uitdaging, was om te identificeren welke vogelfamilie het was (zoals een eend, een uil of een havik).
De resultaten waren een mix van spectaculair succes en een paar struikelingen. Wanneer de AI probeerde het type bot te raden, was het ongelooflijk scherp en had het de opdracht 86% van de tijd goed op nieuwe, ongeziene testgegevens. Het was als een detective die het verschil tussen een schoen en een hoed direct kan zien aan de hand van een wazige foto. Echter, toen de taak verschoof naar het identificeren van de vogelfamilie, vond de AI het veel moeilijker. Het had de exacte familie slechts 51% van de tijd goed (Top-1 nauwkeurigheid). Maar hier komt het opwindende deel bij: als je de AI zou vragen om zijn top drie suggesties te geven, had het in 75% van de gevallen gelijk. Dit betekent dat zelfs wanneer de AI niet bij de eerste poging de winnaar koos, het juiste antwoord bijna altijd verborgen zat in zijn top drie suggesties.
Het paper suggereert dat dit verschil voortkomt uit het feit dat het onderscheiden van twee verschillende botten makkelijker is dan het onderscheiden van twee verschillende vogelfamilies. Botten van verwante vogelfamilies kunnen bijna identiek lijken, een uitdaging waar zelfs menselijke experts mee worstelen. De auteurs merken op dat hun systeem een "proof-of-concept" is, wat betekent dat het bewijst dat het idee werkt, maar het is geen afgewerkt product dat klaar is voor elk oud bot. Ze hebben het voornamelijk getraind op perfecte, moderne botten uit musea, dus ze weten niet zeker hoe goed het zal omgaan met oude, gebroken of verbrande botten die op echte opgravingsterreinen worden gevonden.
Uiteindelijk laat deze studie zien dat het combineren van foto's en metingen een robuustere tool oplevert dan het gebruik van slechts één van beide. Hoewel de AI de menselijke expert nog niet vervangt, fungeert het als een krachtige assistent die de mogelijkheden kan beperken door een shortlist van waarschijnlijke kandidaten voor te stellen die de archeoloog kan onderzoeken. De onderzoekers hopen dat, naarmate ze het systeem meer gegevens voeden en het leren omgaan met gebroken stukken, deze digitale detective een nog essentieelere partner zal worden bij het ontsluiten van de verhalen die verborgen liggen in vogelbotten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.