Multimodal fusion of visual and morphometric features for avian bone classification
Diese Studie präsentiert ein Proof-of-Concept für ein multimodales Deep-Learning-Framework, das eine auf Convolutional Neural Networks basierende Bildanalyse mit osteometrischen Messungen integriert, um eine hohe Genauigkeit bei der Identifizierung aviärer Skelettelemente und Taxa auf Familienebene zu erreichen und damit eine skalierbare Baseline für die KI-gestützte zooarchäologische Klassifizierung zu etablieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt Fingerabdrücken oder Fußabdrücken sind Ihre Hinweise winzige, zerbrochene Knochenstücke, die über ein antikes Lagerfeuer verstreut liegen. Dies ist die Welt der Zooarchäologie, in der Wissenschaftler Tierüberreste untersuchen, um zu verstehen, wie Menschen in der Vergangenheit lebten, aßen und mit der Natur interagierten. Seit Jahrhunderten ist dies eine Aufgabe für menschliche Experten, die Jahre damit verbringen, die Form jedes Vogelfußknochens auswendig zu lernen, den sie finden können. Aber was wäre, wenn wir einen Computer lehren könnten, die schwere Arbeit zu erledigen? Hier kommt Künstliche Intelligenz (KI) ins Spiel. Betrachten Sie KI als einen Super-Lerner, der in der Lage ist, Tausende von Bildern und Messungen zu betrachten, um Muster zu finden, die Menschen vielleicht übersehen würden. Normalerweise ist KI gut darin, Bilder zu betrachten (wie das Erkennen einer Katze in einem Foto) oder Zahlen zu lesen (wie das Vorhersagen des Wetters), aber diese Arbeit stellt eine größere Frage: Was passiert, wenn wir den Computer lehren, das Bild zu betrachten und gleichzeitig die Zahlen zu lesen? Es ist, als würde man einen Detektiv bitten, nicht nur das Gesicht eines Verdächtigen zu betrachten, sondern gleichzeitig auch dessen Größe und Gewicht zu messen, um eine bessere Vermutung anzustellen. Das Ziel ist es, diese digitalen Detektive intelligenter, schneller und hilfreicher zu machen, um die Geheimnisse der Vergangenheit zu entschlüsseln.
In dieser Studie baute ein Team von Forschern ein „digitales Gehirn“, das darauf ausgelegt ist, Vogelfragmente zu identifizieren – eine Aufgabe, die notorisch schwierig ist, da Vogelskelette klein, zerbrechlich und einander sehr ähnlich sind. Sie fütterten den Computer nicht einfach mit einem Haufen Fotos; sie erschufen ein multimodales System, was eine schicke Art und Weise ist zu sagen, dass die KI zwei verschiedene Arten von Hinweisen gleichzeitig erhält. Zuerst betrachtet sie das Bild des Knochens, wobei sie ein spezielles Typ von KI verwendet, ein Convolutional Neural Network (CNN), das wie ein Paar Super-Augen fungiert, um Formen und Texturen zu erkennen. Zweitens liest sie eine Liste von Messwerten, wie etwa die Länge des Knochens oder die Breite seiner Enden, was für den Computer wie ein Lineal wirkt. Die Forscher kombinierten diese beiden Informationsströme in einem einzigen Entscheidungsprozess, in der Hoffnung, dass das Bild der KI helfen würde, die „große Form“ zu sehen, während die Zahlen ihr halfen, die „feinen Details“ zu verstehen.
Um dieses Gehirn zu trainieren, sammelte das Team eine riesige Bibliothek von über 10.000 Bildern aus Museen und Forschungssammlungen. Bevor die KI lernen konnte, mussten sie die Daten bereinigen. Sie setzten eine zweistufige digitale Reinigungsmannschaft ein, um die Knochen aus dem Hintergrund auszuschneiden und störende Lineale oder Tischoberflächen zu entfernen, damit sich die KI rein auf den Knochen selbst konzentrieren konnte. Sie lehrten die KI auch, mit fehlenden Informationen umzugehen; manchmal fehlt ein Messwert in einem Datensatz, also trainierten sie das System so, dass es auch dann funktioniert, wenn es nur das Bild, nur die Zahlen oder beides zur Verfügung hat.
Die Forscher testeten ihre Kreation an zwei verschiedenen Herausforderungen. Die erste bestand darin, zu identifizieren, um welchen Teil des Vogels es sich bei dem Knochen handelt (wie einen Flügelknochen, einen Beinknochen oder einen Schädel). Die zweite, viel schwierigere Herausforderung war, zu identifizieren, zu welcher Vogelgruppe er gehörte (wie etwa einer Ente, einer Eule oder einem Falken).
Die Ergebnisse waren eine Mischung aus hochfliegendem Erfolg und einigen Stolpersteinen. Wenn die KI versuchte, den Knochentyp zu erraten, war sie unglaublich präzise und lag bei neuen, ungesehenen Testdaten in 86 % der Fälle richtig. Es war wie ein Detektiv, der den Unterschied zwischen einem Schuh und einem Hut sofort erkennt, nur indem er ein unscharfes Foto betrachtet. Doch als die Aufgabe zum Identifizieren der Vogelgruppe wechselte, fand die KI es viel schwieriger. Sie identifizierte die exakte Familie nur in 51 % der Fälle korrekt (Top-1 Genauigkeit). Aber hier ist der spannende Teil: Wenn man die KI bat, ihre drei besten Vermutungen zu nennen, lag sie in 75 % der Fälle richtig. Das bedeutet, dass die richtige Antwort selbst dann, wenn die KI beim ersten Versuch nicht den Gewinner wählte, fast immer in ihren drei besten Vorschlägen versteckt war.
Die Arbeit legt nahe, dass dieser Unterschied dadurch entsteht, dass es einfacher ist, zwei verschiedene Knochen voneinander zu unterscheiden, als zwei verschiedene Vogelgruppen voneinander zu unterscheiden. Die Knochen verwandter Vogelgruppen können fast identisch aussehen – eine Herausforderung, vor der sich selbst menschliche Experten oft stellen müssen. Die Autoren merken an, dass ihr System ein „Proof-of-Concept“ ist, was bedeutet, dass es beweist, dass die Idee funktioniert, aber es ist kein fertiges Produkt, das bereits für jeden antiken Knochen bereit ist. Sie haben es hauptsächlich mit perfekten, modernen Knochen aus Museen trainiert, daher sind sie sich nicht sicher, wie gut es mit antiken, zerbrochenen oder verbrannten Knochen aus echten Ausgrabungsstätten umgehen wird.
Letztendlich zeigt diese Studie, dass die Kombination aus Bildern und Messungen ein robusteres Werkzeug schafft als die Verwendung von nur einem der beiden. Während die KI den menschlichen Experten noch nicht ersetzt, fungiert sie wie ein leistungsstarker Assistent, der die Möglichkeiten eingrenzen und eine Shortlist der wahrscheinlichsten Kandidaten vorschlagen kann, die der Archäologe untersuchen soll. Die Forscher hoffen, dass das System in Zukunft, wenn sie es mit mehr Daten füttern und ihm beibringen, mit Bruchstücken umzugehen, dieser digitale Detektiv zu einem noch essenzielleren Partner beim Entschlüsseln der Geschichten wird, die in Vogelfragmenten verborgen liegen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.