Large language models possess some ecologicalknowledge, but how much?
Diese Studie evaluiert das ökologische Wissen von Gemini 1.5 Pro und GPT-4o unter Verwendung eines neuen Benchmark-Datensatzes und zeigt auf, dass diese Modelle zwar bei Aufgaben wie der Vorhersage des Vorkommens von Arten naive Baselines übertreffen, ihre Gesamtleistung jedoch signifikant unter dem Expertenniveau bleibt, was auf eine kritische Notwendigkeit für domänenspezifisches Fine-Tuning hinweist, um LLMs effektiv in die ökologische Wissenschaft zu integrieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich Large Language Models (LLMs) wie Gemini 1.5 Pro und GPT-4o als unglaublich belesene Bibliothekare vor, die fast jedes Buch der Welt gelesen haben. Sie sind dafür berühmt, Fragen zu Geschichte, Mathematik und Popkultur mit Leichtigkeit beantworten zu können. Aber die Forscher hinter dieser Arbeit wollten wissen: Wie gut sind diese Bibliothekare darin, über die Natur zu sprechen?
Um dies herauszufinden, behandelte das Team die KI-Modelle wie Studenten, die eine sehr spezifische „Ökologie-Prüfung“ ablegen. Sie stellten nicht nur allgemeine Fragen; sie gaben ihnen fünf schwierige praktische Aufgaben:
- Voraussagen, wer wo lebt: Vorhersagen, ob ein bestimmtes Tier oder eine bestimmte Pflanze in einem bestimmten Gebiet vorkomkommt.
- Karten zeichnen: Eine Karte erstellen, die zeigt, wo das Verbreitungsgebiet einer Art liegt.
- Die Gefährdeten auflisten: Arten benennen, die kurz vor dem Aussterben stehen.
- Gefahren identifizieren: Klassifizieren, welche Bedrohungen diese Arten schädigen.
- Merkmale beschreiben: Die physischen Merkmale verschiedener Arten abschätzen.
Die Forscher erstellten einen neuen „Lösungsschlüssel“ basierend auf echten Expertendaten, um die Hausaufgaben der KI zu bewerten.
So haben die KI-Studenten abgeschnitten:
- Die gute Nachricht: Sie waren keine absoluten Anfänger. Wenn es darum ging, vorherzusagen, ob eine Art in einem Gebiet vorkommt, erzielte die KI etwa 20 Prozentpunkte mehr als jemand, der rein zufällig raten würde. Es ist wie ein Student, der die Grundlagen des Lehrbuchs kennt und die leichten Fragen bestehen kann.
- Der Realitätscheck: Als die Aufgaben schwieriger wurden, hatte die KI zu kämpfen.
- Als sie gebeten wurde, Verbreitungskarten zu zeichnen (die genau zeigen, wo ein Tier lebt), erreichte die KI nur etwa ein Drittel der Genauigkeit, die ein menschlicher Experte erreichen würde. Es ist, als versuche man, eine detaillierte Karte einer Stadt aus dem Gedächtnis zu zeichnen und dabei zwar die Hauptstraßen richtig hinzubekommen, aber alle Stadtviertel zu verpassen.
- Bei der Frage nach der Klassifizierung von Bedrohungen verbesserte die KI ihre Punktzahl nur um etwa 10 Punkte gegenüber dem Zufallsraten. Das ist kaum besser als ein Münzwurf, um zu entscheiden, was eine Art gefährdet.
Das Fazit:
Die Arbeit kommt zu dem Schluss, dass diese KI-Modelle zwar über etwas Wissen in der Ökologie verfügen, dieses aber noch nicht tiefgründig oder präzise genug ist, um menschliche Experten zu ersetzen. Sie sind wie ein Tourist, der einen Reiseführer über einen Wald gelesen hat, aber nicht selbst auf den Pfaden gewandert ist.
Um dies zu beheben, schlagen die Autoren vor, dass diese Modelle eine spezialisierte Ausbildung (Feinabstimmung) benötigen, die speziell auf ökologischen Daten basiert, anstatt sich nur auf ihr allgemeines Wissen zu verlassen. Das Hauptziel dieser Arbeit war es schlichtweg, einen fairen „Test“ (einen Benchmark) einzurichten, damit zukünftige Forscher messen können, wie sehr sich diese KI-Werkzeuge im Laufe der Zeit verbessern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.