A case study of evaluating AI agents on a neuroscience data-to-discovery pipeline
Diese Arbeit präsentiert eine empirische Studie zur Bewertung von universell einsetzbaren KI-Coding-Agenten in einer komplexen Neurowissenschafts-Daten-zu-Entdeckung-Pipeline, die aufzeigt, dass Agenten zwar einzelne Phasen automatisieren können, aber derzeit Schwierigkeiten mit der End-to-End-Ausführung, der Selbstbewertung ohne vordefinierte Kriterien und der Generalisierung auf neue Daten haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Wissenschaftler nicht nur Experimente durchführen, sondern auch Monate damit verbringen, den komplexen Computercode zu schreiben, der für die Analyse der Ergebnisse benötigt wird. In der Neurowissenschaft untersuchen Forscher oft winzige Kreaturen wie Fruchtfliegen, um zu verstehen, wie Gehirne das Verhalten steuern. Um dies zu tun, zeichnen sie stundenlange Videos auf, aber das Rohmaterial ist nur ein verschwommener Nebel aus bewegten Punkten. Um diesen Nebel in eine wissenschaftliche Entdeckung zu verwandeln, benötigen sie eine „Pipeline“ – ein langes, gewundenes Fließband aus Software-Schritten. Zuerst muss der Computer die Fliegen im Video finden. Dann muss er jede ihrer Bewegungen verfolgen, ihre Körperteile messen, feststellen, ob sie laufen oder stillstehen, und schließlich statistische Tests durchführen, um zu sehen, ob ein bestimmtes Experiment ihr Verhalten verändert hat. Traditionell ist der Aufbau eines solchen Fließbands eine massive, mühsame Aufgabe, die menschliche Experten Wochen oder sogar Monate an Codierung kostet.
Kürzlich ist eine neue Art von Künstlicher Intelligenz namens „KI-Agent“ entstanden. Betrachten Sie diese Agenten als superintelligente, unermüdliche digitale Praktikanten, die Anweisungen lesen und Code für Sie schreiben können. Die große Frage, die alle beschäftigt, lautet: Können diese KI-Praktikanten die langweiligen, zeitaufwendigen Teile der wissenschaftlichen Forschung übernehmen? Können sie das Fließband selbst bauen, oder müssen sie von einem Menschen an der Hand genommen werden? Dies ist genau das Rätsel, das ein Team von Forschern lösen wollte. Sie wollten sehen, ob diese KI-Agenten die chaotischen, realen Herausforderungen der Neurowissenschaften bewältigen können oder ob sie an den Details hängen bleiben würden.
Die Forscher entschieden sich, ihre KI-Praktikanten vor einer sehr spezifischen, hochriskanten Herausforderung zu testen: einer „Fly Optogenetics Data-to-Discovery Pipeline“. Stellen Sie sich diese Pipeline als einen siebenstufigen Hindernisparcours vor, der darauf ausgelegt ist, Rohvideo von Fruchtfliegen in eine wissenschaftliche Schlussfolgerung zu verwandeln. Der Kurs beginnt mit dem Fly Body Tracking (Fliegenkörperverfolgung), bei dem die KI mehrere Fliegen in einem Video finden und ihnen folgen muss, wobei sie deren Identitäten beibehält, selbst wenn sie zusammenstoßen. Als Nächstes folgt die Registration (Registrierung), bei der die KI die Daten bereinigen und von Pixelkoordinaten in reale Maße wie Millimeter übersetzen muss. Danach muss die KI ein Keypoint Tracking (Schlüsselpunktverfolgung) durchführen, was so ist, als würde man ein Skelett auf jede Fliege zeichnen, um 21 spezifische Körperteile mit extremer Präzision zu lokalisieren.
Der Kurs geht weiter mit der Feature Computation (Merkmalsberechnung), bei der die KI berechnet, wie schnell die Fliegen sich bewegen oder sich drehen. Dann folgt die Walking Behavior Classification (Klassifizierung des Laufverhaltens), bei der die KI entscheiden muss, ob eine Fliege läuft oder nur stillsteht. Der sechste Schritt ist die Gait Segmentation (Gangsegmentierung), ein kniffliger Schritt, bei dem die KI bestimmen muss, ob ein bestimmtes Bein in der Luft ist (Schwingphase) oder auf dem Boden ist (Druckphase). Schließlich erreicht die KI die Ziellinie mit Statistical Comparisons (statistischen Vergleichen), wo sie die Zahlen auswerten muss, um zu sehen, ob das Experiment das Verhalten der Fliegen tatsächlich verändert hat. Die Forscher testeten mehrere verschiedene KI-Modelle auf diesem Kurs, sowohl indem sie sie baten, nur eine einzelne Stufe nach der anderen zu lösen, als auch, indem sie sie baten, den gesamten siebenstufigen Marathon von Anfang bis Ende durchzulaufen.
Die Ergebnisse waren eine Mischung aus beeindruckendem Erfolg und frustrierender Niederlage, was offenbarte, dass die KI für manche Aufgaben bereit ist, aber nicht für andere. Wenn die KI-Agenten eine einzelne, klar definierte Aufgabe mit einer klaren „Bewertungsmatrix“ erhielten – wie etwa das Training eines Modells zur Erkennung des Laufverhaltens oder das Verfolgen spezifischer Körperteile –, schnitten sie überraschend gut ab. In diesen Aufgaben des „überwachten Lernens“ (supervised learning) konnten die Agenten iterieren, ihre eigene Arbeit überprüfen und sich verbessern, bis sie es richtig gemacht hatten. Beispielsweise lernten sie erfolgreich, die 21 Schlüsselpunkte auf dem Körper einer Fliege zu identifizieren, und erreichten dabei die Genauigkeit menschlicher Experten. Dies deutet darauf darauf hin, dass KI-Agenten bereits in der Lage sind, die schwere Arbeit für spezifische, regelbasierte Teile der wissenschaftlichen Pipeline zu leisten.
Die Geschichte ändert sich jedoch dramatisch, wenn die KI-Agenten gebeten wurden, die gesamte Pipeline von Ende zu Ende ohne eine detaillierte Karte auszuführen. Als die Forscher den Agenten ein breites Ziel gaben, wie etwa „analysiere die Fliegen“, ohne es in Schritte zu unterteilen, fiel es den Agenten schwer, ihren Fokus zu behalten. Sie vergaßen oft die früheren Schritte, führten komplexe Stadien zu einfachen Abkürzungen zusammen oder machten grundlegende Formatierungsfehler, die die gesamte Kette unterbrachen. Der signifikanteste Fehler ereignete sich in der allerersten Stufe: dem Fly Body Tracking. Diese Aufgabe erforderte, dass die KI ihr „wissenschaftliches Urteilsvermögen“ nutzt, um herauszufinden, wie sie die Fliegen ohne ein vorgeschriebenes Regelwerk oder eine klare Punktzahl zum Anstreben verfolgt. Die Agenten versuchten, das Video anzusehen, um ihre Arbeit zu überprüfen, aber sie scheiterten weitgehend daran, das zu verstehen, was sie sahen. Sie entdeckten einen Fehler, interpretierten den visuellen Hinweis falsch und machten dann denselben Fehler erneut oder verschlimmerten ihn sogar.
Das Paper legt nahe, dass der Hauptengpass nicht darin besteht, dass die KI nicht programmieren kann, sondern dass sie Schwierigkeiten mit dem „langen Spiel“ hat. Sie sind großartig darin, ein einzelnes Puzzle zu lösen, wenn die Regeln klar sind, aber sie verlieren den Überblick, wenn sie eine lange Sequenz komplexer Schritte aneinanderreihen, Computerressourcen verwalten oder die visuelle Inspektion nutzen müssen, um ihre eigenen Fehler zu korrigieren. Die Forscher fanden heraus, dass KI zwar spezifische Phasen der wissenschaftlichen Entdeckung automatisieren kann, der Traum von einem vollautonomen „KI-Wissenschaftler“, der ein ganzes Experiment von den Rohdaten bis zur Schlussfolgerung durchführt, jedoch noch in weiter Ferne liegt. Die Agenten benötigen bessere Anleitung, klarere Ziele und eine Möglichkeit, die Daten, die sie verarbeiten, wirklich zu „sehen“ und zu verstehen, bevor man ihnen vertrauen kann, die gesamte Show im Alleingang zu leiten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.