A case study of evaluating AI agents on a neuroscience data-to-discovery pipeline
Dit artikel presenteert een empirische studie waarin algemene AI-codeeragenten worden geëvalueerd op een complexe neurowetenschappelijke data-naar-ontdekking-pipeline, waarbij wordt onthuld dat agenten weliswaar individuele stadia kunnen automatiseren, maar momenteel moeite hebben met end-to-end uitvoering, zelfevaluatie zonder vooraf gedefinieerde criteria en generalisatie naar nieuwe data.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin wetenschappers niet alleen experimenten uitvoeren, maar ook maandenlang de complexe computercode schrijven die nodig is om de resultaten te analyseren. In het vakgebied van de neurowetenschappen bestuderen onderzoekers vaak kleine wezens zoals fruitvliegjes om te begrijpen hoe hersenen gedrag aansturen. Om dit te doen, nemen ze uren aan videomateriaal op, maar de ruwe beelden zijn slechts een waas van bewegende stipjes. Om deze waas te veranderen in een wetenschappelijke ontdekking, hebben ze een "pipeline" nodig—een lange, kronkelende lopende band van softwarestappen. Eerst moet de computer de vliegjes in de video vinden. Daarna moet hij hun elke beweging volgen, hun lichaamsdelen meten, uitzoeken of ze lopen of stilstaan, en tot slot statistische tests uitvoeren om te zien of een specifiek experiment hun gedrag heeft veranderd. Traditioneel gezien is het bouwen van deze lopende band een enorme, tijdrovende klus die weken of zelfs maanden aan coderen door menselijke experts vereist.
Onlangs is er een nieuw soort kunstmatige intelligentie opgekomen, een "AI-agent". Denk aan deze agenten als superintelligente, onvermoeibare digitale stagiairs die instructies kunnen lezen en code voor je kunnen schrijven. De grote vraag die bij iedereen leeft is: kunnen deze AI-stagiairs de saaie, tijdrovende delen van wetenschappelijk onderzoek overnemen? Kunnen zij de lopende band zelf bouwen, of hebben ze een mens nodig die hen bij elke stap bij de hand houdt? Dit is precies het mysterie dat een team van onderzoekers wilde oplossen. Ze wilden zien of deze AI-agenten de rommelige, real-world uitdagingen van de neurowetenschappen aankunnen, of dat ze vastlopen in de details.
De onderzoekers besloten hun AI-stagiairs te testen op een zeer specifieke, hoogwaardige uitdaging: een "fly optogenetics data-to-discovery pipeline". Stel je deze pipeline voor als een zevenstaps hindernisbaan die ontworpen is om ruwe video van fruitvliegjes om te zetten in een wetenschappelijke conclusie. De cursus begint met Fly Body Tracking, waarbij de AI meerdere vliegjes in een video moet vinden en volgen, terwijl hij hun identiteiten correct houdt, zelfs wanneer ze tegen elkaar botsen. Vervolgens komt Registration, waarbij de AI de data moet opschonen en vertalen van pixelcoördinaten naar werkelijke metingen zoals millimeters. Daarna moet de AI Keypoint Tracking uitvoeren, wat lijkt op het tekenen van een skelet op elke vlieg om 21 specifieke lichaamsdelen met extreme precisie te lokaliseren.
De cursus gaat verder met Feature Computation, waarbij de AI berekent hoe snel de vliegjes bewegen of draaien. Het gaat dan over in Walking Behavior Classification, waarbij de AI moet beslissen of een vlieg loopt of gewoon stilstaat. De zesde stap is Gait Segmentation, een lastige stap waarbij de AI moet bepalen of een specifiek pootje in de lucht is (zwaaiend) of op de grond staat (duwend). Ten slotte bereikt de AI de finishlijn met Statistical Comparisons, waar hij de cijfers moet kraken om te zien of het experiment het gedrag van de vliegjes daadwerkelijk heeft veranderd. De onderzoekers testten verschillende AI-modellen op deze cursus, zowel door ze één enkele fase te laten oplossen als door ze de volledige zevenstappen-marathon van begin tot eind te laten rennen.
De resultaten waren een mix van indrukwekkend succes en frustrerend falen, wat onthulde dat AI klaar is voor sommige taken maar niet voor andere. Wanneer de AI-agenten een enkele, goed gedefinieerde taak kregen met een duidelijke "scorekaart"—zoals het trainen van een model om loopgedrag te herkennen of specifieke lichaamsdelen te volgen—deden ze verrassend goed hun best. In deze "supervised learning"-taken konden de agenten itereren, hun eigen werk controleren en verbeteren totdat ze het goed hadden. Ze leerden bijvoorbeeld succesvol de 21 sleutelpunten op het lichaam van een vlieg te identificeren, waarbij ze de nauwkeurigheid van menselijke experts evenaarden. Dit suggereert dat AI-agenten voor specifieke, op regels gebaseerde onderdelen van de wetenschappelijke pipeline al in staat zijn om het zware werk te doen.
Echter, het verhaal verandert drastisch wanneer de AI-agenten werden gevraagd om de volledige pipeline van begin tot eind te draaien zonder een gedetailleerde kaart. Wanneer de onderzoekers de agenten een breed doel gaven zoals "analyseer de vliegjes" zonder dit op te splitsen in stappen, hadden de agenten moeite om hun focus te behouden. Ze vergaten vaak de eerdere stappen, voegden complexe fasen samen tot eenvoudige afkortingen, of maakten basisvormeringsfouten waardoor de hele keten werd onderbroken. De meest significante fout gebeurde in de allereerste fase: Fly Body Tracking. Deze taak vereiste dat de AI zijn "wetenschappelijke oordeel" gebruikte om te bedenken hoe hij vliegjes moest volgen zonder een vooraf geschreven regelboek of een duidelijke score om naar te streven. De agenten probeerden naar de video te kijken om hun werk te controleren, maar begrepen grotendeels niet wat ze zagen. Ze spotten een fout, interpreteerden een visuele aanwijzing verkeerd, en maakten vervolgens dezelfde fout opnieuw, of maakten het zelfs erger.
Het artikel suggereert dat de belangrijkste flessenhals niet is dat de AI geen code kan schrijven, maar dat ze moeite hebben met het "lange spel". Ze zijn geweldig in het oplossen van een enkele puzzel als de regels duidelijk zijn, maar ze raken de weg kwijt wanneer ze een lange sequentie van complexe stappen moeten combineren, computerbronnen moeten beheren of visuele inspectie moeten gebruiken om hun eigen fouten te herstellen. De onderzoekers ontdekten dat hoewel AI specifieke stadia van wetenschappelijke ontdekking kan automatiseren, de droom van een volledig autonome "AI-wetenschapper" die een heel experiment van ruwe data tot een conclusie kan draaien, nog steeds buiten bereik is. De agenten hebben betere begeleiding, duidelijkere doelen en een manier nodig om de data die ze verwerken echt te "zien" en te begrijpen voordat ze erop kunnen worden vertrouwd om de hele show zelfstandig te runnen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.