AISysRev -- LLM-based Tool for Title-abstract Screening
AISysRev is een containerized webapplicatie die grote taalmodellen inzet om de arbeidsintensieve titel-abstract screening in systematische literatuurstudies te versnellen, waarbij het menselijke oordeel behoudt voor complexe 'grensgevallen' die modellen moeilijk kunnen beoordelen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme berg brieven moet sorteren. In deze brieven zitten duizenden wetenschappelijke artikelen. Je taak is om eruit te filteren welke brieven belangrijk zijn voor jouw onderzoek en welke je kunt weggooien. Dit noemen onderzoekers een "systematisch review".
In het verleden was dit een zware klus die maanden kon duren, waarbij je met een vergrootglas door elke brieven moest bladeren. Maar nu hebben we een nieuwe helper: AISysRev.
Hier is hoe het werkt, vertaald naar alledaags taal:
1. De Slimme Assistent (De LLM)
AISysRev is een computerprogramma dat gebruikmaakt van "grote taalmodellen" (LLMs). Denk hierbij niet aan een simpele zoekmachine, maar aan een super-snelle, zeer goed opgeleide bibliothecaris die in een seconde duizenden brieven kan scannen.
Je geeft deze bibliothecaris twee dingen:
- De stapel brieven (de titels en samenvattingen van de artikelen).
- Een lijst met regels (bijvoorbeeld: "Alleen brieven over software en stress zijn interessant").
2. Hoe werkt het in de praktijk?
Het programma is als een slimme filtermachine die je op je computer kunt draaien.
- De invoer: Je sleept een bestand (een CSV-bestand) met je artikelen erin.
- De regels: Je typt in wat je zoekt.
- De keuze: Je kunt kiezen welke "bibliothecaris" je wilt gebruiken. Het programma kan praten met verschillende bekende AI's (zoals die van Google, OpenAI of Mistral), of zelfs met een eigen versie die op je eigen computer draait.
3. De twee manieren van werken
Het programma heeft twee manieren om je te helpen, afhankelijk van hoe snel je wilt werken:
- Manier A: De "Snelle Schuif" (Rapid Review)
Stel je voor dat je een berg brieven hebt en je wilt alleen de allerbelangrijkste eruit halen. De AI sorteert ze dan op "hoe waarschijnlijk het is dat ze belangrijk zijn". Je begint dan met de brieven die de AI als "zeer belangrijk" heeft gemarkeerd. Zodra je een paar keer achter elkaar brieven ziet die "niet belangrijk" zijn, stopt je. Dit is perfect als je snel een antwoord nodig hebt. - Manier B: De "Gids met Advies" (Human-in-the-loop)
Hier kijkt de AI naar elke brief en zegt: "Ik denk dat deze belangrijk is, maar ik ben niet 100% zeker." De AI geeft je een advies, maar jij bent de baas. Jij leest de brief en maakt de definitieve beslissing. De AI fungeert hier als een assistent die je helpt om sneller te werken, maar die geen fouten mag maken in je naam.
4. De vier soorten brieven (Wat hebben ze ontdekt?)
In een proef met 137 artikelen ontdekten de makers dat de AI de brieven in vier groepen kan verdelen:
- De "Helder Groene" (Easy Includes): Dit zijn brieven die zo duidelijk over jouw onderwerp gaan, dat de AI ze bijna perfect herkent. (Bijv. een artikel dat letterlijk zegt: "Stress bij softwareontwikkelaars").
- De "Helder Rode" (Easy Excludes): Dit zijn brieven die totaal niets met jouw onderwerp te maken hebben. (Bijv. een artikel over stress bij piloten of artsen). Ook dit herkent de AI heel goed.
- De "Grijze Gebieden" (Boundary Cases): Dit is waar het lastig wordt.
- Grijze Groen: Een artikel gaat over software, maar de stress wordt maar heel vaag genoemd. De AI twijfelt soms en gooit het misschien weg, terwijl het eigenlijk belangrijk is.
- Grijze Rood: Een artikel noemt "stress" in de inleiding, maar gaat eigenlijk over iets heel anders. De AI denkt soms: "Oh, stress staat erin, dus belangrijk!" en houdt het vast, terwijl het eigenlijk weg mag.
De les hieruit: De AI is geweldig in het wegdoen van de "Helder Rode" brieven (wat duizenden bespaart), maar bij de "Grijze Gebieden" moet jij als mens de beslissing nemen. De AI is een hulpmiddel, geen vervanging voor je eigen oordeel.
5. Waarom is dit zo'n goed idee?
- Snelheid: Het kan 100 tot 300 artikelen per minuut scannen. Dat is als het lezen van een heel boek in een paar seconden.
- Transparantie: Veel commerciële tools zijn "zwarte dozen" (je ziet niet hoe ze denken). AISysRev is open source. Je kunt zien hoe het werkt, de regels aanpassen en zelf controleren wat er gebeurt.
- Flexibiliteit: Het werkt met elke AI die je maar wilt, en je kunt het gratis op je eigen computer draaien.
Conclusie
AISysRev is als een krachtige, snelle robot-assistent die de saaie, tijdrovende klus van het doorzoeken van duizenden artikelen voor je doet. Hij houdt de "stokken" (de oninteressante artikelen) voor je weg, zodat jij als onderzoeker je tijd kunt besteden aan de echte "parels" en de moeilijke beslissingen. Hij vervangt je niet, maar hij maakt je werk een stuk lichter en sneller.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.