An Agentic Framework Using Rules and LLMs for Embedding and Annotating Descriptive Document Layouts: A Plant Science Use Case
Dit artikel presenteert een modulaire, op agenten gebaseerde framework die regelgebaseerde parsing en large language models combineert om botanische kenmerkannotaties uit beschrijvende documentlay-outs robuust te extraheren en te verrijken, waarbij succesvol meer dan 55.000 kenmerken over bijna 5.000 plantensoorten zijn verwerkt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Eeuwenlang hebben botanici vertrouwd op dikke, gedrukte volumes om de plantenwereld te beschrijven. Deze boeken, vaak gevuld met dichte tekstparagrafen, bevatten de sleutels tot het begrijpen van hoe een soort leeft, waar deze groeit en hoe deze eruitziet. Toch moeten deze gegevens worden omgezet van voor mensen leesbare pagina's naar gestructureerde data die machines kunnen doorzoeken en analyseren, zodat computers deze kennis kunnen gebruiken. De uitdaging ligt in de enorme omvang en complexiteit van deze teksten, die in veel verschillende talen zijn geschreven en subtiele beschrijvingen bevatten van plantkenmerken, ook wel eigenschappen of 'traits' genoemd. Het handmatig extraheren van deze gegevens is traag en foutgevoelig, terwijl traditionele computermethoden vaak moeite hebben met het begrijpen van de nuances van wetenschappelijke taal of de lay-out van oude, gescande pagina's. Om dit op te lossen, zijn onderzoekers begonnen met het bouwen van systemen die strikte logische regels combineren met het flexibele redeneren van kunstmatige intelligentie, met als doel bibliotheken van botanische beschrijvingen te veranderen in enorme, doorzoekbare databases.
In een recente studie heeft een team van onderzoekers een nieuw systeem ontwikkeld dat is ontworpen om deze botanische teksten te lezen en automatisch specifieke details over plantkenmerken eruit te halen. Het proces begint met digitale scans van oude boeken, die vaak slechts afbeeldingen van tekst zijn. Het systeem gebruikt eerst optische tekenherkenning, een technologie die die afbeeldingen omzet in werkelijke letters en woorden die een computer kan lezen. Zodra de tekst leesbaar is, organiseert het systeem de tekst door beschrijvingen te groeperen onder de juiste plantnamen. Deze stap is cruciaal omdat één enkel boek duizenden verschillende soorten kan beschrijven, en de computer precies moet weten waar de beschrijving van de ene plant eindigt en de volgende begint. De onderzoekers kwamen tot de conclusie dat alleen het lezen van de tekst niet voldoende was; het systeem moest de structuur van de pagina begrijpen om de verschillende secties nauwkeurig te scheiden.
Om de werkelijke informatie te extraheren, bouwde het team een pijplijn die werkt als een team van gespecialiseerde arbeiders. De eerste groep arbeiders volgt strikte, vooraf geschreven regels om specifieke patronen te vinden. Bijvoorbeeld, als de tekst "bladeren" vermeldt gevolgd door een meting zoals "4 centimeter", registreert het systeem dat de plant bladeren van die grootte heeft. Deze regels zijn precies en betrouwbaar, maar ze kunnen alleen vinden waar ze expliciet naar gevraagd worden. Om meer details te vangen, zet het systeem een tweede groep arbeiders in die wordt aangedreven door grote taalmodellen, wat geavanceerde kunstmatige intelligentieprogramma's zijn die getraind zijn op enorme hoeveelheden menselijke teksten. Deze AI-agenten fungeren als virtuele experts die nieuwe woorden en zinnen kunnen voorstellen die plantdelen beschrijven, waardoor het systeem beschrijvingen kan herkennen die het met alleen regels wellicht gemist zou hebben. Deze combinatie zorgt ervoor dat het systeem zowel nauwkeurig als aanpasbaar is, waardoor hiaten worden opgevuld zonder de helderheid van de oorspronkelijke gegevens te verliezen.
De onderzoekers testten dit systeem op drie grote collecties botanische teksten uit Nieuw-Caledonië, Senegal en Kameroen. De resultaten lieten zien dat het systeem bijna 56.000 specifieke kenmerkannotaties succesvol extraheerde voor bijna 5.000 verschillende plantensoorten. Gemiddeld identificeerde het systeem ongeveer negen verschillende kenmerken voor elke geanalyseerde plant. Toen ze de AI-gestuurde vocabulaire-uitbreiding toevoegden aan het strikte regelgebaseerde systeem, nam het totaal aantal annotaties met bijna 60 procent toe, waarmee driekwart van de kenmerken werd gedekt waar ze naar op zoek waren. Deze verbetering toonde aan dat hoewel de regels een solide fundament boden, de AI-agenten het vermogen van het systeem aanzienlijk vergrootten om de diverse manieren te begrijpen waarop botanici planten beschrijven.
De studie onthulde ook dat het systeem robuust is, wat betekent dat het consistent presteert, zelfs wanneer de kwaliteit van de gescande tekst varieert. De onderzoekers testten verschillende methoden voor het omzetten van afbeeldingen naar tekst en ontdekten dat hoewel sommige methoden iets beter waren in het herkennen van plantnamen, het totale aantal geëxtraheerde kenmerken stabiel bleef, ongeacht de gebruikte methode. Dit suggereert dat de pijplijn betrouwbaar genoeg is om de rommelige realiteit van historische documenten aan te kunnen. Het systeem is echter niet volledig automatisch; het vereist nog steeds menselijke experts om de suggesties van de AI-agenten te beoordelen voordat deze aan de definitieve regels worden toegevoegd. Dit menselijk toezicht zorgt ervoor dat de gegevens betrouwbaar blijven en dat het systeem geen feiten verzint, een veelvoorkomend risico bij het gebruik van kunstmatige intelligentie alleen.
Uiteindelijk biedt dit werk een krachtig instrument voor het organiseren van de wereldwijde botanische kennis. Door ongestructureerde tekst om te zetten in georganiseerde gegevens, helpt het systeem wetenschappers bij het bouwen van betere databases voor het bestuderen van biodiversiteit en plantevolutie. De aanpak bewijst dat het combineren van de precisie van door mensen ontworpen regels met het flexibele redeneren van kunstmatige intelligentie informatie kan ontsluiten die verborgen ligt in miljoenen pagina's aan wetenschappelijke literatuur. De onderzoekers hebben hun code en gegevens beschikbaar gesteld voor anderen om te gebruiken, waardoor wordt gewaarborgd dat deze methode kan worden toegepast op andere gebieden waar complexe teksten begrepen en georganiseerd moeten worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.