Automated auditing of statistical quality in university theses: why lexical rules fail and what a language layer adds
Deze studie toont aan dat regelgebaseerde geautomatiseerde auditing van de statistische kwaliteit in universitaire dissertaties slechter presteert dan toeval door fundamentele lexicale beperkingen, maar het integreren van een taalmodel-laag verbetert de overeenstemming met deskundige oordelen aanzienlijk, terwijl een hoge recall en lage kosten behouden blijven.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Decennialang hebben wetenschappers zich zorgen gemaakt over de manier waarop onderzoek wordt gerapporteerd. Wanneer een studie beweert een significant resultaat te hebben gevonden, vertrouwt deze meestal op getallen en testen om dit te bewijzen. Experts weten al lang dat deze rapporten vaak fouten bevatten, zoals niet-overeenstemmende getallen of ontbrekende details, wat de bevindingen onbetrouwbaar kan maken. Om dit op te lossen, hebben onderzoekers geprobeerd computerprogramma's te bouwen die automatisch duizenden wetenschappelijke artikelen kunnen scannen om deze fouten te vinden. De hoop was dat een machine snel het werk van veel auteurs kon controleren en problemen kon opsporen die menselijke beoordelaars zouden missen door vermoeidheid of tijdsdruk. Dit idee van geautomatiseerde controle is populair geworden, vooral voor het beoordelen van de enorme hoeveelheid onderzoek die door universiteiten wordt geproduceerd, waar studententheses een primaire vorm van output zijn.
Echter, een nieuwe studie van onderzoekers uit Peru daagt de aanname uit dat deze eenvoudige computerprogramma's daadwerkelijk goed werk leveren. Het team bouwde een systeem om bijna duizend universitaire theses te auditeren, waarbij ze zochten naar veelvoorkomende statistische fouten. Ze begonnen met een eenvoudige aanpak: ze programmeerden de computer om naar specifieke woorden en zinnen te zoeken, zoals de namen van statistische toetsen of vermeldingen van "p-waarden", wat getallen zijn die worden gebruikt om te beslissen of een resultaat betekenisvol is. Het idee was dat als een thesis een toets zou vermelden maar niet zou vermelden dat de vereisten ervan waren gecontroleerd, of als het beweerde dat een resultaat significant was zonder de juiste getallen, de computer dit als een fout zou markeren. Deze methode is goedkoop, snel en produceert nette percentages die op het eerste gezicht indrukwekkend lijken.
De onderzoekers testten dit eenvoudige woordzoekend systeem vervolgens tegen een veel strengere standaard: het zorgvuldige, dubbel gecontroleerde oordeel van menselijke experts. Ze vroegen twee onafhankelijke experts om dezelfde theses te lezen en te beslissen of deze echte problemen bevatten. Toen ze de lijst met fouten van de computer vergeleken met de lijst van de experts, waren de resultaten schokkend. De computer was niet alleen een beetje naast de plank; hij presteerde slechter dan wanneer hij simpelweg willekeurig zou gokken. Sterker nog, de overeenstemming tussen de computer en de experts was negatief, wat betekende dat de computer actief de verkeerde dingen vond. De computer markeerde papers vaak als zijnde foutief terwijl ze eigenlijk in orde waren, en miste de papers die echt ernstige problemen hadden.
De studie onderzocht waarom dit gebeurde en vond twee hoofdoorzaken. Ten eerste kon de computer het verschil niet zien tussen een toets die een student daadwerkelijk heeft uitgevoerd en een toets die de student slechts noemde terwijl hij over het werk van iemand anders praatte. Als een thesis zei: "Smith gebruikte een t-toets", dacht de computer dat de student een t-toets had gebruikt en markeerde dit als een fout als de student niet had gecontroleerd of aan de noodzakelijke voorwaarden werd voldaan. Ten tweede, en belangrijker nog, kon de computer de logica van de getallen niet begrijpen. In één duidelijk voorbeeld beweerde een thesis dat een resultaat significant was omdat een getal kleiner was dan een ander geter, maar de getallen waren op een manier geschreven die de claim wiskundig onmogelijk maakte. De computer zag de woorden "significant" en een getal, en dacht daarom dat alles correct was. Hij kon niet zien dat de logica die hen verbond, gebroken was.
Om dit op te lossen, voegden de onderzoekers een derde laag toe aan hun systeem. In plaats van alleen naar woorden te zoeken, voerden ze kleine, gefocuste tekstfragmenten in een geavanceerd taalmodel. Dit model werkt meer als een menselijke lezer; het kijkt naar de context om te zien wie het experiment heeft uitgevoerd en controleert of de conclusie daadwerkelijk volgt uit de verstrekte getallen. Wanneer ze deze slimmere aanpak gebruikten, werd het systeem veel betrouwbaarder. Het ving alle echte fouten die de experts vonden, inclus\u2019 de lastige waar de eenvoudige woordzoeker de plank missloeg, en stopte met het markeren van papers die eigenlijk correct waren. De kosten voor het draaien van dit slimmere systeem waren extreem laag, slechts enkele centen per thesis, wat het haalbaar maakt voor elke universiteit om te gebruiken.
De belangrijkste les van dit werk is niet alleen dat het nieuwe systeem beter werkt, maar dat de oude manier van doen fundamenteel kapot is. De studie laat zien dat het simpelweg tellen van woorden of patronen niet kan vertellen of een wetenschappelijk rapport goed of slecht is. Een computerprogramma dat uitsluitend vertrouwt op het vinden van specifieke zinsdelen, zal cijfers produceren die wetenschappelijk lijken maar die eigenlijk betekenisloos zijn. De onderzoekers concluderen dat iedereen die geautomatiseerde tools gebruikt om de kwaliteit van onderzoek te controleren, eerst moet bewijzen dat hun tool overeenkomt met menselijke experts. Zonder dat bewijs zijn de statistieken die zij publiceren over hoeveel fouten er in een vakgebied bestaan, niet alleen onnauwkeurig, maar ook oninterpreteerbaar. De weg vooruit vereist systemen die de betekenis van de tekst kunnen begrijpen, niet alleen de woorden op de pagina.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.