MedConclusion: A Benchmark for Biomedical Conclusion Generation from Structured Abstracts

In de uitgestrekte bibliotheek van de moderne wetenschap publiceren onderzoekers hun bevindingen in een zeer gestructureerd formaat. Een typische medische paper begint met een achtergrondsectie die het toneel bereidt, gevolgd door een beschrijving van de gebruikte methoden, een presentatie van de resultaten en tot slot een conclusie die de gehele studie destilleert tot één enkele, gezaghebbende kernboodschap. In deze laatste sectie geeft de auteur antwoord op de vraag: "Wat betekent dit eigenlijk?" Decennialang hebben wetenschappers vertrouwd op menselijke experts om deze papers te lezen en deze conclusies te extraheren, maar de enorme hoeveelheid nieuwe research heeft deze taak overweldigend gemaakt. Onlangs zijn krachtige computersystemen, bekend als grote taalmodellen, opgekomen die in staat zijn om menselijke taal te lezen en te schrijven met een opmerkelijke vloeiendheid. Deze systemen worden getest op veel moeilijke taken, van het oplossen van wiskundige problemen tot het schrijven van verhalen. Echter, een cruciale vraag blijft onbeantwoord: kunnen deze machines wetenschappelijk bewijs werkelijk goed genoeg begrijpen om dezelfde logische conclusies te trekken als een menselijke expert, of zijn ze slechts woorden aan het herordenen zonder het onderliggende begrip te vatten?

Een team van onderzoekers van Harvard, de University of Southern California en andere instellingen heeft een belangrijke stap gezet naar het beantwoorden van deze vraag door een enorme nieuwe testomgeving genaamd MedConclusion te creëren. Ze verzamelden 5,7 miljoen gestructureerde abstracts van PubMed, een centrale database van biomedische literatuur, om een dataset te bouwen waarbij de computer de achtergrond, methoden en resultaten van een studie krijgt en vervolgens de conclusie zelf moet schrijven. Het doel was om te zien of de kunstmatige intelligentie in staat was om de juiste wetenschappelijke kernboodschap af te leiden zonder dat deze expliciet werd verteld. De onderzoekers koppelden elk van deze 5,7 miljoen voorbeelden aan de oorspronkelijke, door mensen geschreven conclusie, waardoor een perfect referentiepunt ontstond om het werk van de machine te beoordelen. Deze dataset is uniek omdat het niet alleen een collectie tekst is; het bevat ook gedetailleerde informatie over de tijdschriften waarin de papers zijn gepubliceerd, waardoor het team kan zien of de moeilijkheidsgraad van de taak verandert afhankelijk van het prestige van het tijdschrift of het specifieke medische vakgebied.

Toen de onderzoekers verschillende modellen van kunstmatige intelligentie aan de test onderwerpen, ontdekten ze dat het schrijven van een wetenschappelijke conclusie een fundamenteel andere vaardigheid is dan het schrijven van een samenvatting. Het is een algemeen aanname dat als een computer een tekst goed kan samenvatten, hij ook conclusies uit die tekst kan trekken. De studie toonde aan dat dit niet noodzakelijkerwijs waar is. Wanneer de modellen werden gevraagd een formele conclusie te schrijven, presteerden ze anders dan wanneer ze werden gevraagd een algemene samenvatting te maken. Een samenvatting kan de brede essentie van een studie vatten, maar een conclusie vereist een specifiek type precisie: het moet strikt vasthouden aan het geleverde bewijs, geen nieuwe ideeën introduceren en vaak specifieke cijfers of kwalificaties bevatten die de reikwijdte van de bevinding definiëren. De modellen die goed waren in het samenvatten, faalden vaak in het vastleggen van deze fijnmazige details wanneer ze werden gevraagd een conclusie te schrijven, wat suggereert dat de twee taken verschillende soorten redeneren vereisen.

De evaluatie van deze modellen onthulde een andere verrassende complexiteit. De onderzoekers gebruikten een hybride aanpak om de antwoorden te beoordelen, waarbij ze standaard computermetrieken combineerden die woordoverlappen tellen met een tweede laag waarbij een andere kunstmatige intelligentie optrad als rechter om de kwaliteit van de tekst te scoren. Ze ontdekten dat de resultaten zwaar afhingen van welk AI-model de beoordeling uitvoerde. Het ene model zou een hoge score geven aan een gegenereerde conclusie, terwijl een ander model dezelfde tekst een veel lagere score zou geven. Dit suggereert dat er op dit moment geen enkele, perfecte manier is om te meten hoe goed een machine redeneert over wetenschap. De scores waren ook gevoelig voor de specifieke bewoording en stijl van de output, wat betekent dat een model gestraft kon worden omdat het iets te talrijk was of een andere zinsstructuur gebruikte, zelfs als de wetenschappelijke betekenis correct was.

De studie keek ook naar hoe de moeilijkheidsgraad van de taak varieerde tussen verschillende gebieden van de geneeskunde en verschillende soorten tijdschriften. Ze ontdekten dat het "prestige" van een tijdschrift, gemeten aan de hand van de impactscore, slechts een zeer klein effect had op hoe gemakkelijk of moeilijk het voor de modellen was om de conclusie te schrijven. Dit impliceert dat de uitdaging van wetenschappelijke redenering niet simpelweg gaat over de status van de publicatie, maar inherent is aan de aard van het bewijs zelf. Bovendien ontdekten de onderzoekers dat sommige vakgebieden, met name die dat interdisciplinair of minder klinisch zijn, veel moeilijker bleken voor de modellen dan andere. In deze moeilijke categorieën hadden de modellen vaak moeite om de specifieke stijl en numerieke precisie van de door mensen geschreven conclusies te evenaren, zelfs wanneer ze de algemene betekenis goed hadden.

Uiteindelijk suggereert het artikel dat hoewel grote taalmodellen steeds capabeler worden, ze de kunst van het wetenschappelijk redeneren nog niet voldoende beheersen om betrouwbaar menselijke experts te kunnen vervangen bij het trekken van conclusies. De modellen hebben de neiging om qua prestaties bij elkaar te clusteren, wat betekent dat de beste modellen slechts een fractie beter zijn dan de rest, en ze falen vaak in het onderscheid tussen een samenvatting en een ware conclusie. De onderzoekers benadrukken dat hun werk een herbruikbare bron biedt voor de wetenschappelijke gemeenschap om dit probleem verder te bestuderen. Door een dataset van miljoen voorbeelden aan te bieden en een duidelijke demonstratie te geven van waar huidige modellen slagen en falen, zet MedConclusion een nieuwe standaard voor het begrijpen van hoe machines wetenschappelijk bewijs interpreteren. De bevindingen wijzen erop dat hoewel de technologie vordert, de sprong van het lezen van woorden naar het begrijpen van het logische gewicht van wetenschappelijk bewijs een aanzienlijke hindernis blijft.