Transformer Models for Text Summarization: A Comparative Study of BART, BERT, and RoBERTa

In een wereld waarin informatie sneller arriveert dan we kunnen lezen, is het vermogen om een lang document te destilleren tot de essentie een vitale vaardigheid geworden. Dit is het domein van automatische tekstsamenvatting, een vakgebied binnen de informatica dat zich richt op het aanleren van het lezen, begrijpen en inkorten van menselijke taal aan machines. Decennialang hebben onderzoekers geprobeerd dit op te lossen door computers te leren ofwel de belangrijkste zinnen uit een tekst te selecteren, ofwel de inhoud volledig in nieuwe woorden te herschrijven. De eerste methode, vaak extractief genoemd, is als het markeren van de beste regels in een boek; de tweede, bekend als abstractief, is meer als een journalist die een verhaal herschrijft voor een ander publiek. Recentelijk heeft een nieuwe generatie computerprogramma's, gebouwd op een structuur genaamd een transformer, dit veld overgenomen. Deze programma's worden getraind op enorme hoeveelheden tekst om te leren hoe taal werkt, waardoor ze deze samenvattings-taken met opmerkelijke snelheid en nauwkeurigheid kunnen uitvoeren.

Een team van onderzoekers aan de Penn State University besloot er onlangs toe over te gaan om drie van de meest populaire programma's in deze nieuwe generatie te vergelijken: BERT, RoBERTa en BART. Hoewel alle drie gebouwd zijn op dezelfde fundamentele technologie, zijn ze ontworpen met verschillende interne structuren en trainingsmethoden, wat hen geschikt maakt voor verschillende soorten werk. De onderzoekers wilden precies begrijpen hoe deze verschillen hun vermogen om nieuwsartikelen samen te vatten beïnvloeden. Ze hebben geen nieuwe modellen uitgevonden, maar in plaats daarvan deze drie bestaande modellen door een strenge test geleid om te zien welke het beste presteerde onder specifieke omstandigheden. Hiervoor gebruikten ze een collectie echte nieuwsberichten en de door mensen geschreven samenvattingen die erbij hoorden, een standaard set materialen voor dit soort onderzoek. Omdat ze werkten met beperkte rekenkracht, konden ze niet de volledige, enorme dataset gebruiken, dus selecteerden ze een kleiner, beheersbaar deel met 15.000 verhalen voor training en 100 voor testen.

Het experiment onthulde een duidelijke kloof in hoe deze modellen de taak benaderen. De eerste twee modellen, BERT en RoBERTa, zijn ontworpen om tekst te begrijpen maar niet om nieuwe zinnen te genereren. In deze studie werden ze gebruikt om extractieve samenvattingen te maken, wat betekende dat ze de belangrijkste zinnen direct uit het originele artikel moesten identificeren en selecteren. Het derde model, BART, is anders gebouwd; het heeft een structuur die het mogelijk maakt om nieuwe tekst vanuit het niets te genereren, waardoor het een abstractieve samenvatter is. Toen de onderzoekers de tests uitvoerden, lieten de resultaten zien dat het model dat ontworpen is voor generatie, BART, samenvattingen produceerde die aanzienlijk dichter bij de door mensen geschreven referenties lagen dan de andere twee. In de taal van het vakgebied, die meet hoeveel woorden en zinsdelen overlappen tussen de output van de computer en die van de mens, scoorde BART veel hoger. Het behaalde een score van ongeveer 0,41 op zijn primaire maatstaf, terwijl het beste van de extractieve modellen, RoBERTa, slechts ongeveer 0,18 scoorde.

De studie belichtte ook de verschillen tussen de twee extractieve modellen. RoBERTa, een verfijnde en robuustere versie van de oorspronkelijke BERT, presteerde consequent beter dan BERT wanneer beide aan dezelfde trainingstijd en data werden blootgesteld. Dit suggereert dat de manier waarop een model initieel wordt geleerd taal te begrijpen even belangrijk is als hoe het op een specifieke taak wordt toegepast. Echter, de kloof tussen de extractieve modellen en het generatieve model was veel groter. De onderzoekers merkten op dat hoewel BART samenvattingen produceerde die beter liepen en de betekenis natuurlijker vastlegden, het werd geëvalueerd in een staat waarin het niet specifiek op de nieuwsdataset was getraind, terwijl de andere twee modellen voor de taak waren bijgesteld. Zelfs met dit voordeel gegeven aan de extractieve modellen, domineerde de generatieve aanpak de resultaten nog steeds.

Ondanks de hoge prestaties van het generatieve model, wezen de onderzoekers op belangrijke afwegingen. Het model dat nieuwe zinnen creëert, BART, is uitstekend in het produceren van vloeiende en leesbare tekst, maar het draagt het risico van "hallucinatie" met zich mee, waarbij het een detail kan verzinnen of een feit licht kan veranderen om het verhaal beter te laten lopen. In contrast hiermee zijn de extractieve modellen, die simpelweg zinnen uit de bron kopiëren, gegarandeerd feitelijk accuraat omdat ze niets verzinnen, maar hun samenvattingen kunnen soms afgehakend of onsamenhangend aanvoelen. De studie erkende ook dat de resultaten werden gevormd door de beperkingen van hun apparatuur; ze voerden de experimenten uit op standaard computerprocessors in plaats van gespecialiseerde hogesnelheidschips, wat beperkte hoeveelheid data die ze konden verwerken.

Uiteindelijk bevestigt het werk dat de architectuur van een model de sterktes bepaalt. Als het doel is om een snelle, feitelijk veilige samenvatting te krijgen door kernzinnen eruit te trekken, zijn de extractieve modellen zoals RoBERTa een sterke keuze. Maar als het doel is om een vloeiende, mensachtige herschrijving van een document te produceren, is het generatieve model BART veel superieur, zelfs zonder extra training op de specifieke data. De onderzoekers concludeerden dat hoewel deze tools krachtig zijn, de keuze tussen hen afhangt van of men strikte feitelijke getrouwheid of de vloeiendheid van natuurlijke taal waardeert. Naarmate het veld vordert, zal de volgende stap waarschijnlijk het testen van deze modellen op gespecialiseerde onderwerpen zoals recht of geneeskunde zijn, waar de balans tussen vloeiendheid en absolute nauwkeurigheid nog kritischer wordt.