In de wereld van kunstmatige intelligentie zijn machines bijzonder goed geworden in het lezen van een lange tekst en het schrijven van een kortere versie daarvan. Dit proces, bekend als samenvatting (summarization), is nuttig voor alles van het verwerken van nieuwsartikelen tot het inkorten van medische rapporten. Echter, een aanzienlijk probleem blijft bestaan: hoe weten we of de samenvatting eigenlijk goed is? Jarenlang vertrouwden onderzoekers op eenvoudige computerprogramma's die tellen hoeveel woorden de samenvatting deelt met de originele tekst of een door een mens geschreven voorbeeld. Ho wel deze tools snel en consistent zijn, missen ze de diepere kwaliteiten die een samenvatting nuttig maken. Ze kunnen niet gemakkelijk bepalen of de samenvatting feiten heeft verzonnen die nooit in de bron stonden, of de zinnen logisch in elkaar lopen, of dat het de belangrijkste informatie heeft vastgelegd terwijl triviale details zijn weggelaten. Naarmate kunstmatige intelligentie-modellen geavanceerder worden, is de behoefte aan een slimmere manier om hun werk te beoordelen urgent geworden, vooral wanneer deze modellen worden getraind om zichzelf te verbeteren.

Een team van onderzoekers van universiteiten in Vietnam heeft een nieuw systeem ontwikkeld genaamd EViSE om dit probleem op te lossen. In plaats van te vertrouwen op eenvoudige woordovereenkomst, fungeert EViSE als een zorgvuldige menselijke redacteur die een samenvatting controleert tegen het originele document op drie specifieke kwaliteiten. Ten eerste controleert het op getrouwheid (faithfulness), waarbij wordt gewaarborgd dat de samenvatting geen feiten verzint of de bron verkeerd weergeeft. Ten tweede evalueert het coherentie (coherence), waarbij wordt gekeken of de zinnen logisch bij elkaar passen en een vloeiend verhaal vormen. Ten derde meet het relevantie (relevance), om te bepalen of de samenvatting de meest vitale informatie heeft behouden en de ruis heeft weggefilterd. De onderzoekers hebben dit systeem gebouwd met behulp van een enorme collectie van 80.856 paren Vietnamese nieuwsartikelen en hun samenvattingen, waarbij menselijke experts elke samenvatting al hadden beoordeeld op deze drie afzonderlijke criteria.

De kerninnovatie van EViSE ligt in de manier waarop het van deze gegevens leert. In plaats van alleen te proberen één algemene score te raden, leert het systeem tegelijkertijd de drie specifieke scores te voorspellen. Het doet dit door naar groepen samenvattingen te kijken die allemaal van hetzelfde originele artikel afkomstig zijn. Stel je een leraar voor die vijf verschillende essays van studenten beoordeelt over hetzelfde geschap hoofdstuk; de leraar weet dat als het ene essay beter is dan het andere, het een hogere score moet krijgen, zelfs als de absolute cijfers moeilijk vast te stellen zijn. EViSE gebruikt deze zelfde logica. Het leert de exacte numerieke score voor elke samenvatting, terwijl het ook de juiste rangschikking van de samenvattingen binnen elke groep leert. Deze duale aanpak zorgt ervoor dat het systeem zowel nauwkeurig is in zijn scoring als consistent in zijn vergelijkingen. Het resultaat is een hulpmiddel dat een samenvatting in één enkele, snelle passage kan evalueren zonder een door een mens geschreven "perfect" voorbeeld nodig te hebben om het mee te vergelijken.

Toen de onderzoekers hun nieuwe framework testten, waren de resultaten duidelijk en robuust. Ze creëerden twee versies van het systeem: één die klein en snel was, en een andere die groter en krachtiger was. Beide versies toonden een sterk vermogen om overeen te stemmen met menselijke oordelen. Op een testset van nieuwsartikelen bereikte de grotere versie een correlatiescore van 0,806 met menselijke beoordelingen, een significante verbetering ten opzichte van oudere methoden die vertrouwen op woordoverlap, die moeite hadden om scores boven de 0,58 te halen. De kleinere, efficiëntere versie was ook zeer effectief, met een score van 0,737, en kon een samenvatting verwerken in slechts 55 milliseconden op standaard hardware. Deze snelheid is cruciaal omdat het betekent dat het systeem herhaaldelijk kan worden gebruikt om kunstmatige intelligentie-modellen te begeleiden terwijl ze leren, als een betrouwbare coach die instant feedback geeft zonder het trainingsproces te vertragen.

Het team testte ook of hun systeem onderwerpen kon aan, die het nog nooit eerder had gezien. Ze namen de modellen die getraind waren op nieuwsartikelen en vroegen hen samenvattingen van technische tekstboeken over informatietechnologie te evalueren. Ondanks de verschuiving van algemeen nieuws naar gespecialiseerde academische inhoud, behield het systeem zijn vermogen om de kwaliteit accuraat te beoordelen. Het grotere model behield een correlatie van 0,720 met menselijke experts, en het kleinere model bleef stabiel op 0,691. Dit suggereft dat het framework algemene principes van goede samenvatting heeft geleerd in plaats van alleen de stijl van nieuwsverslaggeving te hebben gememoriseerd. Bovendien toonden de onderzoekers aan dat dit systeem gebruikt kan worden als een "bevroren" beloningssignaal in een reinforcement learning-opstelling. Wanneer zij een vorige evaluator vervingen door hun nieuwe evaluator om een taalmodel te trainen, waren de resulterende samenvattingen van vergelijkbare hoge kwaliteit, wat bewijst dat het systeem stabiel genoeg is om vertrouwd te worden met de delicate taak van het onderwijzen van andere AI-modellen.

De studie daagt expliciet het idee uit dat een enkele score gebaseerd op woordovereenkomst voldoende is voor moderne evaluatie. De gegevens toonden aan dat traditionele tools zoals ROUGE en BERTScore er niet in slaagden de nuances van feitelijke juistheid en logische flow te vatten, en gaven vaak hoge scores aan samenvattingen die weliswa elocvent waren maar feitelijk onjuist. Daarentegen slaagde de multi-criteria aanpak van EViSE erin om deze verschillende dimensies succesvol te scheiden. De onderzoekers vonden dat door het combineren van het leren van exacte scores met het leren van relatieve rangschikkingen, het systeem veel beter werd in het identificeren van de beste samenvattingen. Ze ontkrachtten ook de opvatting dat een complex, traag systeem de enige manier is om een hoge nauwkeurigheid te bereiken; hun compacte model bewees dat evaluatie van hoge kwaliteit kan worden bereikt met minimale computationele kosten.

Uiteindelijk biedt dit werk een praktische en efficiënte weg voorwaarts voor het evalueren van hoe goed machines informatie samenvatten. Het beweegt het veld voorbij het eenvoudige tellen van gedeelde woorden naar een meer genuanceerd begrip van wat een samenvatting betrouwbaar en nuttig maakt. Door evaluatie te behandelen als een probleem van het tegelijkertijd leren van meerdere criteria, hebben de onderzoekers een hulpmiddel gebouwd dat niet alleen accuraat is, maar ook snel genoeg om te worden gebruikt in real-time trainingsloops. Het succes van dit framework in het Vietnamees, een taal met minder middelen dan het Engels, suggereert dat de aanpak flexibel is en kan worden aangepast aan andere talen en domeinen. Naarmate kunstmatige intelligentie steeds meer tekst genereert, zullen tools zoals EViSE essentieel zijn om te waarborgen dat de output getrouw blijft aan de waarheid, coherent is in de levering en relevant is voor de behoeften van de lezer.