MGAL: A Multilingual Granularity-Aware Long-Context Benchmark

Stel je voor dat je een boek van duizend pagina's probeert te lezen, maar in plaats van pagina's om te slaan, ben je gedwongen de volledige tekst tegelijkertijd in je geest te houden, terwijl je zoekt naar één enkel feit dat ergens in het midden verborgen ligt. Dit is de uitdaging waar moderne kunstmatige intelligentiesystemen, bekend als grote taalmodellen, voor staan. Deze programma's zijn bijzonder vaardig geworden in het begrijpen van menselijke taal en zijn in staat om essays te schrijven, vragen te beantwoorden en teksten met gemak te vertalen. Hun vermogen om zeer lange documenten te verwerken — die tientallen duizenden woorden beslaan — blijft echter een aanzienlijke hindernis. Hoewel ze vaak een feit kunnen herinneren dat aan het begin of het einde van een tekst staat, struikelen ze vaak wanneer de benodigde informatie diep in het midden begraven ligt, of wanneer ze moeten begrijpen hoe verschillende delen van een verhaal zich met elkaar verbinden om een samenhangend geheel te vormen. Onderzoekers vermoeden al lang dat deze systemen worstelen met het "long-context"-probleem, maar tot nu toe was er geen uitgebreide manier om precies te testen waar en waarom ze falen, vooral wanneer het gaat om talen andere dan het Engels.

Een team van onderzoekers heeft nu een nieuwe testomgeving genaamd MGAL gebouwd om dit mysterie op te lossen. Ze hebben deze benchmark geconstrueerd met behulp van echte documenten van de Verenigde Naties, specifiek rapporten die variëren in lengte van 8.000 tot 128.000 tokens. Deze documenten behandelen cruciale mondiale onderwerpen zoals mensenrechten, vredeshandhaving en volksgezondheid, en ze zijn beschikbaar in zes officiële talen: Engels, Chinees, Frans, Russisch, Spaans en Arabisch. De onderzoekers hebben niet alleen een eenvoudige quiz gemaakt; ze hebben een geavanceerde set taken ontworpen die de modellen testen op vier verschillende niveaus van detail. Op het fijnste niveau moeten de modellen specifieke woorden of getallen vinden. Op het volgende niveau moeten ze begrijpen hoe een enkele zin in een paragraaf past. Vervolgens moeten ze ontbrekende paragrafen genereren die logisch zijn binnen de context, en tot slot moeten ze hele documenten samenvatten of vertalen. Cruciaal is dat de onderzoekers ook precies bijhielden waar de informatie in de tekst stond — of deze aan het begin, in het midden of aan het einde verscheen — waardoor ze konden zien of de modellen een bias hadden naar bepaalde delen van het document.

Toen de onderzoekers twaalf van de meest geavanceerde taalmodellen tegenover deze nieuwe benchmark testten, onthulden de resultaten een duidelijk en consistent patroon. De modellen presteerden uitzonderlijk goed wanneer de taak vereiste om een specifiek woord of getal te vinden, wat aantoont dat ze kunnen fungeren als efficiënte zoekmachines voor fijne details. Echter, naarmate de taken breder werden en een begrip van grotere tekstblokken vereisten, zoals het samenvatten van een heel rapport of het invullen van een ontbrekende paragraaf, daalde hun prestatie aanzienlijk. De modellen hadden moeite om een samenhangend begrip van het document als geheel te behouden. Bovendien belichtte de studie een duidelijke kloof tussen talen met veel middelen (high-resource languages), zoals Engels en Chinees, en talen met minder middelen. Hoewel de grootste, duurste modellen vergelijkbaar presteerden over verschillende talen heen, toonden kleinere, open-source modellen een duidelijk voordeel voor de grote talen en hadden ze aanzienlijk meer moeite met de andere.

Misschien wel de meest onthullende bevindingen kwamen voort uit de analyse van hoe de modellen faalden. De onderzoekers ontdekten dat wanneer zinnen in een tekst vergelijkbare onderwerpen deelden of dezelfde namen herhaalden, de modellen de neiging hadden om in de war te raken. In plaats van te begrijpen welke logische rol een zin speelde — of het nu een achtergrond bood, een conclusie bood of een tegenargument presenteerde — vertrouwden de modellen op oppervlakkige aanwijzingen. Ze kozen de zin die het meest leek op de omliggende tekst of die dezelfde verbindingswoorden bevatte, zelfs als dat de verkeerde keuze was. Dit is vergelijkbaar met een student die, wanneer gevraagd wordt een verhaal samen te vatten, simpelweg de namen van de personages herhaalt die hij zich het meest herinnert, in plaats van uit te leggen wat er daadwerkelijk is gebeurd. Daarnaast stelden de onderzoekers vast dat de modellen vaak tekst produceerden die vloeiend en grammaticaal perfect klonk, maar feitelijk onjuist was. Ze bedachten vol vertrouwen details, data of personen die niet in het oorspronkelijke document stonden, waardoor ze een vloeiend klinkend narratief creëerden dat afweek van de waarheid.

De onderzoekers bevestigden ook dat de positie van informatie diepgaand van belang is. Bij veel taken waren de modellen veel beter in het vinden van antwoorden die aan het begin of het einde van een document stonden, terwijl de prestaties merkbaar daalden wanneer het antwoord in het midden zat. Dit suggereert dat de modellen moeite hebben om hun aandacht gefocust te houden op het centrum van een lange sequentie van tekst. Door dit nieuwe benchmark te gebruiken, heeft het team een duidelijke kaart gegeven van de huidige beperkingen van kunstmatige intelligentie in het begrijpen van lange documenten. Ze hebben aangetoond dat hoewel deze systemen krachtige hulpmiddelen zijn voor het verwerken van informatie, ze nog steeds het diepe, consistente begrip missen dat nodig is om complexe, langlopende rapporten over verschillende talen echt te "lezen" en te begrijpen. Dit werk zet een nieuwe standaard voor toekomstig onderzoek, waarbij ontwikkelaars worden gestuurd om modellen te bouwen die verder kunnen kijken dan oppervlakkige aanwijzingen en een getrouwe, nauwkeurige interpretatie van het hele verhaal kunnen behouden, ongeacht hoe lang het ook is.