Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation
Dit artikel toont aan dat veelgebruikte genormaliseerde metrieken voor de evaluatie van meertalige taalmodellen biases introduceren als gevolg van tokenisatie en orthografische verschillen, en stelt voor dat de negatieve log-likelihood op zinsniveau over semantisch equivalente sequenties een consistenter en eerlijker alternatief biedt voor het vergelijken van modellen over talen heen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie leren computers om in tientallen menselijke talen te spreken en te schrijven. Deze digitale geesten, bekend als taalmodellen, worden getraind op enorme bibliotheken van tekst om te voorspellen welk woord volgt in een zin. Naarmate deze systemen krachtiger worden, staan onderzoekers voor een cruciale uitdaging: hoe weten we of een model echt goed is in een specifieke taal, of dat het alleen goed is in de manier waarop die taal op een computer is opgeschreven? Om dit te beantwoorden, moeten wetenschappers meten hoe goed een model de betekenis van een tekst begrijpt, en niet alleen hoe efficiënt het de ruwe tekens of symbolen kan verwerken. Het probleem is dat de instrumenten die momenteel worden gebruikt om dit begrip te meten, vaak verborgen vallen bevatten. Ze kunnen worden beïnvloed door het aantal letters in een woord, het specifieke schrift dat wordt gebruikt om een taal te schrijven, of de manier waarop de computer een zin in kleine stukjes opbreekt voor verwerking. Als deze instrumenten bevooroordeeld zijn, kunnen ze een model briljant laten lijken in de ene taal en onhandig in een andere, niet vanwege de werkelijke intelligentie, maar vanwege technische eigenaardigheden in de manier waarop de gegevens worden afgehandeld. Dit maakt het bijna onmogelijk om eerlijk te vergelijken hoe goed een kunstmatige intelligentie presteert over de diverse talen van de wereld heen.
Een team onderzoekers van Georgetown University en EleutherAI zette zich schouder aan schouder om dit puzzelstuk op te lossen door de instrumenten die worden gebruikt om deze modellen te beoordelen, zelf te testen. Ze bouwden een gecontroleerd experiment met vijftig afzonderlijke computermodellen, die elk exclusief zijn getraind op één van tien verschillende talen. Om een eerlijke test te garanderen, trainden ze deze modellen op parallelle data, wat betekent dat de modellen leerden van teksten die exact dezelfde betekenis uitdrukten in verschillende talen. Vervolgens testten ze deze modellen met zes verschillende meetmethoden die gebruikelijk zijn in het vakgebied. Sommige van deze methoden tellen het totale aantal kleine bouwstenen, of tokens, die een model gebruikt om een zin te begrijpen. Anderen tellen het aantal bytes, wat de digitale opslageenheden zijn, of het aantal individuele tekens op het scherm. De onderzoekers testten ook een methode die simpelweg de totale moeilijkheid optelt die een model ervaart bij het voorspellen van een hele zin, zonder die moeilijkheid te delen door de lengte van de tekst.
De resultaten onthulden een schokkende waarheid over hoe deze metingen werken. De methoden die de prestaties van een model delen door het aantal tokens, bytes of tekens, bleken diep gebrekkig te zijn bij het vergelijken van verschillende talen. Deze metrieken bevoordeelden consequent talen die van nature minder tekens of bytes gebruiken om dezelfde gedachte uit te drukken, zoals het Chinees, terwijl ze talen bestraften die langere reeksen symbolen vereisen. In één opvallend voorbeeld werd een model dat alleen op Engels was getraind, door deze gebrekkige methoden als "beter" op Russisch beoordeeld dan op Engels, simpelweg omdat de computer de Russische tekst in meer stukjes brak, wat de score kunstmatig verlaagde. Dit gebeurde zelfs terwijl het model nog nooit Russisch had gezien en er in werkelijkheid slecht in presteerde. De studie toonde aan dat deze populaire metrieken niet de werkelijke intelligentie of het begrip van het model maten; ze reflecteerden slechts de technische keuzes die zijn gemaakt bij de instelling van de computer om de tekst te lezen.
In contrast hiermee bleek de methode die de totale moeilijkheid van een zin optelde zonder deze door de lengte te delen, de enige eerlijke benadering te zijn. Deze maatstaf, die de onderzoekers sentence-level negative log-likelihood noemen, keek naar de totale inspanning die het model leverde om de volledige betekenis van een tekst te begrijpen. Omdat het niet probeerde de score te normaliseren op basis van hoe lang de tekst was in termen van letters of digitale opslag, bleef het stabiel, ongeacht het schrift van de taal of de omvang van de vocabulaire van de computer. Wanneer de onderzoekers deze methode testten op grote, real-world meertalige modellen, was het de enige metriek die correct identificeerde in welke talen de modellen het beste hadden geleerd, wat overeenkwam met de bekende samenstelling van hun trainingsdata. De andere methoden bleven rangschikkingen produceren die vertekend waren door de technische details van hoe de tekst werd opgeslagen en verwerkt.
De onderzoekers onderzochten ook of deze metingen consistent bleven wanneer dezelfde betekenis op verschillende manieren werd uitgedrukt. Ze ontdekten dat terwijl sommige metrieken wild fluctueerden afhankelijk van welke vertaling of parafrase werd gebruikt, de methode op zinsniveau stabiel bleef. Dit suggereert dat de schijnbare stabiliteit van de andere methoden een illusie was, gecreëerd door hun gevoeligheid voor oppervlakkige details in plaats van een teken van echte betrouwbaarheid. De studie concludeert dat om echt te begrijpen hoe goed kunstmatige intelligentie werkt over verschillende culturen en talen heen, wetenschappers moeten stoppen met het vertrouwen op metrieken die tokens, bytes of tekens tellen. In plaats daarvan moeten ze methoden gebruiken die de totale betekenis van de tekst respecteren, zodat de evaluatie de werkelijke leerprestatie van het model weerspiegelt in plaats van de eigenaardigheden van de digitale representatie. Deze verschuiving is essentieel voor het bouwen van systemen die werkelijk eerlijk en effectief zijn voor iedereen, ongeacht de taal die zij spreken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.