Memory or Generalization? Temporal Probing of Data Contamination in Bengali LLM Benchmarks
Dit artikel introduceert "temporal probing", een directe validiteitstest die gebruikmaakt van op moeilijkheidsgraad afgestemde items van na de cutoff om datacontaminatie in Bengaalse LLM-benchmarks te meten, waarbij wordt vastgesteld dat huidige modellen op de BoolQ-bn dataset geen significante inflatie door memorisatie vertonen ondanks de prevalentie van statische, vertaalde testsets.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie vertrouwen onderzoekers op tests om te meten hoe slim een computerprogramma is. Deze tests, genaamd benchmarks, zijn als gestandaardiseerde examens voor machines. Lange tijd werden deze examens in het Engels geschreven. Naarmate de technologie groeide, hebben ontwikkelaars deze Engelse tests vertaald naar andere talen om te zien hoe goed hun programma's de vele talen van de wereld begrijpen. Een van de belangrijkste talen om te testen is het Bengalees, dat door ongeveer een kwart miljard mensen wordt gesproken. Echter, er hangt een schaduw over deze vertaalde tests. Omdat het internet zo uitgestrekt is, belandt de tekst van deze examens vaak in de enorme bibliotheken van gegevens die deze programma's leren hoe ze moeten spreken. Als een programma de examenvragen al heeft gelezen tijdens zijn training, laat het dan niet echt zijn intelligentie zien wanneer het ze correct beantwoordt; het is simpelweg het onthouden van de antwoorden die het eerder heeft gezien. Dit probleem, bekend als datacontaminatie, maakt het moeilijk om te weten of een hoge score betekent dat het programma daadwerkelijk bekwaam is of gewoon een goed geheugen heeft.
Een onderzoeker genaamd Md Fahim Faisal Tanja zette zich in om dit mysterie voor Bengaalse taalmodellen op te lossen. In plaats van te proberen te raden of een model een vraag had gezien, gebruikte hij tijd als een instrument om de waarheid te vinden. Hij realiseerde zich dat als een model werd getraind op gegevens tot een bepaalde datum, het onmogelijk iets kon weten over zaken die na die datum werden gepubliceerd. Om dit te testen, nam hij de oude, bestaande Bengaalse examenvragen en creëerde hij gloednieuwe, moeilijk te matchen vragen met behulp van nieuwsartikelen en toetsen die in 2025 en 2026 werden gepubliceerd. Deze nieuwe vragen werden zorgvuldig vervaardigd om net zo moeilijk te zijn als de oude, maar ze waren gegarandeerd onbekend voor de modellen omdat ze werden geschreven nadat de modellen stopten met leren. Door te vergelijken hoe goed de modellen presteerden op de oude vragen versus de nieuwe vragen, kon hij zien of de oude scores werden opgeblazen door geheugen.
De studie richtte zich op zeven verschillende open-source taalmodellen, variërend van kleine tot middelgrote formaten, en testte hen op vierentachtig paren vragen. De resultaten waren verrassend geruststellend voor de gemeenschap. Voor de meeste van de modellen waren de scores op de oude vragen bijna exact hetzelfde als de scores op de nieuwe, onbekende vragen. Dit suggereert dat de modellen de oude examens niet uit het hoofd leerden; ze gebruikten daadwerkelijk hun begrip van de taal om de problemen op te lossen. Het grootste verschil dat werd gevonden was een klein gat van ongeveer acht procentpunten, wat statistische analyse uitwees als waarschijnlijk slechts willekeurige ruis in plaats van een teken van datacontaminatie. Met andere woorden, de huidige scores voor deze Bengaalse modellen lijken betrouwbaar te zijn.
Er was één interessante uitzondering die de onderzoekers een waardevolle les leerde over hoe ze deze tests moeten ontwerpen. Eén model, een grote versie van de Qwen-familie, presteerde daadwerkelijk aanzienlijk beter op de gloednieuwe vragen dan op de oude. In eerste instantie leek dit vreemd, maar de onderzoekers realiseerden zich dat dit geen teken van contaminatie was. In plaats daarvan betekende het dat de nieuwe vragen simpelweg makkelijker waren voor dat specifieke model om te beantwoorden dan de oude, vertaalde vragen. De oude vragen vereisten complexe redenering waar het model moeite mee had, terwijl de nieuwe vragen meer feitelijk en rechttoe rechtaan waren. Deze kloof kromp toen de onderzoekers hun matchingsproces verfijnden, wat bewees dat het initiële verschil een fout in het testontwerp was, en niet een fout in de prestaties van het model. Deze bevinding benadrukt dat de nieuwe methode om tijd te gebruiken om datacontaminatie te controleren krachtig genoeg is om niet alleen geheugen, maar ook subtiele mismatches in moeilijkheidsgraad op te merken.
Uiteindelijk biedt dit werk een praktische manier voor de Bengaalse kunstmatige intelligentiegemeenschap om hun resultaten te verifiëren zonder dat zij dure hulpmiddelen of complexe raadspelletjes nodig hebben. Door een eenvoudige, gratis methode te gebruiken die oude vragen met nieuwe vragen vergelijkt, kunnen onderzoekers nu meer vertrouwen dat hun hoge scores een werkelijke intelligentie weerspiegelen. De studie concludeert dat voor de geteste modellen de benchmarks geldig zijn en de scores echt zijn. Naarmate er in de toekomst nieuwere en krachtigere modellen arriveren, kan dezezelfde aanpak worden gebruikt om te garanderen dat de gerapporteerde vooruitgang gebaseerd is op ware bekwaamheid, waardoor het vakgebied eerlijk blijft en op een solide fundament verdergaat.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.