LLM Benchmark Datasets Should Be Contamination-Resistant

Technische Samenvatting: LLM-benchmarkdatasets moeten bestand zijn tegen contaminatie

Probleemstelling
De betrouwbaarheid van de evaluatie van Large Language Models (LLM's) wordt fundamenteel ondermijnd door contaminatie van benchmarkdatasets. Naarmate pretrainingscorpora groeien tot triljoenen tokens van bijna alle beschikbare tekstdata, worden benchmarksamples steeds vaker opgenomen tijdens het trainingsproces. Dit fenomeen, verergerd door de publieke beschikbaarheid van datasets en indirecte lekkage via distillatie of afgeleide datasets, stelt modellen in staat om te memoriseren in plaats van te generaliseren. Gevolg is dat gerapporteerde nauwkeurigheid vaak de capaciteit van een model weerspiegelt om vooraf getrainde data op te halen, in plaats van zijn ware redeneervermogen, waardoor statische benchmarks verouderd raken en prestatie-indicatoren worden opgeblazen. Bestaande mitigatiestrategieën – zoals privé-benchmarking, dynamische benchmarking of data-decontaminatie – lijden onder aanzienlijke nadelen, waaronder het afremmen van onafhankelijke verificatie, het creëren van bewegende doelen die longitudinale vergelijking belemmeren, of het falen om te schalen tegen enorme, heterogene corpora.

Methodologie: Contaminatie-resistente datasets (CRD's)
Het artikel stelt een paradigma-shift voor naar Contaminatie-resistente datasets (CRD's). De kernthese is dat benchmarkdata vrijgegeven moet worden in een vorm die onleerbaar is tijdens standaard pretrainingspipelines, maar wel bruikbaar blijft voor inferentie. Dit wordt bereikt door gebruik te maken van de architecturale asymmetrie tussen de trainings- en inferentiepipelines van de Transformer-architectuur.

1. Asymmetrie tussen training en inferentie:

   • Training: Vereist toegang tot de volledige reeks tokens om verborgen toestanden en gradiënten te berekenen voor voorspelling van de volgende token.
   • Inferentie: Kan doorgaan met alleen de Key-Value (KV) cache van eerdere tokens en de verborgen toestand van de voorlaatste laag van het laatste token, zonder dat de ruwe tokenreeks nodig is.
   • Mechanisme: In plaats van plaintext-prompten ($D$) vrij te geven, stellen de auteurs voor om een getransformeerde dataset $\phi(D)$ vrij te geven, bestaande uit:
     • De KV-cache $\{K^{(l)}_{1:t}, V^{(l)}_{1:t}\}_{l=1}^L$ voor elke laag.
     • De verborgen toestand van de voorlaatste laag $h^{(L-1)}_t$.
     • De ground truth-uitvoer $Y$ (in plaintext).
   • Dit formaat stelt een model in staat om autoregressieve generatie (inferentie) uit te voeren, maar verhindert het gebruik van de data voor training (leren), aangezien de ruwe tokens die nodig zijn voor het berekenen van gradiënten ontbreken.

2. Interoperabiliteitskaders:
   Om de uitdaging aan te pakken om heterogene modellen te evalueren tegen een benchmark die is gecodeerd in de latente ruimte van een specifiek model, schetst het artikel twee paradigma's:

   • Korte termijn (Ankermodel + Subruimte-uitlijning): Wijs een wijdverspreid "ankermodel" toe (bijvoorbeeld een specifieke LLaMA-variant) om benchmarks te coderen. Doelmodellen vertalen deze coderingen naar hun eigen latente ruimten met technieken zoals Cross-LoRA (subruimte-uitlijning via SVD en lineaire kaarten) of Trans-LoRA (kennisdistillatie). Dit maakt vertaling mogelijk zonder toegang tot de originele plaintext.
   • Lange termijn (Modelonafhankelijke relatieve representaties): Projecteer alle model-late ruimten op een gedeeld coördinatenkader dat wordt gedefinieerd door een vaste set ankerstalen. Met behulp van relatieve representaties (vectoren van gelijkenissen met ankers) kunnen modellen zero-shot communiceren over architecturen heen zonder een specifiek canoniek encoder nodig te hebben.

3. Formele eigenschappen:
   Het artikel definieert drie noodzakelijke eigenschappen voor CRD's:

   • Irreversibiliteit: Het moet computationeel onhaalbaar zijn om de originele plaintext te reconstrueren uit de KV-cache/verborgen toestanden. Het artikel merkt op dat terwijl inversie-aanvallen bestaan voor Multi-Head Attention (MHA), deze minder effectief zijn op moderne Grouped-Query Attention (GQA)-architecturen, en dat verliesvolle abstractie de herwinning verder bemoeilijkt.
   • Equivalentie: De prestaties van het model op de CRD moeten de prestaties op de originele plaintext benaderen ($M(\phi(D)) \approx M(D)$).
   • Interoperabiliteit: De CRD moet vertaalbaar zijn tussen verschillende LLM-architecturen.

Belangrijkste bijdragen

• Conceptueel kader: Formaliseert de definitie van Contaminatie-resistente datasets (CRD's) en vestigt de theoretische basis voor onleerbare maar infererbare data.
• Architecturale leverage: Identificeert en benut de specifieke asymmetrie in Transformer-pipelines (beschikbaarheid van KV-cache versus noodzaak van tokenreeks) als mechanisme om training te voorkomen terwijl inferentie mogelijk blijft.
• Oplossingen voor interoperabiliteit: Stelt concrete wiskundige paden voor (subruimte-uitlijning en relatieve representaties) om ervoor te zorgen dat CRD's niet vastzitten aan één enkele modelarchitectuur, waarmee het bezwaar van "model-specificiteit" wordt aangepakt.
• Evaluatiekader: Schetst een volledige workflow voor CRD-curatie, ontdekking (vertaling) en model-evaluatie, inclusief een "datacard"-systeem om vertaling te faciliteren.

Resultaten en haalbaarheidsanalyse
Het artikel presenteert geen nieuwe empirische resultaten uit het uitvoeren van deze benchmarks op specifieke modellen, maar vertrouwt op bestaande literatuur om de haalbaarheid te valideren:

• Opslagoverhead: De auteurs analyseren de opslagvereisten voor het vrijgeven van KV-caches. Hoewel een ruwe KV-cache voor 100.000 tokens in een 7B-model ongeveer 50 GB zou kunnen zijn, toont het artikel aan dat compressietechnieken (bijvoorbeeld PyramidKV, kwantisatie, sparse encoding) dit kunnen reduceren tot beheersbare maten (bijvoorbeeld ~350 MB voor 100.000 tokens) met een verwaarloosbaar effect op de fideliteit.
• Vertalingsfideliteit: Met verwijzing naar recent werk over modelstitching en cross-model adapter-overdracht, betoogt het artikel dat vertaling tussen architecturen slechts beperkte prestatiedegradatie introduceert, en in sommige gevallen zelfs de inferentiesnelheid kan verbeteren.
• Veiligheid: Het artikel erkent dat inversie-aanvallen mogelijk zijn op MHA-architecturen, maar betoogt dat moderne GQA-gebaseerde modellen en verliesvolle abstracties plaintext-herwinning computationeel moeilijk maken. Het suggereert defensieve mechanismen zoals ruisinjectie of differentieel privacy voor scenario's met hoge risico's.

Betekenis en claims
Het artikel positioneert zichzelf als een oproep tot actie voor de gemeenschap om fundamenteel te veranderen hoe benchmarks worden vrijgegeven. De betekenis ligt in:

1. Herstel van evaluatie-integriteit: Door benchmarks onleerbaar te maken, streven CRD's ernaar de geldigheid van LLM-evaluatie te herstellen, zodat scores generalisatie weerspiegelen in plaats van memorisatie.
2. Schaalbaarheid: In tegenstelling tot privé-benchmarking (wat bottlenecks creëert) of dynamische benchmarking (wat kortstondig is), bieden CRD's een schaalbare, statische oplossing die geen constante hercreatie of centrale controle vereist.
3. Praktische weg vooruit: De auteurs betogen dat CRD's een praktische oplossing zijn die de behoefte aan open, reproduceerbare evaluatie in evenwicht brengt met de realiteit van datacontaminatie. Ze roepen de gemeenschap op om:
   • Methodologieën die bestand zijn tegen contaminatie te bevorderen.
   • Ondersteunende platforms en gestandaardiseerde ankermodellen te ontwikkelen.
   • CRD-validatie te integreren in bestaande pipelines (bijvoorbeeld Hugging Face).

Het artikel concludeert dat hoewel CRD's nieuwe complexiteiten introduceren (zoals opslag- en vertalingsoverhead), deze beheersbaar en noodzakelijk zijn om de langetermijnbetrouwbaarheid van LLM-benchmarking te waarborgen.