Memory or Generalization? Temporal Probing of Data Contamination in Bengali LLM Benchmarks
本論文は、ベンガル語のLLMベンチマークにおけるデータ汚染を測定するために、難易度を一致させたカットオフ後の項目を用いた直接的な妥当性テストである「テンポラル・プロービング(時間的探索)」を導入しており、現在のモデルがBoolQ-bnデータセットにおいて、静的な翻訳済みテストセットが普及しているにもかかわらず、記憶による有意なインフレを示さないことを明らかにしている。