How Reliable Are Bengali LLM Benchmarks? A Cross-Lingual Contamination and Robustness Audit of Open-Weight Language Models
本論文は、ベンガル語LLMベンチマークの信頼性を監査するための体系的なフレームワークを導入および検証するものであり、言語横断的なデータの汚染を検出し、摂動に対する堅牢性を測定することで、初期のパイロット結果がチャンスレベルをかろうじて上回る程度の性能であることを明らかにしている。